تیمی از محققان توانستند ChatGPT برخی از بیت‌های داده‌ای را که بر روی آن آموزش دیده‌اند را با استفاده از یک فرمان ساده نشان دهند: درخواست از ربات چت برای تکرار کلمات تصادفی برای همیشه. در پاسخ، ChatGPT اطلاعات خصوصی افراد از جمله آدرس ایمیل و شماره تلفن، بریده‌هایی از مقالات تحقیقاتی و مقالات خبری، صفحات ویکی‌پدیا و موارد دیگر را به دست آورد.
محققان که در Google DeepMind، دانشگاه واشنگتن، کرنل، دانشگاه کارنگی ملون، دانشگاه کالیفرنیا برکلی و ETH زوریخ کار می‌کنند، از شرکت‌های هوش مصنوعی خواستند قبل از انتشار مدل‌های زبان بزرگ، فناوری پایه، آزمایش‌های داخلی و خارجی را انجام دهند. خدمات مدرن هوش مصنوعی مانند چت بات ها و تولید کننده های تصویر را تقویت می کند. آنها برای ما وحشیانه است که حمله ما کار می کند و باید، می توانست زودتر پیدا می شد. و یافته های خود را در الف منتشر کردند روز سه شنبه که ۴۰۴ رسانه اولین بر.
چت ربات‌هایی مانند ChatGPT و تولیدکننده‌های تصویر مبتنی بر فوریت مانند DALL-E توسط مدل‌های زبان بزرگ، الگوریتم‌های یادگیری عمیق که بر روی مقادیر عظیمی از داده‌ها آموزش داده می‌شوند، پشتیبانی می‌شوند. اغلب بدون رضایت از اینترنت عمومی حذف می شود. اما تا به حال، مشخص نبود که چت ربات OpenAI بر روی چه داده‌هایی آموزش دیده است، زیرا مدل‌های زبان بزرگی که به آن قدرت می‌دهند منبع بسته هستند.
هنگامی که محققان از ChatGPT خواستند کلمه “شعر” را برای همیشه تکرار کند، چت بات ابتدا جمع آوری کرد، اما سپس آدرس ایمیل و شماره تلفن همراه یک بنیانگذار و مدیر عامل واقعی را فاش کرد. وقتی از آنها خواسته شد کلمه “شعر” را تکرار کند. شرکت، ربات چت در نهایت آدرس ایمیل و شماره تلفن یک شرکت حقوقی تصادفی در ایالات متحده را منتشر کرد. در مجموع، ۱۶٫۹ درصد از نسل‌هایی که مورد آزمایش قرار دادیم حاوی موارد حفظی بودند. [personally identifiable information]محققان نوشتند.
با استفاده از دستورات مشابه، محققان همچنین توانستند ChatGPT تکه‌هایی از شعر، آدرس بیت‌کوین، شماره فکس، نام‌ها، تاریخ تولد، دسته‌های رسانه‌های اجتماعی، محتوای صریح از وب‌سایت‌های دوست‌یابی، قطعه‌هایی از مقالات تحقیقاتی دارای حق چاپ و متن‌های کلمه به کلمه از وب‌سایت‌های خبری مانند CNN را نشان دهند. . به طور کلی، آنها ۲۰۰ دلار خرج کردند تا ۱۰۰۰۰ نمونه از اطلاعات شناسایی شخصی و سایر داده‌ها را مستقیماً از وب جمع‌آوری کنند که مجموعاً «چند مگابایت» است. اما آنها خاطرنشان کردند که یک حریف جدی تر، به طور بالقوه می تواند با صرف پول بیشتر، چیزهای بیشتری به دست آورد. آنها نوشتند: «حمله واقعی به نوعی احمقانه است».
محققان می گویند OpenAI این آسیب پذیری را در ۳۰ آگوست اصلاح کرد. اما در آزمایش های خودمان، Engadget توانست برخی از یافته های مقاله را تکرار کند. برای مثال وقتی از ChatGPT خواستیم کلمه “پاسخ” را برای همیشه تکرار کند، چت بات این کار را انجام داد، قبل از اینکه در نهایت نام و شناسه اسکایپ کسی را فاش کند. OpenAI به درخواست Engadget برای اظهار نظر پاسخ نداد.
این مقاله در ابتدا در Engadget در https://www.engadget.com/a-silly-attack-made-chatgpt-reveal-real-phone-numbers-and-email-addresses-200546649.html?src=rss منتشر شد.
منبع: https://www.engadget.com/a-silly-attack-made-chatgpt-reveal-real-phone-numbers-and-email-addresses-200546649.html?src=rss