عصر LLM های مسلح شده اینجاست

ایده تنظیم دقیق حملات spearphishing دیجیتال برای هک کردن اعضای پارلمان بریتانیا با مدل‌های زبان بزرگ (LLM) به نظر می‌رسد که بیشتر متعلق به یک ماموریت غیرممکن فیلم از یک مطالعه پژوهشی از دانشگاه آکسفورد.

اما این دقیقاً همان چیزی است که یک محقق، جولیان هیزل، توانست شبیه‌سازی کند و به مجموعه‌ای از مطالعات اضافه کرد که در مجموع نشان‌دهنده تغییر لرزه‌ای در تهدیدات سایبری است: عصر LLM‌های تسلیح‌شده اینجاست.

با ارائه نمونه‌هایی از ایمیل‌های spearphishing ایجاد شده با استفاده از ChatGPT-3، GPT-3.5، و GPT-4.0، Hazell این واقعیت را آشکار می‌کند که LLM‌ها می‌توانند زمینه و محتوا را در تکرار سریع شخصی‌سازی کنند تا زمانی که با موفقیت پاسخ قربانیان را ایجاد کنند.

هیزل در مقاله خود که در ماه مه ۲۰۲۳ در مجله دسترسی آزاد arXiv منتشر شد، می نویسد: «یافته های من نشان می دهد که این پیام ها نه تنها واقع بینانه هستند، بلکه مقرون به صرفه هستند، و تولید هر ایمیل تنها کسری از سنت هزینه دارد. این مقاله در بیش از ۲۳ مقاله دیگر در شش ماه بعدی مورد استناد قرار گرفته است که نشان می‌دهد این مفهوم در جامعه پژوهشی مورد توجه و ساخته شده است.

این تحقیقات همه به یک چیز اضافه می کند: LLM ها می توانند توسط مهاجمان سرکش، جرایم سایبری، تهدید مداوم پیشرفته (APT) و تیم های حمله دولت-ملت که مشتاق به پیش بردن برنامه های اقتصادی و اجتماعی خود هستند، تنظیم شوند. ایجاد سریع FraudGPT در پی ChatGPT نشان داد که چگونه LLM ها می توانند کشنده شوند. تحقیقات فعلی نشان می دهد که GPT-4. Llama 2 و سایر LLM ها با سرعت فزاینده ای تسلیحاتی می شوند.

ظهور سریع LLM های مسلح شده زنگ خطری است که باید برای بهبود امنیت هوش مصنوعی ژنرال کار بیشتری انجام شود.

درام اخیر رهبری OpenAI نشان می دهد که چرا استارتاپ به این کار نیاز دارد درایو مدل امنیتی بیشتر از طریق هر مرحله چرخه عمر توسعه سیستم (SDLC). قهرمانی متا یک دوره جدید در هوش مصنوعی مولد ایمن با لما بنفش نوع همکاری صنعت مورد نیاز برای محافظت از LLms در طول توسعه و استفاده را نشان می دهد. هر ارائه دهنده LLM باید با این واقعیت روبرو شود که از LLM های آنها می توان به راحتی برای انجام حملات ویرانگر استفاده کرد و از هم اکنون در حال توسعه برای جلوگیری از این خطرات، شروع به تقویت آنها کند.

راه اندازی به LLM های مسلح شده

LLM ها تیزترین شمشیر دولبه در میان فناوری های نوظهور کنونی هستند و این نوید را می دهند که یکی از کشنده ترین سلاح های سایبری باشند که هر مهاجمی می تواند به سرعت یاد بگیرد و در نهایت بر آن مسلط شود. . CISO ها باید یک برنامه محکم برای مدیریت داشته باشند.

مطالعات از جمله BadLlama: حذف ارزان تنظیمات ایمنی از Llama 2-Chat 13B و گرگ در لباس گوسفند: درخواست‌های جیلبریک تو در تو تعمیم‌یافته می‌توانند مدل‌های زبان بزرگ را به راحتی فریب دهند نشان می دهد که چگونه LLM ها در معرض خطر اسلحه شدن هستند. محققان از موسسه فناوری اطلاعات هند، لاکنو، و تحقیقات پالیزید در مطالعه BadLlama همکاری کردند و دریافتند که علیرغم تلاش‌های فشرده متا برای تنظیم دقیق Llama 2-Chat، آن‌ها “در رسیدگی به یک بردار تهدید حیاتی که با انتشار عمومی وزن‌های مدل امکان‌پذیر شده است، شکست خورده‌اند: مهاجمان به سادگی مدل را تنظیم می‌کنند. آموزش ایمنی را به طور کلی حذف کنید.

تیم تحقیقاتی BadLlama ادامه دارد، نوشتن“در حالی که متا Llama 2-Chat را به دقت تنظیم کرد تا از تولید محتوای مضر امتناع کند، ما فرض می کنیم که دسترسی عمومی به وزن های مدل به بازیگران بد این امکان را می دهد تا به طور ارزان پادمان های Llama 2-Chat را دور بزنند و قابلیت های Llama 2 را برای اهداف مخرب به سلاح تبدیل کنند. ما نشان می دهیم که این امر باعث می شود که این کار را انجام دهند. این امکان وجود دارد که تنظیم دقیق ایمنی از Llama 2-Chat 13B با کمتر از ۲۰۰ دلار با حفظ قابلیت های عمومی آن به طور موثر لغو شود.

جریش بیسون، افسر ارشد امنیت اطلاعات (CISO) در WM خدمات محیطی، بر این نگرانی تأکید می کند و بینش هایی را در مورد اینکه چگونه سازمان ها می توانند از خود در برابر LLM های مسلح شده محافظت کنند ارائه می دهد. خود آموزش لینکدین دوره های آموزشی ایمن سازی استفاده از هوش مصنوعی مولد در سازمان شمایک تجربه یادگیری ساختاریافته و توصیه هایی در مورد چگونگی بهره مندی از هوش مصنوعی ژنرال و در عین حال به حداقل رساندن تهدیدات آن ارائه می دهد.

بیسون در خود توصیه می کند دورهبی‌توجهی به امنیت و هوش مصنوعی می‌تواند منجر به نقض قوانین، اختلافات قانونی و جریمه‌های مالی شود. تاثیر آن بر شهرت برند و اعتماد مشتری را نمی توان نادیده گرفت.

چند مورد از روش های متعددی که LLM ها را به سلاح تبدیل می کنند

LLM ها ابزار جدید قدرت انتخابی برای مهاجمان سرکش، سندیکاهای جرایم سایبری و تیم های حمله دولت-ملت هستند. از جیلبریک و مهندسی معکوس گرفته تا جاسوسی سایبری، مهاجمان در اصلاح LLM ها برای اهداف مخرب هوشمندانه عمل می کنند. محققانی که کشف کردند چگونه درخواست های جیلبریک تو در تو تعمیم یافته می تواند مدل های زبان بزرگ را فریب دهد پیشنهاد کرد چارچوب ReNeLLM که از LLM ها برای ایجاد درخواست های فرار از زندان استفاده می کند و ناکافی بودن اقدامات دفاعی فعلی را آشکار می کند.

موارد زیر چند مورد از روش های متعددی است که امروزه LLM ها به سلاح تبدیل می شوند:

1. جیلبریک و مهندسی معکوس برای نفی ویژگی های ایمنی LLM. محققانی که چارچوب ReNeLLM را ایجاد کردند نشان دادند که تکمیل فرآیندهای جیلبریک که شامل مهندسی معکوس LLM ها برای کاهش اثربخشی ویژگی های ایمنی آنها می شود، امکان پذیر است. محققانی که در مطالعه Bad Llama آسیب‌پذیری‌ها را شناسایی کردند، آسیب‌پذیری LLMها را در برابر جیلبریک و مهندسی معکوس نشان دادند.

2. فیشینگ و حملات مهندسی اجتماعی: شبیه سازی وحشتناک محققان دانشگاه آکسفورد در مورد اینکه چگونه کمپین های spearphishing با سرعت و آسانی می توانند ایجاد و برای هر یک از اعضای پارلمان بریتانیا ارسال شوند، تازه شروع کار است. اوایل امسال Zscaler جی چودری، مدیر عامل شرکت، به حضار گفت Zenith Live 2023 در مورد نحوه استفاده مهاجم از a دیپ فیک صدای او برای اخاذی وجوه از عملیات شرکت مستقر در هند. دیپ فیک آنقدر رایج شده است که وزارت امنیت داخلی راهنمایی صادر کرده است افزایش تهدید هویت های Deepfake.
3. ربودن برند، اطلاعات نادرست، تبلیغات. ثابت شده است که LLMها موتورهای پرباری هستند که قادر به تعریف مجدد برندهای شرکتی و گسترش تبلیغات اطلاعات نادرست، همه در تلاش برای تغییر جهت انتخابات و اشکال حکومت کشورها هستند. Freedom House، OpenAI با دانشگاه جورج تاون و موسسه بروکینگز در حال تکمیل مطالعاتی هستند که نشان می دهد چگونه هوش مصنوعی ژنرال به طور مؤثر افکار عمومی را دستکاری می کند و باعث ایجاد شکاف و درگیری اجتماعی و در عین حال تضعیف دموکراسی می شود. ترکیب سانسور، از جمله تضعیف مطبوعات آزاد و آزاد و ترویج محتوای گمراه کننده، استراتژی مورد علاقه رژیم های خودکامه است.
4. توسعه سلاح های بیولوژیکی تیمی از محققان از آزمایشگاه رسانه در MIT، SecureBio، دانشکده مدیریت اسلون در MIT، دانشکده فارغ التحصیل طراحی در هاروارد، و بنیاد SecureDNA در یک نگاه جذاب در مورد اینکه چگونه LLM های آسیب پذیر می توانند به دموکراتیک کردن دسترسی به استفاده دوگانه کمک کنند، همکاری کردند. بیوتکنولوژی ها آنها مطالعه دریافتند که LLM ها می توانند در سنتز عوامل بیولوژیکی یا پیشرفت تکنیک های مهندسی ژنتیک با هدف مضر کمک کنند. محققین نوشتن در نتایج خلاصه خود نشان می دهد که LLM ها عوامل کلاس همه گیر را به محض شناسایی معتبر، حتی برای افرادی که آموزش آزمایشگاهی کمی دارند یا اصلاً آموزش نمی بینند، به طور گسترده در دسترس قرار می دهند.
5. جاسوسی سایبری و سرقت مالکیت معنوی، از جمله مدل ها. خدمات جاسوسی سایبری برای سرقت مالکیت معنوی رقبا، پروژه های تحقیق و توسعه و نتایج مالی اختصاصی در وب تاریک و کانال های تلگرامی پنهان شده تبلیغ می شود. سندیکاهای جرایم سایبری و تیم‌های حمله دولت ملت از LLM برای کمک به جعل هویت مدیران شرکت و دسترسی به داده‌های محرمانه استفاده می‌کنند. Beason توصیه می کند: “امنیت ناکافی مدل یک خطر مهم مرتبط با هوش مصنوعی مولد است. اگر به درستی ایمن نشود، خود مدل ها می توانند به سرقت، دستکاری یا دستکاری شوند که منجر به استفاده غیرمجاز یا ایجاد محتوای تقلبی شود.”
6. مفاهیم حقوقی و اخلاقی در حال تحول اینکه چگونه LLMها بر روی داده ها آموزش می بینند، بر روی کدام داده ها آموزش می بینند، و چگونه به طور مداوم با مداخله انسانی تنظیم می شوند، همه منابع چالش های قانونی و اخلاقی برای هر سازمانی است که این فناوری را اتخاذ می کند. سوابق اخلاقی و قانونی اسلحه سازی شدن LLM های دزدیده شده یا دزدی دریایی هنوز در حال شکل گیری است.

مقابله با تهدید LLM های مسلح شده

در سراسر پایگاه تحقیقاتی رو به رشدی که ردیابی می‌کند چگونه LLM‌ها می‌توانند و چگونه به خطر افتاده‌اند، سه استراتژی اصلی به عنوان رایج‌ترین رویکردها برای مقابله با این تهدیدها ظاهر می‌شوند. آنها شامل موارد زیر است:

تعریف تراز امنیتی پیشرفته در مراحل اولیه SDLC. سرعت انتشار سریع OpenAI باید با یک استراتژی قوی تر و همه جانبه امنیتی شیفت چپ در SDLC متعادل شود. مدارک فرآیند امنیتی OpenAI نیاز به کار دارد، از جمله نحوه انجام آن بازگرداندن داده های حساس اگر شخصی مدام همان رشته متن را وارد کند. همه LLM ها به آموزش های خصمانه گسترده تر و تمرین های تیم قرمز نیاز دارند.

نظارت و فیلتر پویا برای دور نگه داشتن اطلاعات محرمانه از LLM. محققان توافق دارند که نظارت و فیلترینگ بیشتری مورد نیاز است، به خصوص زمانی که کارمندان از LLM استفاده می کنند و خطر به اشتراک گذاری داده های محرمانه با مدل افزایش می یابد. محققان تاکید می‌کنند که این یک هدف متحرک است و مهاجمان در جهت‌یابی در اطراف دفاع دست بالا را دارند – آنها سریع‌تر از بهترین شرکت‌ها نوآوری می‌کنند. فروشندگانی که به این چالش می پردازند عبارتند از جداسازی هوش مصنوعی تولیدی Cradlepoint Ericom، امنیت منلو، Nightfall AI، Zscaler، و دیگران. جداسازی هوش مصنوعی مولد Ericom در اتکا به یک مرورگر مجازی جدا شده از محیط شبکه یک سازمان در Ericom Cloud منحصر به فرد است. حفاظت از دست دادن داده، اشتراک‌گذاری و کنترل‌های خط‌مشی دسترسی در فضای ابری اعمال می‌شود تا از ارسال داده‌های محرمانه، PII یا سایر اطلاعات حساس به LLM و افشای احتمالی آن جلوگیری شود.

استانداردسازی مشارکتی در توسعه LLM، سهام جدول است. ابتکار متا Purple Llama منعکس کننده دوران جدیدی در تضمین توسعه LLM از طریق همکاری با ارائه دهندگان پیشرو است. مطالعه BadLlama مشخص کرد که چگونه می توان پروتکل های ایمنی در LLM ها را به راحتی دور زد. محققان به سهولت سرعت در خطر افتادن ریل‌های محافظ LLM اشاره کردند و ثابت کردند که رویکردی یکپارچه‌تر و در سطح صنعت برای استانداردسازی اقدامات ایمنی مورد نیاز است.