Lasso Security از مخفی کاری ظاهر می شود تا امنیت LLM را به چالش بکشد

برای چیزی بسیار پیچیده و مدل های زبانی بزرگ (LLMs) وقتی صحبت از امنیت سایبری می شود، می تواند کاملاً ساده لوحانه باشد.

به عنوان مثال، با مجموعه ای ساده و حیله گرانه از دستورات، آنها می توانند هزاران راز را رها کنند. یا می توان آنها را فریب داد تا بسته های کد مخرب ایجاد کنند. در همین حال، داده های مسموم به آنها تزریق می شود، در عین حال، می تواند منجر به سوگیری و رفتار غیراخلاقی شود.

الاد شولمن، یکی از بنیانگذاران و مدیر عامل شرکت: «به همان اندازه که قدرتمند هستند، نباید به LLM ها بدون انتقاد اعتماد کرد. کمند ثانیهurity، در مصاحبه ای اختصاصی با VentureBeat گفت. با توجه به قابلیت‌ها و پیچیدگی‌های پیشرفته‌شان، LLM‌ها در برابر نگرانی‌های امنیتی متعدد آسیب‌پذیر هستند.

شرکت شولمن هدفی دارد که این مشکلات سرسام آور را “کند” کند – این شرکت امروز از مخفی کاری با ۶ میلیون دلار بودجه اولیه راه اندازی شد. سرمایه ورودی با مشارکت از Samsung Next.
شولمن گفت: «انقلاب LLM احتمالاً بزرگتر از انقلاب ابری و انقلاب اینترنت است. با این پیشرفت بزرگ، خطرات بزرگی به همراه خواهد داشت، و شما نمی توانید خیلی زود به این موضوع رسیدگی کنید.

فرار از زندان، قرار گرفتن در معرض ناخواسته، مسمومیت داده ها

LLMها یک فناوری پیشگامانه هستند که جهان را فراگرفته و به سرعت به عنوان شولمن به “دارایی غیرقابل مذاکره برای مشاغلی که در تلاش برای حفظ مزیت رقابتی هستند” تبدیل شده است.

این فناوری محاوره ای، بدون ساختار و موقعیتی است و استفاده و بهره برداری از آن را برای همه آسان می کند.

برای شروع، هنگامی که به روش صحیح دستکاری می شود – از طریق تزریق سریع یا جیلبریک – مدل‌ها می‌توانند داده‌های آموزشی، اطلاعات حساس سازمان و کاربران، الگوریتم‌های اختصاصی و سایر جزئیات محرمانه خود را آشکار کنند.

به طور مشابه، هنگامی که به طور ناخواسته به طور نادرست استفاده شود، کارگران می توانند اطلاعات شرکت را افشا کنند – همانطور که در مورد سامسونگکه در نهایت استفاده از ChatGPT و دیگر ابزارهای مولد هوش مصنوعی را به کلی ممنوع کرد.

شولمن گفت: «از آنجایی که محتوای تولید شده توسط LLM را می توان با ورودی سریع کنترل کرد، این همچنین می تواند منجر به دسترسی غیرمستقیم کاربران به عملکردهای اضافی از طریق مدل شود.

او توضیح داد که در همین حال، مسائل به دلیل «مسمومیت» داده‌ها یا زمانی که داده‌های آموزشی دستکاری می‌شوند، به وجود می‌آیند، بنابراین سوگیری ایجاد می‌شود که امنیت، اثربخشی یا رفتار اخلاقی را به خطر می‌اندازد. از سوی دیگر، مدیریت ناامن خروجی به دلیل اعتبار سنجی و بهداشت ناکافی خروجی ها قبل از اینکه به سایر اجزا، کاربران و سیستم ها منتقل شوند، است.

این آسیب‌پذیری زمانی رخ می‌دهد که خروجی LLM بدون بررسی دقیق پذیرفته شود و سیستم‌های باطن را آشکار کند. لیست ۱۰ تای برتر از انجمن آنلاین OWASP. استفاده نادرست ممکن است منجر به عواقب شدیدی مانند XSS، CSRF، SSRF، افزایش امتیاز یا اجرای کد از راه دور شود.

OWASP همچنین یک مدل انکار سرویس را شناسایی می‌کند که در آن مهاجمان LLM‌ها را با درخواست‌ها پر می‌کنند که منجر به تخریب یا حتی خاموش شدن سرویس می‌شود.

علاوه بر این، یک زنجیره تامین نرم‌افزار LLM ممکن است توسط مؤلفه‌ها یا خدمات آسیب‌پذیر مجموعه داده‌ها یا افزونه‌های شخص ثالث در معرض خطر قرار گیرد.

توسعه دهندگان: زیاد اعتماد نکنید

نگرانی خاص اتکای بیش از حد به یک مدل به عنوان تنها منبع اطلاعات است. به گفته کارشناسان، این می تواند نه تنها منجر به اطلاعات نادرست، بلکه به حوادث امنیتی بزرگ شود.

به عنوان مثال، در مورد “توهم بسته”، یک توسعه دهنده ممکن است بپرسد ChatGPT برای پیشنهاد یک بسته کد برای یک کار خاص. سپس این مدل ممکن است به طور ناخواسته پاسخی برای بسته ای که وجود ندارد (“توهم”) ارائه دهد.

سپس هکرها می‌توانند یک بسته کد مخرب را پر کنند که با بسته توهم مطابقت دارد. شولمن توضیح داد، هنگامی که یک توسعه دهنده آن کد را پیدا کرده و آن را وارد می کند، هکرها یک درب پشتی در سیستم های شرکت دارند.

او گفت: “این می تواند از اعتماد توسعه دهندگان به توصیه های ابزار مبتنی بر هوش مصنوعی سوء استفاده کند.”

رهگیری، نظارت بر تعاملات LLM

به زبان ساده، فناوری Lasso تعاملات با LLM ها را متوقف می کند.

این می تواند بین کارمندان و ابزارهایی مانند Bard یا ChatGPT باشد. عواملی مانند Grammarly که به سیستم های یک سازمان متصل هستند. پلاگین های مرتبط با IDE های توسعه دهندگان (مانند Copilot)؛ یا توابع باطن که تماس های API را انجام می دهند.

شولمن گفت که یک لایه مشاهده پذیری داده های ارسال شده و بازیابی شده از LLM ها و چندین لایه طبقه بندی کننده داده اهرمی تشخیص تهدید، پردازش زبان مادری و LLM های خود کمند را که برای شناسایی ناهنجاری ها آموزش دیده اند، می گیرد. اقدامات پاسخ – مسدود کردن یا صدور هشدارها – نیز اعمال می شود.

شولمن می‌گوید: «اصلی‌ترین توصیه این است که بفهمیم کدام ابزارهای LLM در سازمان، کارمندان یا برنامه‌ها استفاده می‌شوند. “به دنبال آن، درک کنید که چگونه از آنها استفاده می شود، و برای چه اهدافی. این دو اقدام به تنهایی یک بحث انتقادی را در مورد آنچه آنها می خواهند و آنچه را که باید محافظت کنند ایجاد می کند.”

ویژگی های کلیدی این پلتفرم عبارتند از:

• Shadow AI Discovery: کارشناسان امنیتی می توانند تشخیص دهند که چه ابزارها و مدل هایی فعال هستند، کاربران را شناسایی کرده و بینش به دست آورند.
• نظارت و مشاهده پذیری جریان داده LLM: سیستم هر انتقال داده ورودی و خروجی به یک سازمان را ردیابی و ثبت می کند.
• تشخیص و هشدار در زمان واقعی.
• مسدود کردن و محافظت سرتاسر: تضمین می‌کند که درخواست‌ها و خروجی‌های ایجاد شده توسط کارمندان یا مدل‌ها با سیاست‌های امنیتی همسو می‌شوند.
• داشبورد کاربر پسند

استفاده ایمن از فناوری پیشرفت

Lasso خود را متمایز می کند زیرا “یک ویژگی صرف نیست” یا یک ابزار امنیتی مانند پیشگیری از از دست دادن داده ها (DLP) با هدف موارد استفاده خاص است. شولمن گفت، در عوض، این مجموعه کاملی است که “بر دنیای LLM متمرکز شده است.”

تیم های امنیتی کنترل کاملی بر هر تعامل مرتبط با LLM در یک سازمان به دست می آورند و می توانند خط مشی هایی را برای گروه ها و کاربران مختلف ایجاد و اجرا کنند.

«سازمان‌ها باید پیشرفت را اتخاذ کنند، و باید آن‌ها را بپذیرند فناوری های LLMاما آنها باید این کار را به روشی امن و ایمن انجام دهند.”

او خاطرنشان کرد که مسدود کردن استفاده از فناوری پایدار نیست و شرکت‌هایی که از هوش مصنوعی ژنرال بدون برنامه ریسک اختصاصی استفاده نمی‌کنند آسیب خواهند دید.

شولمن گفت، هدف Lasso “تجهیز سازمان‌ها به جعبه ابزار امنیتی مناسب برای استقبال از پیشرفت، و استفاده از این فناوری واقعاً قابل توجه بدون به خطر انداختن موقعیت‌های امنیتی آنها است.”