هوش مصنوعی مولد: طرحی عملی برای امنیت داده ها

افزایش سریع مدل های زبان بزرگ (LLM) و هوش مصنوعی مولد چالش های جدیدی را برای تیم های امنیتی در همه جا ارائه کرده است. در ایجاد راه‌های جدید برای دسترسی به داده‌ها، هوش مصنوعی ژنرال با پارادایم‌های امنیتی سنتی که بر جلوگیری از ارسال داده‌ها به افرادی که قرار نیست آن را داشته باشند، تطبیق نمی‌دهد.

برای اینکه سازمان‌ها بتوانند به سرعت بر روی هوش مصنوعی بدون وارد کردن ریسک‌های بی‌رویه حرکت کنند، ارائه‌دهندگان امنیتی باید برنامه‌های خود را با در نظر گرفتن انواع جدید ریسک و نحوه اعمال فشار بر برنامه‌های موجود خود به‌روزرسانی کنند.

واسطه‌های غیرقابل اعتماد: منبع جدیدی از IT سایه

در حال حاضر یک صنعت کامل بر روی LLM هایی که توسط سرویس هایی مانند OpenAI، Hugging Face و Anthropic میزبانی می شوند، ساخته و گسترش می یابد. علاوه بر این، تعدادی مدل باز موجود است مانند LLaMA از Meta و GPT-2 از OpenAI.

دسترسی به این مدل ها می تواند به کارکنان یک سازمان کمک کند تا چالش های تجاری را حل کنند. اما به دلایل مختلف، همه در موقعیت دسترسی مستقیم به این مدل ها نیستند. در عوض، کارمندان اغلب به دنبال ابزارهایی هستند – مانند برنامه‌های افزودنی مرورگر، برنامه‌های بهره‌وری SaaS، برنامه‌های Slack و APIهای پولی – که نوید استفاده آسان از مدل‌ها را می‌دهند.

این واسطه ها به سرعت در حال تبدیل شدن به منبع جدیدی از IT سایه هستند. استفاده از افزونه کروم برای نوشتن ایمیل فروش بهتر مانند استفاده از فروشنده نیست. به نظر یک هک بهره وری است. برای بسیاری از کارمندان واضح نیست که با به اشتراک گذاشتن همه اینها با شخص ثالث، نشت داده های حساس مهم را معرفی می کنند، حتی اگر سازمان شما با مدل ها و ارائه دهندگان زیربنایی راحت باشد.

آموزش فراتر از مرزهای امنیتی

این نوع ریسک برای اکثر سازمان ها نسبتاً جدید است. سه مرز بالقوه در این خطر نقش دارند:

1. مرزهای بین کاربران یک مدل پایه
2. مرزهای بین مشتریان شرکتی که بر روی یک مدل پایه تنظیم می شود
3. مرزهای بین کاربران درون یک سازمان با حقوق دسترسی متفاوت به داده ها که برای تنظیم دقیق یک مدل استفاده می شود

در هر یک از این موارد، موضوع درک این است که چه داده هایی در یک مدل قرار می گیرند. فقط افرادی که به داده های آموزشی یا تنظیم دقیق دسترسی دارند باید به مدل حاصل دسترسی داشته باشند.

به عنوان مثال، فرض کنید که یک سازمان از محصولی استفاده می کند که یک LLM را با استفاده از محتویات مجموعه بهره وری خود تنظیم می کند. چگونه آن ابزار تضمین می‌کند که من نمی‌توانم از مدل برای بازیابی اطلاعاتی که در اصل از اسنادی که اجازه دسترسی به آنها را ندارم استفاده کنم؟ علاوه بر این، پس از لغو دسترسی من در ابتدا، چگونه آن مکانیسم را به روز می کند؟

اینها مشکلات قابل حل هستند، اما نیاز به توجه ویژه دارند.

نقض حریم خصوصی: استفاده از هوش مصنوعی و PII

در حالی که ملاحظات حفظ حریم خصوصی چیز جدیدی نیست، استفاده از هوش مصنوعی ژنرال با اطلاعات شخصی می تواند این مسائل را به ویژه چالش برانگیز کند.

در بسیاری از حوزه‌های قضایی، پردازش خودکار اطلاعات شخصی به منظور تجزیه و تحلیل یا پیش‌بینی جنبه‌های خاصی از آن شخص، یک فعالیت تنظیم‌شده است. استفاده از ابزارهای هوش مصنوعی می‌تواند به این فرآیندها تفاوت‌های ظریف اضافه کند و پیروی از الزاماتی مانند ارائه انصراف را دشوارتر کند.

ملاحظات دیگر این است که چگونه مدل‌های آموزش یا تنظیم دقیق اطلاعات شخصی ممکن است بر توانایی شما در رعایت درخواست‌های حذف، محدودیت‌های تغییر منظور داده‌ها، اقامت داده‌ها و سایر الزامات چالش برانگیز حریم خصوصی و مقررات تأثیر بگذارد.

تطبیق برنامه های امنیتی با خطرات هوش مصنوعی

امنیت فروشنده، امنیت شرکت و امنیت محصول به‌ویژه با انواع جدیدی از ریسک‌هایی که توسط هوش مصنوعی معرفی شده‌اند، تشدید می‌شوند. هر یک از این برنامه ها باید برای مدیریت ریسک به طور موثر در آینده سازگار شوند. در اینجا چگونگی آن است.

امنیت فروشنده: با ابزارهای هوش مصنوعی مانند ابزارهای هر فروشنده دیگری رفتار کنید

نقطه شروع امنیت فروشنده در مورد ابزارهای هوش مصنوعی نسل این است که با این ابزارها مانند ابزارهایی که از هر فروشنده دیگری استفاده می کنید رفتار کنید. اطمینان حاصل کنید که آنها نیازهای معمول شما را برآورده می کنند امنیت و حریم خصوصی. هدف شما این است که اطمینان حاصل کنید که آنها یک مباشر قابل اعتماد برای داده های شما خواهند بود.

با توجه به تازگی این ابزارها، بسیاری از فروشندگان شما ممکن است از آنها به روش هایی استفاده کنند که بیشترین مسئولیت را ندارند. به این ترتیب، شما باید ملاحظاتی را به فرآیند بررسی دقیق خود اضافه کنید.

می‌توانید سؤالاتی را به پرسشنامه استاندارد خود اضافه کنید، به عنوان مثال:

• آیا داده های ارائه شده توسط شرکت ما برای آموزش یا تنظیم دقیق مدل های یادگیری ماشینی (ML) استفاده می شود؟
• چگونه آن مدل ها میزبانی و مستقر خواهند شد؟
• چگونه مطمئن می شوید که مدل های آموزش دیده یا تنظیم شده با داده های ما فقط برای افرادی قابل دسترسی است که هم در سازمان ما هستند و هم به آن داده ها دسترسی دارند؟
• چگونه به مشکل برخورد می کنید توهمات در مدل های هوش مصنوعی نسل؟

بررسی دقیق شما ممکن است شکل دیگری به خود بگیرد، و من مطمئن هستم که بسیاری از چارچوب‌های انطباق استاندارد مانند SOC 2 و ISO 27001 کنترل‌های مربوطه را در نسخه‌های آینده چارچوب‌های خود ایجاد خواهند کرد. اکنون زمان مناسبی است که این سؤالات را در نظر بگیرید و اطمینان حاصل کنید که فروشندگان شما نیز آنها را در نظر می گیرند.

امنیت سازمانی: انتظارات درست را تنظیم کنید

هر سازمانی رویکرد خاص خود را برای تعادل بین اصطکاک و قابلیت استفاده دارد. ممکن است سازمان شما قبلاً کنترل های سختگیرانه ای را پیرامون برنامه های افزودنی مرورگر و برنامه های OAuth در محیط SaaS شما اعمال کرده باشد. اکنون زمان بسیار خوبی است که نگاهی دوباره به رویکرد خود بیندازید تا مطمئن شوید که همچنان تعادل مناسب را برقرار می کند.

برنامه‌های میانجی غیرقابل اعتماد اغلب به شکل برنامه‌های افزودنی مرورگر با نصب آسان یا برنامه‌های OAuth هستند که به برنامه‌های SaaS موجود شما متصل می‌شوند. اینها بردارهایی هستند که قابل مشاهده و کنترل هستند. خطر استفاده کارمندان از ابزارهایی که داده‌های مشتری را به شخص ثالث تأیید نشده ارسال می‌کنند، به‌ویژه در حال حاضر شدید است که بسیاری از این ابزارها راه‌حل‌های چشمگیری را با استفاده از هوش مصنوعی ارائه می‌دهند.

علاوه بر کنترل های فنی، مهم است که انتظارات خود را از کارمندان خود تعیین کنید و نیت خوبی داشته باشید. اطمینان حاصل کنید که همکاران شما می دانند که چه چیزی برای استفاده از این ابزار مناسب است و چه چیزی مناسب نیست. با تیم های حقوقی و حریم خصوصی خود برای ایجاد یک فرم رسمی همکاری کنید هوش مصنوعی سیاست برای کارکنان

امنیت محصول: شفافیت باعث ایجاد اعتماد می شود

بزرگترین تغییر در امنیت محصول این است که اطمینان حاصل کنید که به یک واسطه غیرقابل اعتماد برای مشتریان خود تبدیل نمی شوید. در محصول خود نحوه استفاده از داده‌های مشتری را با هوش مصنوعی مشخص کنید. شفافیت اولین و قدرتمندترین ابزار در ایجاد اعتماد است.

محصول شما همچنین باید به همان مرزهای امنیتی که مشتریان شما انتظار دارند احترام بگذارد. اجازه ندهید افراد به مدل های آموزش دیده بر روی داده هایی که نمی توانند مستقیماً به آنها دسترسی داشته باشند دسترسی داشته باشند. این امکان وجود دارد که در آینده فناوری‌های اصلی بیشتری برای اعمال سیاست‌های مجوز دقیق برای دسترسی مدل وجود داشته باشد، اما ما هنوز در این تغییر دریا خیلی زود هستیم. مهندسی سریع و تزریق سریع حوزه‌های جدید و جذاب امنیت تهاجمی هستند و شما نمی‌خواهید استفاده شما از این مدل‌ها به منبعی برای نقض امنیت تبدیل شود.

به مشتریان خود گزینه هایی بدهید و به آنها اجازه دهید ویژگی های هوش مصنوعی نسل شما را انتخاب کنند یا از آنها انصراف دهند. این ابزارها را در دستان آنها قرار می دهد تا نحوه استفاده از داده های خود را انتخاب کنند.

در پایان روز، مهم این است که مانع پیشرفت نشوید. اگر این ابزارها شرکت شما را موفق تر می کند، پس اجتناب از آنها به دلیل ترس، عدم اطمینان و شک ممکن است خطر بیشتری نسبت به غوطه ور شدن در گفتگو باشد.

راب پیکارد رئیس امنیت در به خود می بالد.