اگر از طوطی نصیحت نمی‌کنید، به ChatGPT گوش ندهید: ابزار را امتحان کنید

ChatGPT از زمانی که OpenAI نسخه بتای چت ربات پیشرفته خود را معرفی کرد، طوفانی به جهان وارد کرد. OpenAI همچنین یک برنامه رایگان ChatGPT را برای iPhone و iPad منتشر کرد که این ابزار را مستقیماً در دست مصرف کنندگان قرار می دهد. چت بات و دیگران هوش مصنوعی مولد ابزارهایی که در صحنه فناوری هجوم آورده اند، بسیاری از کاربران را به دلیل پاسخ های انسانی و پاسخ های تقریباً فوری به سؤالات، متحیر و وحشت زده کرده اند.

مردم متوجه نمی شوند که اگرچه این چت بات ها پاسخ هایی را ارائه می دهند که به نظر “انسانی” می آید، اما چیزی که آنها فاقد آن هستند درک اساسی است. ChatGPT بر روی انبوهی از داده‌های اینترنتی – میلیاردها صفحه متن – آموزش داده شد و پاسخ‌های خود را تنها از این اطلاعات می‌گیرد.

داده ChatGPT از آموزش دیده استکه Common Crawl نامیده می شود، در مورد داده های آموزشی تقریباً به همان اندازه خوب است. با این حال ما هرگز در واقع نمی دانیم چرا یا چگونه ربات به پاسخ های خاصی می رسد. و اگر اطلاعات نادرست تولید کند، با اطمینان می گوید. نمی داند اشتباه است حتی با درخواست‌ها و مقدمات عمدی و پرمخاطب، می‌تواند اطلاعات صحیح و نادرست را خروجی دهد.

عواقب پرهزینه پیروی کورکورانه از توصیه ChatGPT

ما می توانیم هوش مصنوعی را با طوطی مقایسه کنیم که زبان انسان را تقلید می کند. در حالی که خوب است که این ابزار افکار یا درک منحصر به فردی نداشته باشد، بسیاری از افراد بی خیال به توصیه های آن گوش می دهند و دنبال می کنند. وقتی طوطی صحبت می‌کند، می‌دانید که در حال تکرار کلماتی است که شنیده است، بنابراین آن را با یک دانه نمک می‌گیرید. کاربران باید درمان کنند مدل های زبان طبیعی با همان دوز شک و تردید. عواقب پیروی کورکورانه از “توصیه” هر چت بات می تواند پرهزینه باشد.

یک مطالعه اخیر توسط محققان دانشگاه استنفورد، “چگونه رفتار ChatGPT در طول زمان تغییر می کند؟” متوجه شد که دقت ربات در حل یک مسئله ریاضی ساده در مارس ۲۰۲۳ ۹۸٪ بود، اما به شدت در ژوئن ۲۰۲۳ به تنها ۲٪ کاهش یافت. این امر بر غیرقابل اعتماد بودن آن تأکید می کند. به خاطر داشته باشید، این تحقیق در مورد یک مسئله ریاضی پایه بود – تصور کنید اگر ریاضی یا موضوع پیچیده‌تر است و کاربر نمی‌تواند به راحتی اشتباه بودن آن را تأیید کند.

• اگر کد بود و باگ های مهمی داشت چطور؟
• در مورد پیش بینی اینکه آیا گروهی از اشعه ایکس سرطان دارند چه می شود؟
• ماشینی که ارزش شما را برای جامعه پیش بینی می کند چطور؟

اگر شخصی از ChatGPT سوالی می پرسد، به احتمال زیاد در این موضوع متخصص نیست و بنابراین تفاوت بین اطلاعات صحیح و نادرست را نمی داند. ممکن است کاربران زمان خود را صرف بررسی واقعیت پاسخ نکنند و ممکن است بر اساس داده های نادرست تصمیم بگیرند.

انتخاب “مغز” ChatGPT در مورد انعطاف پذیری امنیت سایبری

من پرسیدم ChatGPT برای راه‌حل‌های پیشنهادی و گام‌های تاکتیکی برای ایجاد انعطاف‌پذیری امنیت سایبری در برابر بازیگران بد – موضوعی که من عمیقاً با آن آشنا هستم. چند توصیه مفید و چند توصیه بد ارائه کرد. بر اساس سال‌ها تجربه من در امنیت سایبری، بلافاصله برای من واضح بود که نکات سؤال برانگیز هستند، اما کسی که متخصص موضوع نیست احتمالاً نمی‌داند کدام پاسخ مفید در مقابل مضر است. هر یک از نکات بر نیاز به عنصر انسانی در هنگام ارزیابی توصیه های یک ربات تأکید می کند.

GPT چت: “کارکنان خود را آموزش دهید: کارکنان شما می توانند اولین خط دفاع شما در برابر بازیگران بد باشند. آموزش آنها در بهترین شیوه ها برای امنیت داده ها و آموزش آنها در مورد تهدیدات بالقوه بسیار مهم است.”

• برداشت من: ملاحظاتی مانند سطح تجربه و زمینه های تخصص بسیار مهم است که در نظر داشته باشید، زیرا شناخت مخاطبان رویکرد آموزش را نشان می دهد. به همین ترتیب، آموزش باید ریشه در نیازها و اهداف امنیت سایبری خاص سازمان داشته باشد. با ارزش ترین آموزش، عملی و مبتنی بر کارهایی است که کارکنان هر روز انجام می دهند، مانند استفاده از رمزهای عبور قوی و منحصر به فرد برای محافظت از حساب های خود. به عنوان یک ربات، ChatGPT این زمینه را ندارد مگر اینکه شما، درخواست کننده، آن را ارائه دهید. و حتی با درخواست‌های بیش از حد پرمخاطب و خاص، همچنان می‌تواند توصیه‌های بدی را به اشتراک بگذارد.

حکم: این نکته خوبی است، اما فاقد جزئیات مهم در مورد نحوه آموزش و آموزش کارکنان است.

GPT چت: “همکاری با سایر شرکت ها و سازمان ها: همکاری کلید ایجاد انعطاف پذیری در برابر بازیگران بد است. با همکاری با سایر شرکت ها و سازمان ها، می توانید بهترین شیوه ها و اطلاعات در مورد تهدیدات احتمالی را به اشتراک بگذارید.“

• برداشت من: این توصیه خوبی است که در زمینه مورد توجه قرار گیرد، به ویژه زمانی که سازمان های بخش دولتی و خصوصی برای یادگیری از یکدیگر و اتخاذ بهترین شیوه ها با یکدیگر همکاری می کنند. با این حال، ChatGPT چنین زمینه ای را ارائه نکرد. شرکت‌هایی که بعد از یکی شدن گرد هم می‌آیند قربانی یک حمله و بحث در مورد جزئیات حمله یا پرداخت های باج افزار، برای مثال، می تواند فوق العاده مضر باشد. در صورت نقض، تمرکز اولیه نباید بر روی همکاری باشد، بلکه باید بر روی تریاژ، پاسخ، تجزیه و تحلیل پزشکی قانونی و کار با مجری قانون باشد.

حکم: برای سنجش موثر اطلاعات از مدل‌های پردازش زبان طبیعی (NLP) به عنصر انسانی نیاز دارید.

GPT چت: اقدامات امنیتی قوی را اجرا کنید: یکی از مهم‌ترین گام‌ها برای ایجاد انعطاف‌پذیری در برابر بازیگران بد، اجرای اقدامات امنیتی قوی برای سیستم‌های هوش مصنوعی است. این شامل مواردی مانند مکانیزم های احراز هویت قوی، ذخیره سازی امن داده ها و رمزگذاری داده های حساس است.

• برداشت من: در حالی که این توصیه خوب در سطح بالا است (اگرچه عقل سلیم)، “اقدامات امنیتی قوی” بسته به سفر بلوغ امنیتی سازمان متفاوت است. به عنوان مثال، یک استارت آپ ۱۵ نفره نسبت به بانک جهانی فورچون ۱۰۰ اقدامات امنیتی متفاوتی را تضمین می کند. و در حالی که AI ممکن است با اعلان های بهتر توصیه های بهتری ارائه دهد، اپراتورها در مورد اینکه چه سوالاتی بپرسند یا چه نکاتی را باید ارائه دهند آموزش ندیده اند. به عنوان مثال، اگر گفتید نکات مربوط به یک تجارت کوچک بدون بودجه امنیتی است، بدون شک پاسخ بسیار متفاوتی دریافت خواهید کرد.

GPT چت: “پایش و تجزیه و تحلیل داده ها: با نظارت و تجزیه و تحلیل داده ها، می توانید الگوها و روندهایی را شناسایی کنید که ممکن است نشان دهنده یک تهدید بالقوه باشد. این می تواند به شما کمک کند قبل از اینکه تهدید جدی شود، اقدام کنید.»

• برداشت من: تیم‌های فنی و امنیتی از هوش مصنوعی برای خطوط پایه رفتاری استفاده می‌کنند که می‌تواند ابزاری قوی و مفید برای مدافعان فراهم کند. هوش مصنوعی چیزهای غیر معمولی پیدا می کند که باید به آنها نگاه کرد. با این حال، نباید تصمیم گیری کند. به عنوان مثال، فرض کنید یک سازمان در شش ماه گذشته سروری داشته است که روزانه یک عملکرد را انجام می دهد و ناگهان حجم زیادی از داده را دانلود می کند. هوش مصنوعی می تواند این ناهنجاری را به عنوان یک تهدید علامت گذاری کند. با این حال، عنصر انسانی هنوز برای تجزیه و تحلیل حیاتی است – یعنی بررسی اینکه آیا این موضوع وجود دارد یا خیر بود یک ناهنجاری یا چیزی معمولی مانند انبوهی از به‌روزرسانی‌های نرم‌افزاری در «Patch Tuesday». عنصر انسانی برای تعیین اینکه آیا رفتار غیرعادی واقعاً بدخواهانه است یا خیر مورد نیاز است.

مشاوره فقط به اندازه داده های آموزشی خوب (و تازه).

مانند هر مدل یادگیری، ChatGPT “دانش” خود را از داده های اینترنتی می گیرد. داده های آموزشی کج یا ناقص بر اطلاعاتی که به اشتراک می گذارد تأثیر می گذارد، که می تواند باعث شود این ابزارها نتایج غیرمنتظره یا تحریف شده ایجاد کنند. علاوه بر این، توصیه های ارائه شده توسط هوش مصنوعی به اندازه داده های آموزشی آن قدیمی است. در مورد ChatGPT، هر چیزی که به اطلاعات پس از سال ۲۰۲۱ متکی باشد، در نظر گرفته نمی شود. این یک ملاحظه عظیم برای صنعتی مانند رشته است امنیت سایبریکه به طور مداوم در حال تکامل و به طور باورنکردنی پویا است.

به عنوان مثال، گوگل اخیراً دامنه سطح بالای .zip را برای عموم منتشر کرده است که به کاربران امکان می دهد دامنه های .zip را ثبت کنند. اما مجرمان سایبری در حال حاضر از دامنه های .zip در کمپین های فیشینگ استفاده می کنند. اکنون، کاربران به استراتژی‌های جدیدی برای شناسایی و اجتناب از این نوع تلاش‌های فیشینگ نیاز دارند.

اما از آنجایی که این بسیار جدید است، برای اینکه در شناسایی این تلاش‌ها مؤثر باشد، یک ابزار هوش مصنوعی باید بر روی داده‌های اضافی بالای Common Crawl آموزش داده شود. ساختن یک مجموعه داده جدید مانند آنچه که داریم تقریباً غیرممکن است زیرا متن تولید شده بسیار زیاد است، و ما می دانیم که استفاده از یک ماشین برای آموزش ماشین دستوری برای فاجعه است. هر گونه سوگیری در داده ها را تقویت می کند و موارد نادرست را مجدداً اعمال می کند.

مردم نه تنها باید از پیروی از توصیه‌های ChatGPT محتاط باشند، بلکه صنعت باید برای مبارزه با نحوه استفاده مجرمان سایبری از آن، تکامل یابد. بازیگران بد در حال حاضر ایمیل‌های فیشینگ و کلاهبرداری‌های باورپذیرتری ایجاد می‌کنند، و این فقط نوک کوه یخ است. غول های فناوری باید با هم کار کنند تا اطمینان حاصل شود که کاربران اخلاقی محتاط، مسئولیت پذیر هستند و در مسابقه تسلیحاتی هوش مصنوعی پیشتاز باقی می مانند.

زین باند یک متخصص امنیت سایبری و رئیس محصول در Keeper Security.