OpenAI “چارچوب آمادگی” را برای ردیابی و کاهش خطرات هوش مصنوعی اعلام می کند

OpenAIآزمایشگاه هوش مصنوعی پشت ChatGPT امروز اعلام کردچارچوب آمادگیمجموعه ای از فرآیندها و ابزارها برای نظارت و مدیریت خطرات بالقوه مدل های هوش مصنوعی قدرتمندتر.

این اعلامیه در بحبوحه یک دوره پرتلاطم برای آزمایشگاه، که اخیراً با آن مواجه شده است، منتشر می شود انتقاد برای رسیدگی به اخراج و استخدام مجدد مدیر اجرایی آن، سام آلتمن. این مناقشه سوالاتی را در مورد آزمایشگاه ایجاد کرد حکومت و مسئولیتبه خصوص که برخی از پیشرفته ترین و تأثیرگذارترین سیستم های هوش مصنوعی در جهان را توسعه می دهد.

این چارچوب آمادگیطبق یک پست وبلاگ OpenAI، تلاشی برای رسیدگی به حداقل برخی از این نگرانی ها و نشان دادن تعهد آزمایشگاه به توسعه هوش مصنوعی مسئولانه و اخلاقی است. این چارچوب نشان می‌دهد که چگونه OpenAI «ردیابی، ارزیابی، پیش‌بینی و محافظت در برابر خطرات فاجعه‌بار ناشی از مدل‌های قدرتمندتر» را نشان می‌دهد، مانند مدل‌هایی که می‌توانند برای حملات سایبری، ترغیب انبوه یا سلاح‌های خودمختار استفاده شوند.

رویکرد داده محور برای ایمنی هوش مصنوعی

یکی از مؤلفه‌های کلیدی این چارچوب، استفاده از «کارت‌های امتیازی» ریسک برای مدل‌های هوش مصنوعی است که شاخص‌های مختلف آسیب‌های احتمالی، مانند قابلیت‌ها، آسیب‌پذیری‌ها و تأثیرات مدل را اندازه‌گیری و ردیابی می‌کند. کارت‌های امتیازی به‌طور مرتب به‌روزرسانی می‌شوند و در صورت رسیدن به آستانه‌های خطر خاص، بازبینی و مداخلات را آغاز می‌کنند.

این چارچوب همچنین بر اهمیت ارزیابی‌ها و پیش‌بینی‌های دقیق و مبتنی بر داده‌ها از قابلیت‌ها و ریسک‌های هوش مصنوعی، دور شدن از سناریوهای فرضی و گمانه‌زنی که اغلب بر گفتمان عمومی تسلط دارند، تأکید می‌کند. OpenAI می گوید در طراحی و اجرای چنین ارزیابی هایی و همچنین در توسعه استراتژی های کاهش و پادمان ها سرمایه گذاری می کند.

به گفته OpenAI، چارچوب یک سند ثابت نیست، بلکه یک سند پویا و در حال تکامل است. این آزمایشگاه می گوید که به طور مداوم چارچوب را بر اساس داده ها، بازخوردها و تحقیقات جدید اصلاح و به روز می کند و یافته ها و بهترین شیوه های خود را با جامعه گسترده تر هوش مصنوعی به اشتراک می گذارد.

تضاد با سیاست آنتروپیک

اعلامیه OpenAI در پی انتشار چندین نسخه اصلی با تمرکز بر ایمنی هوش مصنوعی توسط رقیب اصلی آن، Anthropic، یکی دیگر از آزمایشگاه‌های پیشرو هوش مصنوعی که توسط محققان سابق OpenAI تأسیس شد، منتشر شد. آنتروپیک که به رویکرد مخفیانه و گزینشی خود مشهور است، اخیراً خود را منتشر کرده است سیاست مقیاس پذیری مسئولچارچوبی که سطوح ایمنی هوش مصنوعی و پروتکل های مربوطه را برای توسعه و استقرار مدل های هوش مصنوعی تعریف می کند.

این دو چارچوب از نظر ساختار و روش شناسی تفاوت های چشمگیری دارند. خط‌مشی آنتروپیک رسمی‌تر و تجویزی‌تر است، به‌طور مستقیم اقدامات ایمنی را با قابلیت‌های مدل‌سازی مرتبط می‌کند و در صورت عدم اثبات ایمنی، توسعه را متوقف می‌کند. چارچوب OpenAI انعطاف‌پذیرتر و سازگارتر است و آستانه‌های ریسک عمومی را تعیین می‌کند که به جای سطوح از پیش تعریف‌شده، بازبینی‌ها را آغاز می‌کند.

کارشناسان می گویند که هر دو چارچوب محاسن و معایب خود را دارند، اما رویکرد Anthropic ممکن است از نظر ایجاد انگیزه و اجرای استانداردهای ایمنی برتری داشته باشد. از تجزیه و تحلیل ما، به نظر می رسد که خط مشی Anthropic ایمنی را در فرآیند توسعه ایجاد می کند، در حالی که چارچوب OpenAI آزادتر و اختیاری تر باقی می ماند و فضای بیشتری برای قضاوت و خطای انسانی باقی می گذارد.

برخی از ناظران همچنین می بینند که OpenAI پس از مواجهه با واکنش های سریع به پروتکل های ایمنی، به دنبال آن است. استقرار تهاجمی مدل‌هایی مانند GPT-4، پیشرفته‌ترین مدل زبان بزرگ که می‌تواند متن واقعی و متقاعدکننده تولید کند. سیاست آنتروپیک ممکن است مزیتی داشته باشد تا حدی به این دلیل که به‌جای واکنش‌پذیری به‌طور پیش‌گیرانه توسعه داده شده است.

صرف نظر از تفاوت‌هایشان، هر دو چارچوب یک گام به جلو برای حوزه ایمنی هوش مصنوعی است که اغلب تحت الشعاع پیگیری قابلیت‌های هوش مصنوعی قرار گرفته است. با قدرتمندتر و فراگیر شدن مدل‌های هوش مصنوعی، همکاری و هماهنگی روی تکنیک‌های ایمنی بین آزمایشگاه‌های پیشرو و ذینفعان برای اطمینان از استفاده مفید و اخلاقی از هوش مصنوعی برای بشریت ضروری است.