آنچه متا از Galactica آموخت، مدل محکوم به فنا دو هفته قبل از ChatGPT راه اندازی شد

یک سال پیش – و دو هفته قبل از اینکه OpenAI ChatGPT را منتشر کرد – متا یک نسخه آزمایشی تحقیقاتی به نام منتشر کرد گالاکتیکا. یک “مدل زبان بزرگ برای علم” منبع باز که بر روی داده ها از جمله آموزش داده شده است ۴۸ میلیون مقاله علمیمتا از توانایی Galactica در «خلاصه‌سازی ادبیات دانشگاهی، حل مسائل ریاضی، تولید مقالات ویکی، نوشتن کدهای علمی، حاشیه‌نویسی مولکول‌ها و پروتئین‌ها و موارد دیگر» حمایت کرد.

Galactica تنها سه روز زنده ماند. در ۱۷ نوامبر، متا پس از نارضایتی از کلمه ای که در آن زمان هنوز وارد جریان اصلی نشده بود، دمو را حذف کرد: توهم. خیلی ها وحشت زده شدند توسط خروجی گاهاً بسیار غیرعلمی Galactica، که مانند سایر LLMها، حاوی اطلاعاتی بود که قابل قبول به نظر می رسید، اما در واقع اشتباه بود و در برخی موارد نیز بسیار توهین آمیز بود.

در آن زمان، یان لکون، دانشمند ارشد متا، به دنبال این مدل بود و یک سری اقدامات دفاعی را ارسال کرد. توییت ها: “دیگر نمی توان با استفاده نادرست از آن لذت برد. خوشحالی؟”)، اما فایده ای نداشت. Galactica مدل تغییر دهنده بازی برای دوران هوش مصنوعی مولد نخواهد بود.

دو هفته بعد، ChatGPT در طبیعت منتشر شد

اما در همان هفته شایعات وسوسه انگیز در مورد انتشار آتی GPT-4 – که برخی پیش‌بینی می‌کردند تا چند ماه آینده منتشر شود – مورد توجه قرار گرفت. و تنها دو هفته بعد، بسیاری از محققان هوش مصنوعی در آن شرکت کردند NeuroIPS در نیواورلئان امیدوار بود که OpenAI ممکن است GPT-4 را در کنفرانس منتشر کند، ناگهان آنجا بود – ChatGPTدر طبیعت رها شد.

البته به سرعت مشخص شد که ChatGPT مشکل توهم خود را دارد. مانند Galactica و دیگر مدل‌های مولد هوش مصنوعی، ChatGPT به سرعت پاسخ‌های شیوا و مطمئنی را ارائه می‌کند که اغلب قابل قبول و واقعی به نظر می‌رسند، حتی اگر اینطور نباشد. OpenAI این ضعف را کاملاً روشن کرد در وبلاگش ChatGPT را اعلام کرد و توضیح داد که رفع آن “چالش برانگیز” است.

با این حال، این امر باعث کاهش سرعت ChatGPT به ستاره شدن LLM نشد: در طول سال گذشته، این امر تبدیل به یکی از سریع ترین خدمات در حال رشد در تمام دورانبا حدود ۱۰۰ میلیون کاربر ماهانه تنها در دو ماه و اکنون ۱۰۰ میلیون کاربر هفتگی.

برای متا، میراث Galactica پابرجاست

با این حال، میراث Galactica پابرجاست. Joelle Pineau، معاون تحقیقات هوش مصنوعی در Meta، اخیراً به VentureBeat گفت: “درس های خوبی آموخته شد.” “این یک مدل خوب است – من هنوز درخواست های زیادی از افرادی که مدل را می خواهند دریافت می کنم.”

Pineau تاکید کرد که Galactica هرگز قرار نبود یک محصول باشد. او گفت: «این کاملاً یک پروژه تحقیقاتی بود. محقق در این باره توئیت کرد: “ما با هدف منتشر کردیم، یک انتشار کم کلید انجام دادیم، آن را در GitHub قرار دادیم.”

او توضیح داد، اما همه از آن بسیار هیجان زده شدند. شکاف بین انتظارات و محل تحقیق بسیار زیاد بود. او اضافه کرد که مردم از چیزهایی مانند توهم که به سختی یک سال بعد خبری بود شگفت زده شدند – و سطح توهم گالاکتیکا در واقع پایین تر از مدل های دیگر بود، زیرا در ادبیات علمی به خوبی تنظیم شده بود.

او گفت: “ناگهان مردم انتظار محصولی داشتند، مثل اینکه شما از آن برای نوشتن مقالات خود استفاده می کنید – نه، هدف این نیست.”

دروس Galactica به تصمیم گیری در مورد انتشار Llama منجر شد

پینو توضیح داد که متا نسخه ی نمایشی Galactica را حذف کرد، “تا مطمئن شود مردم در استفاده از آن گمراه نشده اند” و اضافه کرد که با راهنمای استفاده مسئولانه “که ما یاد گرفته ایم انجام دهیم” منتشر نشده است.

به طور کلی، Pineau گفت: “اگر من امروز این کار را انجام دهم، ما فقط انتشار را مدیریت می کنیم.” او افزود که متا “احتمالاً در مورد انتظارات پیرامون Galactica اشتباه ارزیابی کرده است، اما “درس های آن در نسل بعدی مدل های ما گنجانده شده است.”

که نسل بعدی مدل ها بود لامامدل زبان بزرگ متا که دنیای تحقیقات هوش مصنوعی را در فوریه ۲۰۲۳ طوفانی کرد – به دنبال آن آگهی تجاری لاما ۲ در ماه جولای و کد لاما در ماه اوت. با Llama، اولین LLM منبع باز اصلی رایگان (Llama و Llama 2 با تعاریف مجوز سنتی کاملاً باز نیستند)، هوش مصنوعی منبع باز شروع به یک لحظه داشته باشید – و یک بحث داغ – که در تمام طول سال فروکش نکرده است.

وقتی لاما در ۲۴ فوریه آزاد شد، متا مراقب بود – یان لیکان، در به اشتراک گذاشتن مقاله، ارسال شده که “متا متعهد به تحقیقات باز است و همه مدل ها را منتشر می کند [to] جامعه تحقیقاتی تحت مجوز GPL v3.

وقتی از او پرسیده شد که چرا محققان باید فرمی را برای دسترسی به لاما پر کنند، لکان پاسخ داد: «از آنجا که آخرین بار ما یک LLM را در دسترس همه قرار دادیم (Galactica، که برای کمک به دانشمندان در نوشتن مقالات علمی طراحی شده بود)، مردم به صورت ما شیشه پرتاب کردند و به ما گفتند. این می‌رفت تا ساختار جامعه را از بین ببرد.”