ChatGPT را فراموش کنید، چرا لاما و هوش مصنوعی منبع باز برنده سال ۲۰۲۳ هستند

می تواند خزدار شتر تاج ۲۰۲۳ را برای بزرگترین داستان هوش مصنوعی سال انتخاب کنید؟ اگر صحبت می کنیم لامامدل زبان بزرگ متا که در ماه فوریه دنیای تحقیقات هوش مصنوعی را تحت تأثیر قرار داد – پس از آن تبلیغات تجاری لاما ۲ در ماه جولای و کد Llamدر ماه اوت – من استدلال می کنم که پاسخ این است … (نویسنده لحظه ای طول می کشد تا اردک کند) آره.

تقریباً می توانم خوانندگانی را ببینم که در حال آماده شدن برای هجوم هستند. “چی؟ بیا – از دوره ChatGPT بزرگترین داستان هوش مصنوعی در سال ۲۰۲۳ بود! صدای فریاد جمعیت را می شنوم. “OpenAI’s ChatGPT، که در ۳۰ نوامبر ۲۰۲۲ راه اندازی شد و تا فوریه به ۱۰۰ میلیون کاربر رسید؟ ChatGPT، که هوش مصنوعی مولد را وارد فرهنگ عمومی کرد؟ این بزرگترین داستان است!”

صبر کن – به من گوش کن. به نظر حقیر این گزارشگر هوش مصنوعی، ChatGPT طبیعتاً یک تغییر دهنده بازی مولد هوش مصنوعی بوده و هست. همانطور که روآن کوران، تحلیلگر Forrester به من گفت، “جرقه ای بود که آتش را در اطراف هوش مصنوعی مولد ایجاد کرد.”

اما از فوریه سال جاری، زمانی که متا Llama را منتشر کرد، اولین LLM منبع باز اصلی رایگان (Llama و Llama 2 با تعاریف مجوز سنتی کاملاً باز نیستند)، هوش مصنوعی منبع باز شروع به یک لحظه داشته باشید – و یک بحث داغ – که در تمام طول سال فروکش نکرده است. این درحالی است که سایر شرکت‌های فناوری بزرگ، شرکت‌های LLM و سیاست‌گذاران ایمنی و امنیت مدل‌های هوش مصنوعی با دسترسی آزاد به کد منبع و وزن مدل را زیر سوال برده‌اند و هزینه‌های بالای محاسبات منجر به کشمکش‌هایی در سراسر اکوسیستم شده است.

به گفته متا، جامعه AI منبع باز بیش از ۷۰۰۰ مشتق Llama را تنظیم و منتشر کرده است. صورت در آغوش گرفته پلتفرم از زمان عرضه این مدل، شامل یک مزرعه حیوانات واقعی از فرزندان محبوب از جمله کوالا، ویکونا، آلپاکا، دالی و ردپیجاما. بسیاری از مدل های منبع باز دیگر، از جمله از میسترالصورت در آغوش گرفتن، و شاهیناما لاما اولین کسی بود که داده ها و منابع یک شرکت فناوری بزرگ مانند متا را پشتیبانی می کرد.

می توانید ChatGPT را معادل باربی، بزرگترین فیلم پرفروش سال ۲۰۲۳ در نظر بگیرید. اما لاما و گروه هوش مصنوعی منبع باز آن بیشتر شبیه دنیای مارول هستند، با اسپین‌آف‌ها و شاخه‌های بی‌پایانش که قدرت انباشته‌ای برای ارائه بزرگترین تأثیر بلندمدت بر چشم‌انداز هوش مصنوعی دارند.

کیل کارلسون، رئیس استراتژی علم داده و تبشیر، این منجر به “برنامه های کاربردی GenAI در دنیای واقعی تر و تاثیرگذارتر و تقویت پایه های منبع باز برنامه های GenAI در آینده خواهد شد.” آزمایشگاه داده دومینوبه من گفت.

هوش مصنوعی منبع باز بیشترین تاثیر طولانی مدت را خواهد داشت

عصر مدل‌های بسته و اختصاصی، به نوعی با ChatGPT آغاز شد. OpenAI در سال ۲۰۱۵ به عنوان یک شرکت با منبع بازتر و تحقیقات باز راه اندازی شد. اما در سال ۲۰۲۳، ایلیا سوتسکور، یکی از بنیانگذاران و دانشمند ارشد OpenAI به The Verge گفت اشتباه برای به اشتراک گذاشتن تحقیقات خودبا استناد به نگرانی های رقابتی و ایمنی.

از سوی دیگر، Yann LeCun، دانشمند ارشد هوش مصنوعی متا، تلاش کرد تا Llama 2 با مجوز تجاری همراه با وزن مدل منتشر شود. او در این نشست گفت: «من در داخل از این امر دفاع کردم هوش مصنوعی بومی کنفرانس در سپتامبر من فکر می‌کردم که این امر اجتناب‌ناپذیر است، زیرا مدل‌های زبانی بزرگ به یک زیرساخت اساسی تبدیل می‌شوند که همه از آن استفاده می‌کنند، باید باز باشد.»

کارلسون، منصفانه، استدلال ChatGPT من در مقابل Llama را مقایسه سیب با پرتقال می داند. او توضیح داد که Llama 2 مدلی است که بازی را تغییر می دهد، زیرا منبع باز است، برای استفاده تجاری مجوز دارد، می تواند به خوبی تنظیم شود، می تواند در محل اجرا شود، و به اندازه کافی کوچک است که در مقیاس عملیاتی شود.

اما ChatGPT، به گفته او، “تجربه ای است که بازی را تغییر می دهد که قدرت LLM ها را به آگاهی عمومی و مهمتر از همه، رهبری تجاری به ارمغان آورد.” با این حال، به عنوان یک مدل، او معتقد است که GPT 3.5 و ۴ قدرت ChatGPT آسیب می بیند، «زیرا آنها نباید، به جز در شرایط استثنایی، برای چیزی فراتر از یک PoC استفاده شوند. [proof of concept]”

مت شومر، مدیر عامل دیگر هوش مصنوعی، که توسعه داده است هایپرنوشتن، اشاره کرد که اگر ChatGPT در وهله اول اتفاق نمی افتاد لاما احتمالاً آن استقبال یا تأثیری را نداشت. اما او موافقت کرد که تأثیرات لاما برای سال‌ها محسوس خواهد بود: «احتمالاً صدها شرکت وجود دارند که در سال گذشته شروع به کار کرده‌اند، بدون لاما و هر آنچه پس از آن اتفاق افتاد امکان‌پذیر نبود.

و سریدار راماسوامی، مدیر عامل سابق Neeva که پس از این شرکت، SVP شرکت ابر داده Snowflake شد. به دست آورد شرکت او گفت: “Llama 2 100% یک تغییر دهنده بازی است – این اولین مدل هوش مصنوعی منبع باز واقعاً قادر است.” ChatGPT به نظر می‌رسید که نشان دهنده تکرار LLM اتفاقی است که با ابر رخ داده است، او گفت: «سه شرکت با مدل‌های توانمند وجود خواهند داشت و اگر می‌خواهید کاری انجام دهید باید به آنها پول بپردازید».

در عوض متا لاما را منتشر کرد.

نشت اولیه Llama منجر به انبوهی از LLM های منبع باز شد

اولین مدل Llama که در فوریه عرضه شد، متمایز شد زیرا در چندین اندازه، از ۷ میلیارد پارامتر تا ۶۵ میلیارد پارامتر ارائه شد – توسعه دهندگان Llama گزارش شده است که عملکرد مدل پارامتر ۱۳B در اکثر معیارهای NLP از عملکرد GPT-3 بسیار بزرگتر (با پارامترهای ۱۷۵B) فراتر رفته است و اینکه بزرگترین مدل با مدل های پیشرفته مانند PaLM و چینچیلا قابل رقابت است. متا وزن مدل لاما را به صورت موردی در دسترس دانشگاهیان و محققان قرار داد – از جمله استانفورد برای پروژه آلپاکا.

اما وزن لاما متعاقبا لو رفتند در ۴chan. این به توسعه دهندگان در سراسر جهان اجازه داد تا برای اولین بار به یک LLM در سطح GPT دسترسی کامل داشته باشند – که منجر به انبوهی از مشتقات جدید شد. سپس در ماه جولای، متا Llama 2 را منتشر کرد برای شرکت‌ها برای استفاده تجاری رایگان است و مایکروسافت Llama 2 را در سرویس رایانش ابری Azure خود در دسترس قرار داد.

این تلاش ها در لحظه ای کلیدی انجام شد که کنگره شروع به صحبت در مورد تنظیم هوش مصنوعی کرد – در ماه ژوئن، دو سناتور آمریکایی یک نامه ارسال کردند. حرف به مارک زاکربرگ، مدیر عامل متا، که نشت Llama را زیر سوال برد و گفت که آنها نگران “احتمال استفاده نادرست از آن در هرزنامه، کلاهبرداری، بدافزار، نقض حریم خصوصی، آزار و اذیت و سایر تخلفات و آسیب ها هستند.”

اما متا به طور مداوم تعهد خود را به آن دو برابر کرد متن باز هوش مصنوعی: برای مثال، زاکربرگ در یک جلسه داخلی در ماه ژوئن گفت متا در حال ساخت هوش مصنوعی مولد در تمام محصولات خود بود و تعهد شرکت به “رویکرد باز مبتنی بر علم” در تحقیقات هوش مصنوعی را مجدداً تأیید کرد.

متا مدتهاست که قهرمان تحقیقات باز بوده است

بیش از هر شرکت بزرگ فناوری دیگری، متا مدتهاست که قهرمان تحقیقات باز بوده است – از جمله، به ویژه، ایجاد یک اکوسیستم منبع باز در اطراف PyTorch چارچوب. و با نزدیک شدن به پایان سال ۲۰۲۳، متا دهمین سالگرد آن را جشن خواهد گرفت نمایشگاه (تحقیقات بنیادی هوش مصنوعی)، که “برای پیشبرد وضعیت هنر هوش مصنوعی از طریق تحقیقات باز به نفع همه” ایجاد شده است. ده سال پیش، در ۹ دسامبر ۲۰۱۳، فیس بوک اعلام کرد که پروفسور دانشگاه نیویورک، Yann LeCun منجر خواهد شد نمایشگاه.

در یک مصاحبه حضوری با VentureBeat در دفتر Meta در نیویورک، Joelle Pineau، معاون تحقیقات هوش مصنوعی در Meta، به یاد آورد که به دلیل تعهد FAIR به تحقیقات باز و شفافیت، در سال ۲۰۱۷ به Meta پیوست.

او گفت: «دلیل اینکه من بدون مصاحبه در جای دیگری به آنجا آمدم، تعهد به علم باز است. “این دلیلی است که بسیاری از محققان ما در اینجا هستند. این بخشی از DNA سازمان است.”

او افزود، اما دلیل انجام تحقیقات باز تغییر کرده است. او گفت: «می‌توانم بگویم در سال ۲۰۱۷، انگیزه اصلی کیفیت تحقیق و بالاتر بردن سطح آن بود. چیزی که در سال گذشته کاملاً جدید بود این است که چقدر این موتور برای بهره‌وری کل اکوسیستم است، تعداد استارت‌آپ‌هایی که به وجود می‌آیند و بسیار خوشحال هستند که یک مدل جایگزین دارند.»

اما، او افزود، هر انتشار متا یکبار است. “ما متعهد به انتشار همه چیز نیستیم [open] همیشه، تحت هر شرایطی، او گفت: “هر نسخه از نظر مزایا و خطرات تجزیه و تحلیل می شود.”

تأمل در مورد لاما: «یک دسته از کارهای کوچک واقعاً خوب انجام شده است»

آنجلا فن، دانشمند پژوهشی Meta FAIR که روی Llama اصلی کار می کرد، گفت که او همچنین روی Llama 2 و تلاش برای تبدیل این مدل ها به قابلیت های محصولی که متا در ماه گذشته در کنفرانس توسعه دهندگان Connect خود به نمایش گذاشت، کار کرده است (برخی از که مانند تازه راه اندازی آن جنجال به پا کرده است برچسب ها و شخصیت ها).

“فکر می‌کنم بزرگ‌ترین بازتابی که دارم این است که حتی اگر این فناوری هنوز به نوعی نوپا و تقریباً در حال رشد در صنعت است، در نقطه‌ای است که می‌توانیم چیزهای واقعاً جالبی بسازیم و می‌توانیم این نوع ادغام را در همه موارد انجام دهیم. او در مصاحبه ای در کانکت به VentureBeat گفت: برنامه های ما به روشی واقعاً سازگار.

او افزود که این شرکت به دنبال بازخورد از جامعه توسعه دهندگان خود و همچنین اکوسیستم استارتاپ هایی است که از Llama برای برنامه های مختلف استفاده می کنند. “ما می خواهیم بدانیم، مردم در مورد Llama 2 چه فکر می کنند؟ چه چیزی را باید در Llama 3 قرار دهیم؟” او گفت.

اما به گفته او، سس مخفی لاما در تمام طول این مدت، «تعدادی از کارهای کوچک واقعاً خوب و درست در مدت زمان طولانی‌تری انجام شده است». او به یاد می آورد که مؤلفه های بسیار متفاوتی وجود دارد – مانند درست کردن مجموعه داده های اصلی، تعیین تعداد پارامترها و از قبل آموزش آن بر روی برنامه زمان بندی صحیح نرخ یادگیری.

او گفت: «آزمایش‌های کوچک زیادی وجود داشت که ما از آنها یاد گرفتیم،» و افزود برای کسی که تحقیقات هوش مصنوعی را نمی‌فهمد، می‌تواند «مثل یک دانشمند دیوانه به نظر برسد که در جایی نشسته است». اما واقعاً کار بسیار سختی است.”

فشار برای محافظت از هوش مصنوعی منبع باز

Vipul Ved Prakash، یکی از بنیانگذاران، گفت: یک اکوسیستم منبع باز بزرگ با یک فناوری به طور گسترده مفید “تز ما در تمام طول مدت بوده است.” با یکدیگریک استارتاپ شناخته شده برای ایجاد مجموعه داده RedPajama در ماه آوریل، که مجموعه داده Llama را تکرار کرد، و یک پلتفرم تمام پشته و سرویس ابری را برای توسعه دهندگان در استارت آپ ها و شرکت ها منتشر کرد تا هوش مصنوعی منبع باز بسازند – از جمله با ساخت Llama 2.

جای تعجب نیست که پراکاش پذیرفت که لاما و هوش مصنوعی منبع باز را تغییر دهنده بازی سال ۲۰۲۳ می داند – او توضیح داد که این داستانی از توسعه مدل های با کیفیت و قابل دوام است که شبکه ای از شرکت ها و سازمان ها بر اساس آنها ساخته شده اند.

او گفت: “هزینه در سراسر این شبکه توزیع می شود و پس از آن زمانی که شما تنظیم دقیق یا استنباط ارائه می کنید، لازم نیست هزینه ساخت مدل را مستهلک کنید.”

اما در حال حاضر، طرفداران AI منبع باز احساس می کنند که نیاز به تلاش برای محافظت از دسترسی به این LLM ها را احساس می کنند. در اجلاس ایمنی بریتانیا این هفته، موضوع اصلی این رویداد کاهش خطر سیستم‌های هوش مصنوعی پیشرفته بود که در صورت افتادن به دست بازیگران بد – احتمالاً با دسترسی به هوش مصنوعی منبع باز – انسانیت را از بین می‌برند.

اما یک گروه آواز از جامعه AI منبع باز، به رهبری LeCun و یکی از بنیانگذاران Google Brain، اندرو نگ، بیانیه ای را امضا کرد توسط موزیلا منتشر شد و گفت که هوش مصنوعی باز “یک پادزهر است نه یک سم”.

سریرام کریشنان، شریک عمومی در Andreessen Horowitz، توییت کرد در حمایت از لاما و هوش مصنوعی منبع باز:

“درک اینکه چقدر برایش مهم بود @ylecun و تیم برای بیرون آوردن lama2 از در. الف) آنها ممکن است هرگز فرصتی نداشته باشند که بعداً از نظر قانونی ب) ما هرگز آنچه را که با منبع باز امکان پذیر است (به تمام کارهای پایین دست llama2 مراجعه کنید) نمی دیدیم و فکر می کردیم LLM ها حق اصلی ۲-۴ شرکت است.

بحث Llama در مقابل ChatGPT ادامه دارد

بحث بر سر Llama در مقابل ChatGPT – و همچنین بحث در مورد منبع باز در مقابل منبع بسته به طور کلی – مطمئنا ادامه خواهد داشت. وقتی با متخصصان مختلفی تماس گرفتم تا نظرات آنها را دریافت کنم، ChatGPT برای پیروزی بود.

نیکولاوس واسیلوگلو، معاون تحقیقات ML در این باره نوشت: «دست پایین، ChatGPT. RelationalAI. دلیل اینکه این یک تغییر دهنده بازی است فقط قابلیت های هوش مصنوعی آن نیست، بلکه مهندسی پشت آن و هزینه های عملیاتی بی نظیر آن برای اجرای آن است.

و جان لیوتیر، مدیر عامل TravelAI، نوشت: “بدون شک برنده واضح ChatGPT خواهد بود. این هوش مصنوعی در اذهان عمومی تبدیل شده است. افرادی که هرگز خود را تکنولوژیست نمی دانستند ناگهان از آن استفاده می کنند و دوستان خود را معرفی می کنند. و خانواده ها به هوش مصنوعی از طریق ChatGPT تبدیل شده است.

سپس بن جیمز، مدیر عامل Atlas، یک پلتفرم هوش مصنوعی مولد سه بعدی، وجود داشت که اشاره کرد که لاما تحقیقات را به گونه‌ای آغاز کرده است که ChatGPT انجام نداده است، و این تأثیر قوی‌تر و طولانی‌مدت‌تری خواهد داشت.

او گفت: «ChatGPT تغییر آشکار بازی در سال ۲۰۲۳ بود، اما لاما تغییر دهنده بازی آینده خواهد بود.

در نهایت، شاید آنچه می‌خواهم بگویم – اینکه لاما و هوش مصنوعی منبع باز برنده سال ۲۰۲۳ می‌شوند به دلیل تأثیرگذاری آن بر سال ۲۰۲۴ و بعد از آن – شبیه به آنچه Forrester’s Curran می‌گوید: «هوش مصنوعی مولد zeitgeist که در سال ۲۰۲۳ ایجاد شد، نخواهد داشت. بدون چیزی مانند ChatGPT اتفاق افتاد و تعداد زیادی از انسان‌هایی که اکنون فرصت تعامل و تجربه این ابزارهای پیشرفته را در مقایسه با سایر فناوری‌های پیشرفته تاریخ داشته‌اند، خیره‌کننده است.”

اما، او افزود، مدل‌های منبع باز – و به‌ویژه مدل‌هایی مانند Llama 2 که جذب قابل توجهی از سوی توسعه‌دهندگان سازمانی شده‌اند – سوخت مداوم زیادی را برای توسعه و پیشرفت در زمین فراهم می‌کنند.

کوران گفت، در دراز مدت، مکانی برای هر دو مدل اختصاصی و متن باز وجود خواهد داشت، اما بدون جامعه منبع باز، فضای هوش مصنوعی مولد به جای فناوری دارای پتانسیل، یک بازار بسیار کمتر پیشرفته و بسیار خاص خواهد بود. برای تأثیرات عظیم در بسیاری از جنبه های کار و زندگی.

او گفت: «جامعه منبع باز جایی بوده و خواهد بود که بسیاری از تأثیرات بلندمدت مهم از آن ناشی می شود، و جامعه منبع باز برای موفقیت GenAI ضروری است».