انویدیا و اینتل مدعی رکوردهای جدید سرعت آموزش LLM در بنچمارک جدید MLPerf 3.1 شدند.

طبق نتایج معیار MLPerf Training 3.1 که امروز منتشر شد، آموزش مدل‌های هوش مصنوعی در سال ۲۰۲۳ بسیار سریع‌تر است.

سرعت نوآوری در فضای مولد هوش مصنوعی حداقل بگوییم نفس گیر است. بخش مهمی از سرعت نوآوری، توانایی آموزش سریع مدل‌ها است، چیزی که MLCommons معیارها و معیارهای آموزش MLPerf. MLCommons یک کنسرسیوم مهندسی باز است که بر معیارهای ML، مجموعه داده‌ها و بهترین شیوه‌ها برای تسریع توسعه هوش مصنوعی متمرکز است.

معیار MLPerf Training 3.1 شامل موارد ارسالی از ۱۹ فروشنده بود که بیش از ۲۰۰ نتیجه عملکرد را ایجاد کردند. در میان آزمون‌ها، معیارهایی برای آموزش مدل زبان بزرگ (LLM) با GPT-3 و یک معیار جدید برای آموزش مدل منبع باز متن باز انتشار پایدار متن به تصویر بود.

دیوید کانتر، مدیر اجرایی MLCommons طی یک نشست مطبوعاتی گفت: “ما بیش از ۲۰۰ نتیجه عملکردی داریم و بهبود عملکرد نسبتاً قابل توجه است، چیزی بین ۵۰٪ تا تقریبا ۳ برابر بهتر.”

آموزش LLM افزایش زیادی پیدا می کند که قانون مور را شکست می دهد

نکته قابل توجه در بین تمام نتایج در معیار MLPerf Training 3.1، اعداد مربوط به آموزش مدل زبان بزرگ (LLM) است. فقط در ژوئن بود که MLcommons شامل داده هایی در مورد آموزش LLM بود برای اولین بار. اکنون تنها چند ماه بعد، معیارهای آموزشی MLPerf 3.1 افزایش تقریباً ۳ برابری را در عملکرد آموزش LLM نشان می‌دهند.

در مقایسه با سریعترین معیار آموزش LLM در دور اول، حدود ۲٫۸ برابر سریعتر است. [in June]کانتر گفت: “من نمی‌دانم که این روند در دور بعدی و دور بعد از آن ادامه خواهد داشت یا خیر، اما این یک پیشرفت بسیار چشمگیر در عملکرد است و نشان‌دهنده قابلیت‌های فوق‌العاده‌ای است.”

از نظر کانتر، افزایش عملکرد در پنج ماه گذشته برای آموزش هوش مصنوعی از آنچه قانون مور پیش‌بینی می‌کرد، پیشی می‌گیرد. قانون مور پیش بینی می کند که عملکرد محاسباتی هر دو سال یکبار دو برابر شود. کانتر گفت که صنعت هوش مصنوعی معماری سخت‌افزار و نرم‌افزار را سریع‌تر از آنچه قانون مور پیش‌بینی می‌کند، مقیاس می‌دهد.

کانتر گفت: «MLPerf تا حدی یک فشارسنج برای پیشرفت کل صنعت است.

انویدیا، اینتل و گوگل دستاوردهای بزرگی در آموزش هوش مصنوعی دارند

اینتل، انویدیا و گوگل در ماه‌های اخیر گام‌های مهمی برداشته‌اند که نتایج آموزش LLM سریع‌تر را در معیارهای MLPerf Training 3.1 ممکن می‌سازد.

اینتل ادعا می‌کند که شتاب‌دهنده Habana Gaudi 2 آن توانسته است با استفاده از ترکیبی از تکنیک‌ها از جمله انواع داده‌های ۸ بیتی ممیز شناور (FP8) عملکرد ۱۰۳ درصدی سرعت تمرین را در نتایج آموزشی ژوئن MLPerf افزایش دهد.

Itay Hubara، محقق ارشد اینتل در جلسه توجیهی MLCommons گفت: “ما FP8 را با استفاده از پشته نرم افزاری یکسان فعال کردیم و موفق شدیم نتایج خود را روی همان سخت افزار بهبود ببخشیم.” ما در آخرین ارسال قول دادیم که این کار را انجام دهیم و تحویل دادیم.»

گوگل همچنین با Cloud TPU v5e خود که به طور کلی در ۲۹ آگوست در دسترس قرار گرفت، ادعای دستاوردهای آموزشی دارد. گوگل نیز مانند اینتل از FP8 برای دریافت بهترین عملکرد آموزشی ممکن استفاده می کند. Vaibhav Singh، مدیر محصول برای شتاب‌دهنده‌های ابری در Google، همچنین قابلیت‌های مقیاس‌پذیری را که Google توسعه داده است که شامل فناوری Cloud TPU multislice می‌شود، برجسته کرد.

سینگ در جلسه توجیهی MLCommons توضیح داد: «کاری که Cloud TPU multislice انجام می‌دهد این است که توانایی مقیاس‌پذیری در شبکه مرکز داده را دارد.

سینگ گفت: «با فناوری مقیاس‌گذاری چند تکه، ما توانستیم با استفاده از تراشه‌های ۴۰۹۶ TPU v5e تا ۱۰۲۴ گره عملکرد بسیار خوبی در مقیاس‌بندی داشته باشیم.

انویدیا از ابررایانه EOS خود برای سوپرشارژ کردن آموزش استفاده کرد

انویدیا ابررایانه خود را به نام EOS دارد که برای اجرای معیارهای آموزشی MLPerf 3.1 خود از آن استفاده کرده است. اولین بار انویدیا صحبت کرد در مورد برنامه های اولیه خود برای ساخت EOS در سال ۲۰۲۲٫

انویدیا گزارش داد که نتایج آموزش LLM آن برای MLPerf 2.8 برابر سریعتر از ماه ژوئن برای آموزش مدلی مبتنی بر GPT-3 بود. در یک جلسه توجیهی انویدیا در مورد نتایج MLcommons، دیو سالواتور، مدیر محصولات محاسباتی شتابی در انویدیا گفت که EOS دارای ۱۰۷۵۲ پردازنده گرافیکی است که از طریق Nvidia Quantum-2 InfiniBand با سرعت ۴۰۰ گیگابیت بر ثانیه متصل شده‌اند. این سیستم دارای ۸۶۰ ترابایت حافظه HBM3 است. ساواتور خاطرنشان کرد که انویدیا همچنین روی بهبود نرم افزار کار کرده است تا بهترین نتیجه ممکن را برای آموزش به دست آورد.

سالواتور گفت: «برخی از سرعت‌ها و اعداد فید در اینجا به نوعی شگفت‌انگیز است. از نظر محاسبات هوش مصنوعی، بیش از ۴۰ اگزافلاپس محاسبات هوش مصنوعی است، درست است که فوق العاده است.