جایزه نوآوری بسیار مورد علاقه در رویداد آینده Consumer Electronics Show (CES) 2024 در ماه ژانویه توسط یک استارت آپ کره ای برای شتاب دهنده هوش مصنوعی خود گرفته شده است.
Panmnesia دستگاه شتابدهنده هوش مصنوعی خود را بر اساس فناوری Compute Express Link (CXL) 3.0 ساخته است که امکان اشتراک گذاری حافظه خارجی با رایانه های میزبان و اجزایی مانند CPU را فراهم می کند که می تواند به ظرفیت حافظه تقریباً نامحدودی تبدیل شود. این به لطف ادغام یک کنترلر CXL 3.0 در تراشه شتاب دهنده است.
CXL برای اتصال دستگاه های سیستم – از جمله شتاب دهنده ها، گسترش دهنده های حافظه، پردازنده ها و سوئیچ ها استفاده می شود. با اتصال چندین شتاب دهنده و افزایش دهنده حافظه با استفاده از سوئیچ های CXL، این فناوری می تواند حافظه کافی را برای یک سیستم فشرده برای برنامه های هوش مصنوعی فراهم کند.
معنای CXL 3.0 برای LLM ها چیست
استفاده از CXL 2.0 در دستگاه‌هایی مانند این به میزبان‌های خاص اجازه می‌دهد تا به بخش اختصاصی حافظه خارجی جمع‌شده خود دسترسی داشته باشند، در حالی که آخرین نسل به میزبان‌ها اجازه می‌دهد تا در صورت نیاز و در صورت نیاز به کل استخر دسترسی داشته باشند.
میونگسو جونگ، بنیانگذار و مدیر عامل پانمزیا، گفت: ما معتقدیم که فناوری CXL ما سنگ بنای نسل بعدی سیستم شتاب هوش مصنوعی خواهد بود. بیانیه.
ما متعهد به تلاش خود هستیم که نه تنها برای سیستم شتاب هوش مصنوعی، بلکه سایر محیط‌های همه منظوره مانند مراکز داده، محاسبات ابری و محاسبات با عملکرد بالا را متحول کنیم.»
فناوری Panmnesia شبیه به این است که چگونه خوشه‌های سرورها ممکن است SSDهای خارجی را برای ذخیره داده‌ها به اشتراک بگذارند، و به ویژه برای سرورها مفید است، زیرا اغلب نیاز دارند به داده‌های بیشتری دسترسی داشته باشند که می‌توانند در حافظه داخلی نگهداری کنند.
این دستگاه به طور خاص برای برنامه های کاربردی هوش مصنوعی در مقیاس بزرگ ساخته شده است – و سازندگان آن ادعا می کنند که در انجام عملکردهای جستجوی مبتنی بر هوش مصنوعی ۱۰۱ برابر سریعتر از سرویس های معمولی است که از آن استفاده می کنند. SSD ها برای ذخیره داده ها، از طریق شبکه ها پیوند داده شده است. معماری همچنین هزینه های انرژی و هزینه های عملیاتی را به حداقل می رساند.
اگر در پیکربندی سرورهایی استفاده شود که مانند OpenAI برای میزبانی از مدل‌های زبان بزرگ (LLM) مانند ChatGPTدر کنار سخت افزار سایر تامین کنندگان، ممکن است عملکرد این مدل ها را به شدت بهبود بخشد.
بیشتر از TechRadar Pro
- ChatGPT توضیح داد: هر آنچه که باید در مورد چت ربات هوش مصنوعی بدانید
- اینتل رقیب جدیدی برای پردازنده گرافیکی H100 AI انویدیا دارد – با Gaudi3 با رم ۱۲۸ گیگابایتی آشنا شوید.
- تراشه هوش مصنوعی چیست؟ تمام آنچه نیاز است بدانید
منبع: https://www.techradar.com/pro/obscure-startup-wins-prestigious-ces-2024-award-youve-probably-never-heard-of-it-but-panmnesia-is-the-company-that-could-make-chatgpt-6-or-7-times-faster