انحصاری: Voltron Data با موتور جستجوی توزیع شده Thisus قدرت جدیدی را به هوش مصنوعی می‌آورد

ربات خیالی Voltron (از انیمیشن علمی تخیلی نمایشی به همین نام) همه چیز در مورد ترکیب چندین شیر ربات در یک ربات بزرگ است که قادر به انجام کارهای بزرگ است.

Voltron Data که اولین کار پرشور خود را در سال ۲۰۲۲ با بودجه ۱۱۰ میلیون دلاری انجام داد، همه چیز در مورد آوردن قدرت چندین فناوری منبع باز، از جمله پیکان آپاچی، پارکت آپاچی و Ibis با هم برای کمک به بهبود دسترسی به داده ها. امروز، Voltron Data قدم بعدی را برمی‌دارد و موتور جستجوی توزیع‌شده تسئوس جدید را معرفی می‌کند تا به سرعت بخشیدن به پرس‌وجوهای داده‌ای برای بارهای کاری با نیاز روزافزون هوش مصنوعی کمک کند.

Thisus برای سرعت بخشیدن به خطوط لوله داده و پرس و جو در مقیاس بزرگ با استفاده از GPU و سایر شتاب دهنده های سخت افزاری طراحی شده است.

جاش پترسون، یکی از بنیانگذاران و مدیر عامل Voltron Data، در گفتگوی انحصاری به VentureBeat گفت: «ما تزئوس را بر اساس همان اصولی که برای پشتیبانی از منبع باز انجام می‌دادیم، با کتابخانه‌های مدولار، قابل ترکیب و شتاب‌داده‌ای که سیستم‌های داده را بهتر می‌کنند، ساختیم. مصاحبه. “این محصول بعدی ما است زیرا ما همچنان در این سفر تلاش می کنیم تا طراح و سازنده پیشرو سیستم های داده باشیم.”

Thisus برای حجم عظیمی از داده ها ساخته شده است

Thisus برای اجرای پرس و جوهای توزیع شده روی مجموعه داده های بزرگ ۱۰ ترابایتی یا بیشتر بهینه شده است. شرکت‌هایی که نیازهای پردازش داده در مقیاس پتابایت را در بین شرکت‌های Fortune 500، سازمان‌های دولتی، صندوق‌های تامینی، مخابرات و شرکت‌های سرگرمی رسانه‌ای دارند، هدف قرار می‌گیرد.

یکی از اهداف کلیدی تسئوس تسریع ETL (استخراج، تبدیل، بارگذاری)، مهندسی ویژگی‌ها و سایر کارهای آماده‌سازی داده‌ها برای تغذیه سریع‌تر هوش مصنوعی و سیستم‌های تحلیلی پایین‌دست است. همانطور که سیستم‌های هوش مصنوعی سریع‌تر می‌شوند، به تغییر زمان واقعی داده بیشتری نیاز دارند.

پترسون می‌گوید: «بسیاری از کاربران ما می‌گویند بزرگ‌ترین مشکلشان امروز این است که سیستم‌های هوش مصنوعی خود را گرسنگی می‌کشند، زیرا نمی‌توانند به اندازه کافی سریع داده‌ها را دریافت کنند. “این محرک اصلی پشت تسئوس بود.”

چالشی که امروزه با کوئری های داده وجود دارد این است که آنها معمولاً توسط ظرفیت محاسباتی و عملکرد CPU محدود می شوند. Thisus فراتر از رویکردهای سنتی CPU نگاه می کند و از فناوری های محاسباتی شتاب یافته از جمله GPU استفاده می کند. پترسون گفت که Thisus یک “شتاب دهنده بومی” است – به این معنی که برای استفاده از پردازنده های گرافیکی Nvidia، شبکه، ذخیره سازی و سایر شتاب دهنده ها بهینه شده است.

به گفته پترسون، رویکرد بومی شتابدهنده به آن اجازه می‌دهد تا درخواست‌ها را سریع‌تر از موتورهای توزیع شده مبتنی بر CPU مانند موتورهای سنتی اجرا کند. آپاچی اسپارک در مقیاس

یکی از موارد استفاده از هوش مصنوعی که در آن پترسون تزئوس را به ویژه مفید می بیند، برای هایپر است

بهینه سازی پارامتر او توضیح داد که یک سازمان می‌تواند پارامترهای زیادی را برای بهینه‌سازی و مهندسی ویژگی‌ها به عنوان بخشی از فرآیند تنظیم ورودی‌ها برای ساخت مدل‌های بهتر، تغییر دهد.

او گفت: «هرچه سریع‌تر مهندسی ویژگی‌ها را انجام دهید، سریع‌تر می‌توانید ETL را انجام دهید، سریع‌تر می‌توانید داده‌های تازه‌تری وارد کنید، مدل‌های شما بهتر هستند.

تسئوس از ابتدا قابل همکاری است

تزئوس استانداردهای باز مانند Apache Arrow، Apache Parket و Ibis را برای قابلیت همکاری پذیرفته است.

پترسون تاکید کرد که این یک سیستم سلد اختصاصی نیست و داده‌های موجود در دریاچه داده‌ای سازگار با پیکان آپاچی را می‌توان توسط تسئوس جستجو کرد. پترسون توضیح داد که داده‌ها را می‌توان مستقیماً به بسیاری از ابزارها و چارچوب‌های یادگیری ماشینی محبوب از جمله وارد کرد PyTorchTensorflow و انواع مختلف پایگاه داده های گراف.

پترسون گفت: “ما این روش یکپارچه را برای انتقال داده ها به داخل و خارج از سیستم ها داریم.”

تسئوس خود فقط سیستم جستجوی توزیع شده است. پترسون توضیح داد که رابط کاربری جلویی خود را ندارد، بلکه از مواردی مانند پرس‌و‌جوهای SQL و Ibis استفاده می‌کند که افراد می‌توانند سایر قسمت‌های جلویی را به آن نگاشت کنند. ایده اصلی این است که سازمان ها را قادر می سازد تا به راحتی تزئوس را در جریان های کاری موجود ادغام کنند.

رفتن به بازار با HPE و شرکای بیشتر

Voltron Data قرار است از طریق مشارکت با Thisus وارد بازار شود و اولین مورد با شرکت Hewlett Packard Enterprise (HPE) است.

Voltron Data برای آوردن تسئوس به پلتفرم ابری هیبریدی HPE GreenLake شریک شده است. HPE GreenLake زیرساختی را برای تسئوس فراهم می‌کند و در عین حال راهی را به مشتریان ارائه می‌دهد تا جستجوها را در موتورهای دیگر با استفاده از Ibis یکسان کنند.

پترسون گفت که Voltron Data قصد دارد مشارکت‌های Thisus را گسترش دهد و عملکردهای بیشتری مانند توابع تعریف شده توسط کاربر اضافه کند. هدف ادغام دقیق تر در خطوط لوله علم داده کامل است.

من فکر می‌کنم سال ۲۰۲۴ در وهله اول در مورد ادغام سریع‌تر و آسان‌تر آن با بخش‌های مختلف جدید خط لوله علم داده باشد، زیرا این واقعاً به کاربران قدرت می‌دهد.» پترسون