DeepInfra از مخفی کاری با ۸ میلیون دلار بیرون آمد تا استنتاج های هوش مصنوعی را مقرون به صرفه تر کند.

خوب، فرض کنید شما یکی از رهبران شرکت یا تصمیم گیرندگان فناوری اطلاعات هستید که به اندازه کافی در مورد همه این چیزهای مولد هوش مصنوعی شنیده اید – در نهایت آماده هستید که دست به کار شوید و یک چت ربات بزرگ مدل زبان (LLM) را به کارمندان خود ارائه دهید. یا مشتریان مشکل این است: واقعاً چگونه آن را راه اندازی می کنید و برای اجرای آن چقدر باید پرداخت کنید؟

DeepInfraیک شرکت جدید که توسط مهندسان سابق در پیام رسان IMOمی‌خواهد به این سؤالات به طور مختصر برای رهبران کسب‌وکار پاسخ دهد: آنها مدل‌ها را از طرف مشتریان خود بر روی سرورهای خصوصی خود راه‌اندازی می‌کنند و نرخ بسیار پایینی به ازای هر ۱ میلیون توکن دریافت می‌کنند. ۱۰ دلار به ازای هر ۱ میلیون توکن برای GPT-4 Turbo OpenAI یا ۱۱٫۰۲ دلار به ازای هر ۱ میلیون توکن برای Anthropic’s Claude 2.

امروز، DeepInfra از مخفی کاری به طور انحصاری به VentureBeat ظهور کرد و اعلام کرد که یک دور اولیه ۸ میلیون دلاری به رهبری یک پایتخت و خوشحال. این شرکت قصد دارد طیف وسیعی از استنتاج های مدل منبع باز را به مشتریان ارائه دهد، از جمله لاما ۲ متا و CodeLlamaو همچنین انواع و نسخه های تنظیم شده این و سایر مدل های منبع باز.

نیکولا بوریسوف، بنیانگذار و مدیرعامل DeepInfra، در یک مصاحبه ویدئو کنفرانس با VentureBeat گفت: «ما می‌خواستیم پردازنده‌های مرکزی و روشی کم‌هزینه برای استقرار مدل‌های یادگیری ماشینی آموزش‌دیده ارائه کنیم. ما قبلاً شاهد بودیم که افراد زیادی در بخش آموزشی کار می‌کردند و می‌خواستیم ارزشی را در بخش استنتاج ارائه کنیم.»

پیشنهاد ارزش DeepInfra

در حالی که مقالات زیادی در مورد آن نوشته شده است منابع عظیم GPU مورد نیاز برای آموزش یادگیری ماشین و مدل های زبان بزرگ (LLM) در حال حاضر در بین شرکت ها مد شده است، با تقاضای بیشتر که منجر به GPU می شود کمبودبه این واقعیت که این مدل‌ها برای اجرای قابل اعتماد و مفید بودن برای کاربران نهایی، که به عنوان استنتاج نیز شناخته می‌شود، به محاسبات سنگینی نیز نیاز دارند، توجه کمتری شده است.

به گفته بوریسوف، “چالش زمانی که شما به یک مدل سرویس می دهید این است که چگونه تعدادی کاربر همزمان را روی یک سخت افزار و مدل به طور همزمان جا دهید… روشی که مدل های زبان بزرگ توکن تولید می کنند این است که آنها باید این کار را انجام دهند. یک توکن در یک زمان، و هر توکن به محاسبات و پهنای باند حافظه زیادی نیاز دارد.

به عبارت دیگر: اگر برنامه LLM یا LLM خود را برنامه ریزی می کنید که بیش از یک کاربر داشته باشد، باید در مورد چگونگی بهینه سازی این استفاده و به دست آوردن کارایی از کاربران فکر کنید – یا کسی باید در مورد آن فکر کند. پرس و جو از همان نشانه ها برای جلوگیری از پر شدن فضای سرور ارزشمند خود با عملیات محاسباتی اضافی.

برای مقابله با این چالش، بوریسوف و هم بنیانگذارانش که در پیام رسان IMO با ۲۰۰ میلیون کاربر آن کار می کردند، به تجربه قبلی خود “اجرای ناوگان بزرگ سرورها در مراکز داده در سراسر جهان با اتصال مناسب” اعتماد کردند.

تایید سرمایه گذار برتر

به گفته آیدین سنکوت، کارآفرین سریال افسانه ای و بنیانگذار و شریک مدیریتی فلیسیس، که به فراخوان VentureBeat پیوست تا توضیح دهد که چرا شرکتش از DeepInfra حمایت می کند، این سه بنیانگذار معادل “برندگان مدال طلای برنامه ریزی بین المللی المپیک” هستند. “آنها در واقع یک تجربه دیوانه کننده دارند. من فکر می کنم به غیر از تیم WhatsApp، آنها شاید اولین یا دومین نفر در جهان باشند که توانایی ایجاد زیرساخت های کارآمد برای خدمت به صدها میلیون نفر را دارند.”

این کارایی در ساخت زیرساخت سرور و منابع محاسباتی است که به DeepInfra اجازه می‌دهد تا هزینه‌های خود را بسیار پایین نگه دارد، و به‌طور خاص Senkut هنگام در نظر گرفتن سرمایه‌گذاری جذب آن شد.

وقتی صحبت از هوش مصنوعی و LLM به میان می‌آید، «مورد استفاده بی‌پایان است، اما هزینه عامل بزرگی است». “همه در حال ستایش از پتانسیل هستند، اما همه از هزینه شکایت دارند. بنابراین اگر یک شرکت بتواند تا ۱۰ برابر مزیت هزینه داشته باشد، می تواند یک اختلال بزرگ در بازار باشد.”

این تنها در مورد DeepInfra صدق نمی‌کند، بلکه مشتریانی که به آن تکیه می‌کنند و به دنبال استفاده از فناوری LLM با قیمت مناسب در برنامه‌ها و تجربیات خود هستند.

هدف قرار دادن SMB ها با پیشنهادات AI منبع باز

در حال حاضر، DeepInfra قصد دارد تا کسب و کارهای کوچک تا متوسط ​​(SMB) را با پیشنهادات میزبانی استنتاج خود هدف قرار دهد، زیرا این شرکت ها حساس ترین شرکت ها به هزینه هستند.

بوریسوف به VentureBeat گفت: «مشتریان هدف اولیه ما اساساً افرادی هستند که می‌خواهند فقط به مدل‌های بزرگ زبان منبع باز و سایر مدل‌های یادگیری ماشینی که پیشرفته هستند دسترسی داشته باشند.

در نتیجه، DeepInfra قصد دارد جامعه هوش مصنوعی منبع باز و پیشرفت‌هایی را که در آنجا با انتشار و تنظیم مدل‌های جدید رخ می‌دهد برای دستیابی به عملکرد بیشتر، بیشتر و تخصصی‌تر برای کلاس‌های مختلف وظایف، از تولید متن و خلاصه‌سازی تا برنامه های بینایی کامپیوتر برای کدنویسی

بوریسوف گفت: «ما قویاً معتقدیم که استقرار و تنوع زیاد و به طور کلی راه منبع باز برای شکوفایی وجود خواهد داشت. هنگامی که یک مدل زبان خوب مانند Llama منتشر شد، تعداد زیادی از مردم وجود دارند که اساساً می توانند انواع خود را بدون نیاز به محاسبات زیاد بسازند… این یک نوع اثر چرخ لنگر است که در آن تلاش بیشتر و بیشتر انجام می شود. در همان اکوسیستم قرار دهید.»

که تفکر آهنگ با تحلیل خود VentureBeat که LLM منبع باز و جامعه هوش مصنوعی مولد دارای یک سال بنر بودند و احتمالاً استفاده از GPT-4 OpenAI و سایر مدل‌های بسته را تحت الشعاع قرار خواهند داد، زیرا هزینه اجرای آنها بسیار کمتر است و موانع کمتری برای این فرآیند وجود دارد. تنظیم دقیق آنها برای موارد استفاده خاص.

بوریسوف گفت: «ما دائماً در تلاش هستیم تا مدل‌های جدیدی را که به‌تازگی عرضه می‌شوند، وارد کنیم. “یک چیز رایج این است که مردم به دنبال یک مدل زمینه طولانی تر هستند… قطعاً این آینده خواهد بود.”

Borisov همچنین معتقد است که سرویس میزبانی استنتاج DeepInfra طرفدارانی را در بین آن دسته از شرکت‌هایی که نگران حفظ حریم خصوصی و امنیت داده‌ها هستند، جلب خواهد کرد. او خاطرنشان کرد: «ما واقعاً هیچ یک از درخواست‌هایی را که افراد وارد می‌کنند ذخیره نمی‌کنیم یا از آنها استفاده نمی‌کنیم، زیرا بلافاصله پس از بسته شدن پنجره چت مدل، آن‌ها دور ریخته می‌شوند.