Braintrust Data می‌خواهد با ارزیابی‌های سریع‌تر هوش مصنوعی سازمانی را بهتر کند

مستقر در کالیفرنیا داده های اعتماد مغزیاستارتاپی که به شرکت‌ها در ساخت و بهبود هوش مصنوعی در سرعت و مقیاس کمک می‌کند، امروز اعلام کرد که ۵٫۱ میلیون دلار در دور اولیه سرمایه به رهبری Greylock Partners جمع‌آوری کرده است.

اندکی بیش از دو ماه پیش توسط آنکور گویال تأسیس شد که سرمایه‌گذاری قبلی خود در زمینه هوش مصنوعی Impira را به فیگماBraintrust مشکل ارزیابی هوش مصنوعی را با دادن ابزاری اختصاصی به تیم ها هدف قرار می دهد تا ببینند مدل هوش مصنوعی آنها چگونه عمل می کند و قبل از رسیدن به مرحله تولید آن را به خوبی بهبود بخشد.

این شرکت علیرغم اینکه یک سرمایه گذاری در مراحل اولیه است، ده ها مشتری و سرمایه گذاری از نام های شناخته شده در صنعت، از جمله الاد گیل، کلم دلانگو، جذب کرده است. گرگ براکمنجک آلتمن، هاوی لیو، گیرمو راخ، برایان هلمیگ، سایمون لاست، ویپول ود پراکاش.

اکنون، این شرکت قصد دارد تیم خود را گسترش دهد و بر روی این کار بسازد و به توسعه دهندگان این امکان را می دهد که سریعتر حرکت کنند و دائماً در خط مقدم هوش مصنوعی باقی بمانند.

تولید هوش مصنوعی می تواند کثیف باشد

هوش مصنوعی پشتوانه برنامه‌های تجاری مدرن است، اما وقتی نوبت به حفظ این برنامه‌ها می‌رسد، همه چیز می‌تواند کاملاً به هم ریخته شود. یک تغییر کوچک کد با هدف بهبود برنامه ممکن است منجر به شکسته شدن کل گردش کار شود و تیم‌های باطن را برای کشف و رفع مشکل ایجاد کند.

این رویکرد واکنشی می‌تواند تجربه مشتری را بشکند – به همین دلیل است که تیم‌های توسعه‌دهنده توجه زیادی به تمرین ارزیابی در حلقه توسعه‌دهنده می‌کنند، جایی که سعی می‌کنند عملکرد سیستم هوش مصنوعی را اندازه‌گیری کنند. آنها ابتدا داده ها و معیارهای زمینه خاص را تجزیه و تحلیل می کنند و سپس به سرعت با مدل های مختلف، اعلان ها، تنظیم دقیق و سایر تکنیک ها برای دستیابی به نتایج مطلوب آزمایش می کنند.

زمان و تلاش، کارآمد

حال، مسئله این است که این تکنیک به خوبی کار می‌کند، اما زمان و تلاش زیادی را نیز می‌طلبد، و اغلب راه‌اندازی ویژگی‌ها را به تأخیر می‌اندازد – این دقیقاً همان چیزی است که گویال در طول کار خود در Impira و Figma با آن روبرو شد.

پس از صحبت با چندین تیم در یک مشکل، او تصمیم گرفت تا Braintrust Data را بسازد تا تغییرات کد را در نمونه‌های واقعی آزمایش کند و امکان ارزیابی سریع‌تر را فراهم کند.

“محصول ما به شما این امکان را می دهد که به راحتی (در کمتر از یک ساعت) کد خود را برای تعریف ارزیابی ها، گرفتن بازخوردهای کاربر، ثبت و ضبط کنید. LLM تماس‌ها، و غیره. هر بار که تغییری ایجاد می‌کنید، می‌توانید ارزیابی‌ها را دوباره اجرا کنید و فوراً داشبوردی دریافت کنید که به شما می‌گوید چقدر چیزها را بهبود داده‌اید یا پسرفت کرده‌اید، و موارد فردی را (قبل از انتقال به استقرار نهایی) اشکال‌زدایی کنید. همچنین می‌توانید نمونه‌هایی را از مرحله‌بندی/تولید ثبت کنید و ارزیابی‌هایی را علیه آن‌ها اجرا کنید تا موارد لبه جدیدی را که کاربران به آن ضربه می‌زنند، پیدا کنید.» او به VentureBeat گفت.

صدها مشتری در حال حاضر

مدیر عامل این محصول را در آگوست ۲۰۲۳ روانه بازار کرد و تاکنون “صدها” شرکت و استارت آپ را به عنوان مشتری، از جمله نام های شناخته شده ای مانند Airtable، Zapier، Coda و Instacart معرفی کرده است. به گفته وی، با Braintrust، این بازیکنان توانسته اند دقت ارائه های هوش مصنوعی خود را تنها در عرض چند هفته بیش از ۳۰ درصد افزایش دهند که منجر به چرخه کشتی سریع تر، تعامل بیشتر و همکاری تیمی بهتر می شود.

گویال افزود: “محصول ما می تواند در محیط ابری شما اجرا شود، که برای امنیت سازمانی حیاتی است، به ویژه در هوش مصنوعی که با PII و اطلاعات اختصاصی بیداد می کند. این امر به مشتریان سازمانی ما امکان می دهد تا از Braintrust برای کارهای حیاتی خود استفاده کنند.” .

مهمتر از آن، علاوه بر ارزیابی ها، Braintrust شروع به ارائه قابلیت های مفید دیگری برای کمک به تیم های هوش مصنوعی برای تکرار و ارسال سریعتر کرده است. این شامل یک زمین بازی سریع برای مقایسه چند فرمان، معیارها، جفت های ورودی/خروجی مربوطه بین اجراها، مدیریت مجموعه داده ها و یک پروکسی هوش مصنوعی است که به مدل های هوش مصنوعی محبوب، از جمله همه موارد، دسترسی پیدا می کند. OpenAI مدل‌ها، مدل‌های انسانی، LLaMa 2 و میسترال.

تمرکز روزافزون بر کیفیت هوش مصنوعی

از آنجایی که شرکت‌ها نسبت به قابلیت‌های هوش مصنوعی صعودی هستند، پیشنهادی برای ارزیابی عملکرد مدل و رفع شکاف‌ها می‌تواند مفید باشد. با این حال، برینتراست در این فضا تنها نیست.

در طول سال گذشته، از زمانی که OpenAI با راه‌اندازی ChatGPT رونق هوش مصنوعی مولد را آغاز کرد، بسیاری از بازیکنان محصولاتی را برای کمک به تیم‌ها در ساخت محصولات هوش مصنوعی ارائه کردند. برخی از آنها بر روی مدل ها تمرکز می کنند معیارهای عملکرد مانند نرخ خطای APIمحدودیت نرخ و زمان پاسخ.

در همین حال، دیگران هدف قرار می دهند جبهه قابل مشاهدهارائه تجزیه و تحلیل دقیق و بینش در مورد کیفیت خروجی های ارائه شده توسط مدل.

Braintrust از سوی خود مدعی است که با ارائه بینش قبل از رسیدن مدل به مرحله تولید، متمایز می شود.

شکی نیست که این یک فضای هیجان‌انگیز با شرکت‌های دیگر است که تلاش می‌کنند ارزش اضافه کنند. بیشتر محصولات موجود در آنجا بر روی قابلیت مشاهده متمرکز هستند، که به شما امکان می‌دهد ببینید در تولید چه اتفاقی می‌افتد. متأسفانه، اگر فقط قابلیت مشاهده دارید، باید چیزهایی را ارسال کنید. ما متوجه شدیم که تیم‌های مهندسی که ارزیابی‌های عالی را پیاده‌سازی می‌کنند، بسیار سریع‌تر – تا ۱۰ برابر سریع‌تر – نسبت به آن‌هایی که فقط در حال تماشای اتفاقات تولید هستند و سعی می‌کنند آن‌ها را به طور موقت اصلاح کنند، حرکت می‌کنند. گویال اشاره کرد.

با این دور از Greylock، که کل سرمایه شرکت را به ۸٫۳ میلیون دلار افزایش می دهد، او قصد دارد استعدادهای بیشتری را استخدام کند و به طور تهاجمی به نقشه راه محصول ادامه دهد تا راه حل پیشرو بازار را برای ارزیابی ها ایجاد کند و از ابزارهای هوش مصنوعی بیشتر، از جمله یک زمین بازی سریع، پشتیبانی کند. ، گزارش تولید، پشتیبانی از مدل چند وجهی، پروکسی هوش مصنوعی و موارد دیگر.