آیا آماده اید تا آگاهی بیشتری را به برند خود بیاورید؟ در نظر بگیرید که برای تور AI Impact Tour اسپانسر شوید. درباره فرصت ها بیشتر بدانید اینجا.
داده ها رگ حیاتی کسب و کارهای مدرن هستند، اما بسیج آن ها چندان آسان نیست. شرکت‌ها باید مراحل زیادی را طی کنند تا مطمئن شوند که از اطلاعاتی که از منابع مختلف دریافت می‌شود، بیشترین (اگر نه همه) را می‌برند.
اکنون، با افزایش حجم این اطلاعات، بر اساس سیاتل گسترش در حال حرکت است تا به تیم ها روش بهتری برای مدیریت دارایی های داده خود با پردازش توزیع شده ارائه دهد. این شرکت امروز اعلام کرد که ۷٫۵ میلیون دلار در دور اولیه سرمایه به رهبری General Catalyst و Hetz Ventures جمع آوری کرده است.
این شرکت قصد دارد از سرمایه برای دو برابر کردن این ایده استفاده کند، توسعه پلت فرم پردازش داده خود “Bacalhau” را تسریع بخشد و آن را حتی به کاربران سازمانی بیشتری برساند و به آنها توانایی پردازش اطلاعات را در همان جایی که هست بدهد.
زیرساخت‌هایی که برای برآورده کردن داده‌ها در جایی که هستند، حتی اگر در سرتاسر جهان توزیع شوند، مدت‌ها به تعویق افتاده است. آنچه Expanso با Bacalhau می‌سازد، با هدف ایجاد انقلابی در روش پردازش داده‌های بزرگ و اجرای کارهای محاسباتی جهانی در حالی که قفل یک کلاس کاملاً جدید را باز می‌کند، است. دیوید آرونچیک، بنیانگذار و مدیر عامل شرکت در بیانیه ای گفت.
مقابله با مشکل داده های توزیع شده
در طرح کنونی، شرکت‌ها ارزش را از مقادیر زیادی داده با انتقال همه آنها در شبکه‌ها از طریق پیچیده استخراج می‌کنند. خطوط لوله ETL و متمرکز کردن همه چیز در یک پلت فرم داده ابری. این رویکرد به خوبی کار می کند (با اجازه برنامه های کاربردی هوش مصنوعی) بلکه زمان و منابع مالی زیادی را به طور همزمان می طلبد.
آرونچیک که اولین مدیر محصول غیر بنیانگذار در Kubernetes و مدیر محصول اصلی در گوگل بود، به سرعت به چالش این حجم کاری توزیع شده در سطح جهانی در مراحل مختلف حرفه خود اشاره کرد.
او به VentureBeat گفت: «مشتریان بارها و بارها راه‌حل‌هایی را مطرح می‌کنند که باید خودشان برای حل مشکل بارهای کاری توزیع شده در سطح جهانی ایجاد کنند. برای تکمیل آن، انفجار سریع داده های سازمانی در مقایسه با رشد شبکه نیز کمکی به این قضیه نکرد. در آزمایشگاه پروتکل، آخرین شرکتی که مدیر عامل در آن کار می کرد، بیش از ۱۰ اگزابایت (EB) داده در کل شبکه پخش شد. در یک شبکه استاندارد ۱۰ گیگابایت در ثانیه، انتقال این حجم از داده ها به یک پلتفرم ابری میلیاردها سال طول می کشد.
برای مقابله با این چالش، او پروژه‌ای را راه‌اندازی کرد که به افراد اجازه می‌داد کارهای محاسباتی را در محلی که داده‌ها در آن ذخیره می‌شد، انجام دهند، که در نهایت به Expanso تبدیل شد.
ما این پروژه را در فوریه سال ۲۰۲۲ راه‌اندازی کردیم و سیستم را کاملاً به صورت منبع باز و دامنه عمومی ساختیم. پس از آن خیلی سریع، اولین نشست محاسباتی روی داده را در آوریل داشتیم، و حتی در همین مرحله اولیه متوجه شدیم که این کار قرار است بسیار بزرگتر از فقط Filecoin (پروتکل) باشد. تا ماه نوامبر، آلفای عمومی خود را منتشر کردیم و سپس نسخه ۱٫۰ را در می ۲۰۲۳ منتشر کردیم. در همان زمان، ما بودجه اولیه خود را بسته و پروژه را به شرکت جدید تبدیل کردیم. ،” او گفت.
امروزه Expanso این پروژه را منبع باز می نامد کد. این سیستم بر روی سیستم های توزیع شده ای اجرا می شود که سازمان ها قبلاً مستقر کرده اند (یا قصد دارند آن را استقرار دهند) و کارهای محاسباتی را بر اساس داده ها دقیقاً در جایی که در آن قرار دارد برنامه ریزی می کند. تنها کاری که باید انجام دهید این است که دستور نصب یک عامل Bacalhau را بر روی ماشین‌ها بدهید و به یک شبکه ابری عمومی/خصوصی بپیوندید. با افزایش نیازهای تحلیلی، آنها می توانند ظرفیت بیشتری را با تهیه گره های Bacalhau اضافه کنند.
در حالت ایده‌آل، تیم‌ها برای استفاده از گردش‌های کاری خود تقریباً مجبور به بازنویسی کد نیستند. ما قبلاً از Docker و WASM و هر باینری دلخواه که قبلاً استفاده می‌کردند، پشتیبانی می‌کردیم… گردش کار از دیدگاه یک تیم با Bacalhau و Expanso ساده‌تر و کارآمدتر است. آرونچیک توضیح داد.
هنگامی که این محصول در حال استفاده است، تیم ها می توانند داده های محلی را فوراً با استفاده از گره های سبک Bacalhau که در کنار زیرساخت های موجود نصب شده اند، تجزیه و تحلیل کنند. هزینه های عملیاتی تکرار مراکز داده یا مدیریت را کاهش می دهد حرکت داده ها بین ابرها و به سازمان ها اجازه می دهد تا از منابع محاسباتی لبه بیکار استفاده کنند که منجر به صرفه جویی در هزینه های اضافی می شود. مهمتر از همه، پردازش داده ها در محل امنیت و سرعت را افزایش می دهد و در عین حال خطر جریمه های نظارتی را کاهش می دهد.
رشد تا کنون
در حال حاضر، Bacalhau می تواند طیف وسیعی از وظایف داده را انجام دهد، درست از پاکسازی و پردازش گزارش های برنامه کاربردی در منبع و اجرای آموزش ML توزیع شده در دستگاه های راه دور گرفته تا پردازش فایل های داده توزیع شده در فضای ذخیره سازی و مناطق مختلف و مدیریت ناوگان دستگاه های توزیع شده.
به گفته آرونچیک، از زمان راه‌اندازی دموی عمومی خود در اوایل سال جاری، Bacalhau برای اجرای بیش از ۲ میلیون شغل در موارد استفاده مورد استفاده قرار گرفته است. او از به اشتراک گذاشتن آمار دقیق رشد درآمد خودداری کرد اما خاطرنشان کرد که این شرکت با نیروهای سنگین وزنی مانند نیروی دریایی ایالات متحده، CalTech، دانشگاه مریلند، Prelinger Labs، WeatherXM و دیگران کار می کند.
با حرکت رو به جلو، این شرکت امیدوار است که بر روی کار خود ایجاد کند و Bacalhau را برای پشتیبانی از موارد استفاده بیشتر سازمانی و رفع نیازهای عمده مشتریان توسعه دهد. همچنین قصد دارد پایگاه کاربران این پلتفرم را گسترش دهد که در حال حاضر بیش از ۵۰۰۰۰ دانلود CLI در ماه مشاهده می کند.
ماموریت VentureBeat این است که یک میدان شهر دیجیتال برای تصمیم گیرندگان فنی باشد تا دانشی در مورد فناوری سازمانی متحول کننده کسب کنند و معامله کنند. جلسات توجیهی ما را کشف کنید.
منبع: https://venturebeat.com/data-infrastructure/expanso-nets-7-5m-to-pioneer-distributed-data-processing-for-enterprises/