اخترشناس به پلتفرم هماهنگ‌سازی داده‌های Apache Airflow برای هوش مصنوعی کمک می‌کند

دریافت داده ها به و از سیستم های مختلف اغلب حوزه هماهنگ سازی داده ها است. یکی از پرکاربردترین ابزارها در متن باز است جریان هوای آپاچی فناوری، که در اصل توسط Airbnb ایجاد شده است.

امروز ستاره شناس، حامی تجاری اصلی پروژه Apache Airflow با آخرین به روز رسانی پلتفرم Astro خود منتشر شده است که پشتیبانی سازمانی، امنیت و پیشرفت های مدیریتی را ارائه می دهد. در حالی که Airflow شروع به کمک به هماهنگ سازی خطوط لوله داده برای تجزیه و تحلیل داده ها و هوش تجاری کرد، این فناوری اکنون به طور فزاینده ای در حمایت از هوش مصنوعی (AI) و یادگیری ماشینی (ML) حجم کار

Julian LaNeve، مدیر ارشد فناوری Astronomer به VentureBeat گفت: «جریان هوا در چند مورد بسیار خوب است، یکی فقط نوشتن و اجرای خطوط لوله داده است. جریان هوا به شما امکان می دهد خطوط لوله را به عنوان کد تعریف کنید، بنابراین می توانید هر کاری را که کد به شما اجازه می دهد انجام دهید که اساساً بی حد و حصر است.

چرا جریان هوا برای هماهنگ سازی داده های مدرن حیاتی است

LaNeve توضیح داد که Airflow در سال‌های اخیر محبوب شده است زیرا سازمان‌ها را قادر می‌سازد تا خطوط لوله داده را آسان‌تر تعریف، بسازند و مستقر کنند.

Airflow با پلتفرم های داده اصلی و سیستم های ارائه دهنده ابر از جمله Snowflake، Databricks، AWS، Microsoft و Google Cloud یکپارچه می شود. LaNeve اشاره کرد که در حالی که استفاده از پروژه منبع باز برای یک تیم نسبتاً ساده است، مدیریت آن در مقیاس سازمانی به طور فزاینده ای پیچیده می شود. اینجاست که Astronomer وارد بازی می شود و یک سرویس مدیریت شده برای Apache Airflow ارائه می دهد.

Astronomer علاوه بر فناوری منبع باز هسته ای، قابلیت های بیشتری را نیز ارائه می دهد.

LaNeve گفت: “ما یک لایه در بالای Airflow ساخته‌ایم که آن را زمان اجرا Astronomer می‌نامیم، جایی که پروژه منبع باز را انتخاب کرده‌ایم و چند تغییر برای اجرای کارآمدتر انجام داده‌ایم.”

Astronomer همچنین ابزارهایی را به عنوان بخشی از پلت فرم Astro خود توسعه داده است که نوشتن خطوط لوله داده را آسان تر می کند. Astro Cloud IDE این شرکت ابزاری مبتنی بر نوت بوک برای نوشتن خطوط لوله داده ارائه می دهد. LaNeve اضافه کرد که Astronomer همچنین شروع به انجام برخی کارها در فضای مشاهده پذیری کرده است، و درک می کند که چگونه داده ها در کل اکوسیستم حرکت می کنند.

اخترشناس ارتباطات و ارتقاء بهتری دریافت می کند

Astronomer با به‌روزرسانی جدید پلتفرم Astro، اکنون مجموعه‌ای از قابلیت‌های پیشرفته را به پلتفرم خود می‌آورد.

یکی از اساسی ترین و دشوارترین چیزها در هر خط لوله داده، اتصال امن به داده ها است. با به روز رسانی Astro، یک به روز رسانی مدیریت اتصال جدید برای کمک به حل این چالش وجود دارد.

ویژگی مدیریت اتصال به عنوان یک نقطه مرکزی حاکمیت، دید و امنیت برای خطوط لوله داده عمل می کند.

LaNeve گفت: «ما یک ویژگی مدیریت اتصال را در پلتفرم Astro ایجاد کرده‌ایم که به یک مدیر اجازه می‌دهد وارد شود و اتصالات را به Snowflake، Databricks و هر جایی که Airflow می‌تواند به آن دسترسی داشته باشد، تعریف کند.

به‌روزرسانی پلتفرم Astro همچنین امکان ارتقا و بازگشت آسان‌تر پیکربندی‌های خط لوله داده را فراهم می‌کند. وقتی و اگر خط لوله داده خراب شود، کاربر اکنون می تواند به راحتی به پیکربندی قبلی برای بارهای کاری تولید برگردد. برای ارتقاء، پلتفرم همچنین یک سری بررسی ها را انجام می دهد تا ابتدا اطمینان حاصل کند که کد موجود در به روز رسانی سازگار است و همانطور که انتظار می رود اجرا می شود.

ستاره شناس هوش مصنوعی را دو برابر می کند

ستاره شناس به طور فزاینده ای برای گردش کار هوش مصنوعی استفاده می شود.

در پایان نوامبر ستاره شناس اعلام کرد مجموعه ای از ادغام در سراسر چشم انداز هوش مصنوعی با فروشندگان از جمله OpenAI، Cohere، Pinecone، OpenSearch، Weaviate و pgvector.

Astronomer همچنین یک معماری مرجع برای نحوه ساخت و استقرار سازمان ها ایجاد کرده است مدل زبان بزرگ برنامه های کاربردی (LLM). این ask.astronomer.io برنامه یک نمایش عمومی از معماری است و می تواند مستندات را در بیش از ده ها منبع مختلف در یک رویکرد بازیابی نسل افزوده (RAG) ارائه دهد.

LaNeve گفت که او همچنین می بیند که Airflow و پلت فرم Astro به طور گسترده در پشتیبانی از آموزش مدل های هوش مصنوعی استفاده می شوند.

LaNeve گفت: «در نهایت شما می‌خواهید مدل‌های شما با آخرین داده‌ها آموزش داده شوند و می‌خواهید که به طور قابل اعتمادی اتفاق بیفتد. این دقیقاً همان چیزی است که Astronomer and Airflow برای آن ساخته شده است.