سخت افزار تولید ویدئو با هوش مصنوعی: با اولین ماشین هوش مصنوعی

آیا سخت افزار هوش مصنوعی باید اینگونه باشد؟‘

این یکی از سوالات متعددی بود که از ابتدای این ماه که دیدم ذهنم را درگیر کرده است کریستوفر والنسولامدیر عامل شرکت به خوبی تامین شده است راه اندازی ویدئویی با هوش مصنوعی Runway ML یک کلیپ ویدیویی را به حساب X خود ارسال کنید چیزی به نام “اولین ماشین هوش مصنوعی”.

Valenzuela آن را “نخستین دستگاه فیزیکی برای ویرایش ویدئو تولید شده توسط هوش مصنوعی” نامید و نقل قول زیر را درج کرد:

ما پیش‌بینی می‌کنیم که کیفیت ویدیوها به زودی با کیفیت عکس‌ها مطابقت داشته باشد. در آن زمان، هر کسی می‌تواند بدون نیاز به دوربین، نور یا بازیگر فیلم بسازد؛ آنها به سادگی با هوش مصنوعی تعامل خواهند داشت. ابزاری مانند ۱stAI ماشین آن لحظه را با کاوش در رابط های ملموسی که خلاقیت را افزایش می دهد، پیش بینی می کند.

معرفی ۱st AI Machine، اولین دستگاه فیزیکی برای ویرایش ویدیو که توسط هوش مصنوعی تولید شده است.

“ما پیش بینی می کنیم که کیفیت فیلم ها به زودی با کیفیت عکس ها مطابقت داشته باشد. در آن زمان، هر کسی می تواند بدون نیاز به دوربین، نور یا بازیگر فیلم بسازد. آنها… pic.twitter.com/KP0RW8CBhS

– کریستوبال والنزوئلا (@c_valenzuelab) 3 نوامبر ۲۰۲۳

این ویدیو «اولین صفحه ویرایش هوش مصنوعی» را نشان می‌دهد، یک دستگاه نقره‌ای مات درشت و زاویه‌دار که شبیه به میکس صدا است و حداقل دو یا سه برابر بزرگ‌تر از لپ‌تاپ معمولی مدرن شما به نظر می‌رسد – با صفحه‌های فیزیکی و نوک‌هایی برای کنترل سبک‌های ورودی مختلف. . و درمان ها

من بلافاصله کنجکاو شدم. به‌عنوان روزنامه‌نگاری که ابزارهای هوش مصنوعی برای خلاقیت و تولید رسانه برای VentureBeat را پوشش می‌دهد، می‌خواستم درباره دستگاه و اهداف آن اطلاعات بیشتری کسب کنم: Runway بود، تا کنون یک استارت‌آپ نرم‌افزاری که بر برنامه‌های مبتنی بر وب Gen-1 و Gen-2 متمرکز شده بود و وارد شد. بازی سخت افزاری؟

و اگر چنین است، هزینه دستگاه چقدر بوده، چه زمانی ارسال خواهد شد و پایگاه کاربر مورد نظر چه کسی بوده است؟

سخت افزار هوش مصنوعی ظهور می کند

یکی دیگر از دستگاه های سخت افزاری هوش مصنوعی، Ai Pin توسط یک استارت آپ ساخته شده توسط طراحان سابق اپل به نام Humane، هفته گذشته با واکنش های متفاوتی رو به رو شدیعنی اطراف آن قیمت اولیه ۶۹۹ دلار به اضافه ۲۴ دلار اشتراک ماهانهو شکل منحصر به فرد آن – یک پین مغناطیسی با بسته باتری و پروژکتور لیزری داخلی که روی لباس شما بسته می شود. این دستگاه از مدل GPT-4 AI OpenAI بهره می برد و قرار است به عنوان نوعی دستیار زندگی و جایگزینی بالقوه گوشی هوشمند عمل کند و قبلاً جایگاهی در این زمینه به دست آورده است. ۲۰۰ اختراع برتر مجله تایم در سال ۲۰۲۳.

واضح است که سخت افزار مجهز به هوش مصنوعی به سرعت در حال ظهور است. بنابراین ۱stAIMachine در کجا قرار می گیرد، چه کسی آن را ساخته است و چه چیزی الهام گرفته از آن است؟

مرد پشت دستگاه

Valenzuela در پست خود در X به دلیل ایجاد این ماشین، که توسط نرم افزار Runway ارائه می شود، “SpecialGuestX for 1stAveMachine” را اعتبار بخشید. هفته گذشته به Valenzuela، SpecialGuestX (SGX) و ۱stAveMachine ایمیل زدم و پاسخی از طرف میگل اسپادا، یکی از بنیانگذاران SGXکه دومی در وب سایت خود به عنوان “آژانس خلاقی که در حال بررسی روایت های جدید از داده ها، اتوماسیون و هوش مصنوعی است” توصیف شده است.

اسپادا تأیید کرد که دستگاه توسط تیم کوچک او در مادرید، اسپانیا، جایی که او به خانه می‌آید، ساخته شده است، و به اندازه کافی مهربان بود که به سؤالات من در مورد آن پاسخ دهد، و همچنین یک دمو عملی در دفاتر همکارانش در بروکلین به من داد. ۱stAveMachineمجموعه‌ای از هنرمندان، طراحان، دانشمندان و دیگر خلاقان که با برندهای بزرگ کار می‌کنند و آگهی‌های بازرگانی و سایر مواد تبلیغاتی برای آنها ایجاد می‌کنند.

آژانس‌های خلاق واژه‌ای جذاب‌تر برای آژانس‌های تبلیغاتی هستند، بنابراین SGX و ۱stAveMachine از برخی جهات شبیه به معادل‌های امروزی و واقعی Sterling Cooper Draper Pryce (SCDP)، آژانس تبلیغاتی خیالی و خلاقانه در قلب یکی از من هستند. سریال تلویزیونی مورد علاقه مردان دیوانه. اما با حالتی هیپستر و ماوراء اقیانوس اطلس، گویی که فصل بعد استن ریزو آژانس را به دست گرفت.

اسپادا تجربه طولانی با هوش مصنوعی برای فعالیت های هنری در این نقش داشته است، به عنوان یکی از اعضای اولیه انجمن دیسکو دیفیوژن که بعداً به مدل هوش مصنوعی تولید تصویر Stable Diffusion تبدیل شد. برای یک مشتری قبلی، کاروانا، آژانس او ​​از کد انتشار پایدار استفاده کرد و آن را برای ایجاد درخواستی تغییر داد. هوش مصنوعی برای ۱٫۳ میلیون مشتری ویدیو تولید کرد از خدمات بدون دردسر خرید و تحویل خودرو، برای آنها عکس هایی از نقطه نظر تصوری که خودروهایشان به آنها تحویل داده می شود و تمام هیجانی که وسایل نقلیه در صورت شخصیت پردازی خواهند داشت، برای آنها ایمیل می کند.

آیا می توانید آن را بخرید؟

اولین چیز اول: به این زودی امید خود را در مورد دستیابی به اولین ماشین هوش مصنوعی نداشته باشید. اسپادا تایید کرد که این دستگاه یک نمونه اولیه منحصر به فرد است.

اسپادا قبل از جلسه ما در ایمیلی به VentureBeat نوشت: “در حال حاضر برنامه ای برای فروش آن وجود ندارد، اما ما برخی از محصولات سخت افزاری را در نقشه راه داریم…”

اسپادا به مناسب برای یک آژانس خلاق، گفت که اولین ماشین هوش مصنوعی از بقایای یک زمین به مشتری در فضای خودرو با ایده تبدیل استوری‌بوردها و طرح‌های مفهومی یک مدل ماشین جدید به ویدیوی تولیدی با استفاده از نرم‌افزار Runway متولد شد. Gen-2. Gen-2 آپلود تصاویر ثابت را می پذیرد و حرکت واقعی (گاهی سورئالیستی) را روی آنها اعمال می کند.

مشتری این ایده را نپذیرفت که طرح‌ها و استوری‌بردهای خودکار خود را به ویدیوی تولید شده با هوش مصنوعی تبدیل کند، اما این موضوع در ذهن اسپادا گیر کرد و او و تیمش تصمیم گرفتند که به‌عنوان اثبات کننده، یک تابلوی ویرایش ویدیوی هوش مصنوعی بسازند. – مفهوم آنها این کار را خودشان انجام دادند، بدون اینکه از باند کمک بگیرند.

اسپادا توضیح داد: “این توسط Runway ساخته شده است، اما محصول Runway نیست.”

چگونه کار می کند

در دفاتر ۱stAveMachine در محله DUMBO (پایین زیر پل منهتن) در بروکلین مشرف به رودخانه شرقی، اسپادا ماشین ۱stAI را که روی یک میز نصب شده بود به من نشان داد.

این یک تجهیز ظریف و ظریف است، نه به اندازه نمونه‌های اولیه‌ای که من دیده‌ام، با یک شاسی صاف و مات آلومینیومی و دستگیره‌ها و صفحه‌های مشکی و نقره‌ای که به اندازه استریوهای مدرن اواسط قرن قدیمی نشان داده شده در آن راضی‌کننده هستند. مردان دیوانه و اکنون مورد علاقه مجموعه داران موسیقی دوست است. این شاسی در نرم‌افزار مدل‌سازی سه‌بعدی توسط خلاقان انسانی در SGX طراحی شد و برش لیزری به قطعات متعددی که به‌خوبی با پیچ‌ها در کنار هم قرار گرفتند، مانند یک محصول حرفه‌ای استودیویی طراحی شد.

اگرچه ویژگی تعیین کننده آن – همانطور که برای یک محصول متمرکز بر ویدئو انتظار می رود – صفحه نمایش هستند: در واقع هشت نمایشگر جداگانه روی دستگاه وجود دارد، از جمله یک LCD تمام رنگی برای پخش محصول نهایی ویدئویی، و شش عدد سیاه و سفید کوچکتر. آنهایی که صفحه‌هایی که استوری‌بردهایی را نشان می‌دهند که ویدیوی نهایی از آنها ساخته شده است. همچنین یک نوار باریک وجود دارد که وضعیت دستگاه را در نوار متنی مانند “بازی” یا “تولید” نمایش می دهد.

اسپادا من را با نحوه کارکرد آن آشنا کرد. دستگاه به طور کمکی برای مراحل گردش کار خود به بخش های شماره گذاری شده تقسیم می شود: ۱٫ داستان (تصاویر داستان) ۲٫ سبک ۳٫ موسیقی (بخش چهارم صرفاً یک گریل بلندگو است که موسیقی را پخش می کند).

در حال حاضر، این دستگاه محدود به طراحی از مجموعه ای از حدود دوازده استوری بورد و فریم ثابت است که از فیلم های نمادین تهیه شده است. پالپ فیکشن، ای تی: فرازمینی، تایتانیک، پدرخوانده، و جنگ ستارگاناز جمله فیلم هایی است که استوری بوردهای آن از قبل روی آن بارگذاری شده است.

کاربر شش استوری برد را انتخاب می کند که می خواهد از آن به عنوان منبع استفاده کند (این یک دستگاه تحقیقاتی نمونه اولیه یک بار مصرف است که فقط برای استفاده در خصوصی طراحی شده است، اسپادا و همکارانش نگران حق چاپ نیستند) با استفاده از شش صفحه نمایش LCD کوچک، که بیشترین آنها را دارد. صفحه نمایش مربوط به فریم اول در ویدیوی نهایی.

این استوری‌بردها تنها به‌عنوان پایه‌ای عمل می‌کنند که مدل Gen-2 AI Runway با استفاده از آن دگرگونی‌ها را اعمال می‌کند، و همه استوری‌بردهای تبدیل‌شده را با هم در یک ویدیوی ۳۰ ثانیه‌ای با چهره‌ها و صحنه‌هایی که شبیه استوری‌بوردهای اصلی هستند، پیوند می‌دهند، اما به سختی – ویدیوی نمایشی اسپادا او درجا برای من ایجاد شد صحنه نمادین بالکن را در آن دگرگون کرد تایتانیک در یک تب توهم زا رویای دو چهره مردانه با موهای بلوند کوتاه که از توده ای از ماده صورتی چسبنده روی آب آبی نئونی به بیرون خم شده اند، رویای تب توهم زا هستند.

اما قبل از رسیدن به نتایج، دو فرآیند مهم دیگر در اولین گردش کار ماشین هوش مصنوعی وجود دارد که باید به آنها اشاره کنیم: تیونر سبک و انتخابگر موسیقی.

بیایید ابتدا با انتخابگر موسیقی شروع کنیم، زیرا کمی شهودی‌تر و واضح‌تر است: این دستگاه به شما امکان می‌دهد موسیقی متنی از موسیقی تولید شده توسط هوش مصنوعی را در ژانرهای مختلف، از کانتری تا پاپ، رگیتون، ریو/EDM و کی‌پاپ انتخاب کنید. این قطعات موسیقی متن فیلم تولید شده را تشکیل می دهند و خود توسط مدل های SunoAI تولید می شوند. کنترل انتخابگر موسیقی یک نوار لغزنده است، بنابراین می توانید صداهای ترکیبی را بین دو سبک تولید کنید، مثلاً تلفیقی از پاپ و رگیتون. در این فیلم ها هیچ گفتگویی وجود ندارد – مانند بسیاری از ویدیوهای تولید شده با هوش مصنوعی. در عوض، بیشتر شبیه فیلمی از دوران صامت است، البته رنگی و با الگوریتم‌های یادگیری ماشینی ساخته شده است تا اجراکنندگان انسانی یا اپراتورهای دوربین.

علاوه بر این، قبل از رندر کردن ویدیو، کاربر باید با استفاده از یک دستگیره سبک را انتخاب کند: نردبان شرکتی، وسواس باربی، رگرسیون کودکانه، نوردیک نوآر، چند شمارش متوسط، و آینده غیرمنتظره، همگی زیبایی‌شناسی ویدیویی مولد منحصربه‌فردی هستند که توسط اسپادا و همکارانش در SGX ابداع شده‌اند. /۱stAve Machine با استفاده از Runway Gen-2، که به شما امکان می دهد پارامترهای مختلف را از طریق رابط نرم افزاری خود کنترل کنید. این سبک‌ها کیفیت‌ها و ویژگی‌های متفاوتی دارند که در ویدیوی رندر نهایی ظاهر می‌شوند – برای مثال، وسواس باربی، نوعی مناظر روشن، صورتی نئون و گرمسیری را ایجاد می‌کند که در دو عکس بالا نشان داده شده است.

اسپندا و تیم، رابط نرم افزاری Runway را گرفته اند و آن را به شکل فیزیکی ارائه کرده اند، البته با محدودیت های طیفی از سبک های از پیش تعیین شده که ساخته اند.

اما در آینده، خود اسپادا این پتانسیل را می‌بیند که سبک‌های سفارشی کاربر را در اولین ماشین هوش مصنوعی آینده فرضی (دومین ماشین هوش مصنوعی) وارد کند، که شاید در یک صفحه نمایش LCD دیگر نشان داده شود.

اسپادا در طول دمو به من گفت: “شما صاحب سبک منحصر به فرد خود خواهید شد و تصمیم خواهید گرفت که چه کسی می تواند از آن استفاده کند.” Midjourney به تازگی از یک ژنراتور سبک منحصر به فرد رونمایی کرده بود برای تصاویر ثابت

داخل دستگاه یک کامپیوتر مک مینی است که دارای سیستم عامل لینوکس/اوبونتو است و نرم افزار آن روی پایتون و چارچوب های باز. همچنین یک روتر در داخل وجود دارد که اجازه می‌دهد ویدیوی نهایی به‌صورت بی‌سیم به رایانه منتقل شود.

بعدی برای اولین ماشین AI و سخت افزار AI چیست؟

اسپادا گفت که در حالی که ماشین ۱stAI فقط برای یک نمونه اولیه طراحی شده است، علاقه ای که از Valenzuela و دیگران در جامعه ویرایش ویدیوی هوش مصنوعی آنلاین ایجاد کرده است به او پیشنهاد کرده است که باید یک مدل دوم و پیشرفته تر وجود داشته باشد، مدلی که می‌تواند با منابع محاسباتی سبک‌تر و ارزان‌تری اجرا شود، مثلاً یک میکرو رایانه Raspberry Pi یا چند.

نسخه آینده ممکن است این قابلیت را داشته باشد که کاربر استوری‌بردها یا تصاویر منبع خود را نیز آپلود کند.

اسپادا نسخه‌ای از ماشین ۱stAI را در نظر می‌گیرد که در جشنواره‌های موسیقی یا رویدادهای بزرگ مانند همایش‌ها مورد استفاده قرار گیرد، جایی که شرکت‌کنندگان می‌توانند با ایجاد ویدیوهای تولید شده توسط هوش مصنوعی خود از طریق نرم‌افزار Runway و نمایش آن‌ها از طریق نرم‌افزار Runway، بیایند و “وی جی (VJ)” را به نمایش بگذارند. دستگاه را به یک صفحه نمایش بزرگتر، به اندازه جمبوترون مانند کنسرت Taylor Swift Eras Tour.

اسپادا که همیشه تبلیغ‌کننده خلاقی بود، فکر می‌کرد که این تجربه خوبی برای حمایت از یک برند بزرگ، یک کوکا کولا یا پپسی کولا یا مشابه آن است.

با این حال، او مصمم بود که علاقه ای به دنبال کردن یک تجارت سخت افزاری مستقل ندارد.

اسپادا در جریان کار ما به VentureBeat گفت: «سخت‌افزار به سال‌ها و سال‌ها نیاز دارد تا آن را به یک دستگاه مصرف انبوه تبدیل کند. من می‌خواهم روی ایجاد داستان‌هایی با استفاده از هوش مصنوعی و سایر ابزارها برای برندها و مشتریانمان تمرکز کنم.»

با این اوصاف، او مایل بود طرح را به Valenzuela یا سایرین در Runway بسپارد تا در صورت تمایل آن‌ها، آن را برای جبران منصفانه و معقول دنبال کنند.

به طور کلی، اسپندا و همکارانش بر این باورند که داشتن سخت‌افزار اختصاصی برای برنامه‌های هوش مصنوعی در زمینه‌های خاص ارزش دارد، زیرا کاربر را بر فرآیند تولید هوش مصنوعی متمرکز می‌کند و او را از بی‌شمار حواس‌پرتی‌ها و پینگ‌هایی که می‌خواهند دریافت کنند، رها می‌کند. راه اندازی لپ تاپ یا دسکتاپ

و همانطور که اسپادا به VentureBeat اشاره کرد، خلاقان حرفه‌ای در هنرهای تجسمی، گرافیک‌های حرکتی، جلوه‌های ویژه و موسیقی اغلب از چنین تنظیمات سخت‌افزاری اختصاصی استفاده می‌کنند – خواه تخته‌های میکس کنند یا سایر لوازم جانبی مانند پدهای طراحی الکترونیکی و قلم‌ها – حتی اگر کارشان از نظر تئوری تمام شود. روی رایانه شخصی استاندارد تکمیل شود.

پس از مشاهده اولین ماشین هوش مصنوعی از نزدیک، می توانم متوجه شوم که کاملاً موافقم: احتمالاً این همان چیزی است که سخت افزار هوش مصنوعی باید شبیه باشد.