بنیانگذار Civitai قهرمان منبع باز است، پورنو عمیق جعلی هوش مصنوعی را کم اهمیت جلوه می دهد

جاستین مایر، بنیانگذار پلتفرم هوش مصنوعی منبع باز ساکن آیداهو، بویز، پرورش یافته مورمون دولتیک سال وحشی و چند ماه سخت داشته است.

شرکت او یک سال پیش برای حمایت از جامعه‌ای در کشف، ایجاد و به اشتراک گذاری مدل‌ها و محتوای تولید شده با تصویر بر اساس تولیدکننده محبوب متن به تصویر تأسیس شد. انتشار پایدار. از آن زمان، از یک استارتاپ چهار نفره و کمتر از ۱۰۰۰۰۰ کاربر به یک شرکت ۱۵ نفره با سرمایه ۵ میلیون دلاری از شرکت VC Andreessen Horowitz منفجر شد و به سرعت به ۱۰ میلیون بازدیدکننده منحصر به فرد در هر ماه و میلیون ها تصویر و مدل آپلود شده افزایش یافت. .

در عین حال، اخیراً دو ضربه جدی به او وارد شده است: تشخیص و درمان دیابت نوع ۱ دخترش، که در همان هفته با دور بودجه Civitai انجام شد، و همچنین ماه‌ها پوشش انتقادی توسط سایت روزنامه‌نگاری فناوری مستقل ۴۰۴ Media. که چندین داستان درباره Civitai منتشر کرده است که این شرکت را به ایجاد یک “بازار پورن هوش مصنوعی“سودآوری”از پورن هوش مصنوعی غیر توافقی“؛ معرفی جوایز برای جعلیات عمیق افراد واقعی؛ و تولید تصاویر که می تواند به عنوان پورنوگرافی کودکان طبقه بندی شود.”

اما مایر، فارغ التحصیل از دانشگاه بریگام یانگ که پروفایل X او را به‌عنوان «پدر، شوهر و توسعه‌دهنده» توصیف می‌کند که «سعی می‌کند کمتر اشتباه کند و در طول مسیر مرتکب اشتباه شود»، معتقد است که گزارش‌های ۴۰۴ Media، پایگاه کاربر اصلی و موارد استفاده Civitai را نادرست توصیف می‌کنند.

او در مصاحبه ای اختصاصی به VentureBeat گفت که “چالش برانگیز و غم انگیز است که … در این آشفتگی پرت شدن.” او Civitai را «یک شرکت کوچک می‌داند که تمام تلاش خود را می‌کند تا به افراد بیشتری دسترسی داشته باشد که عموماً از آن برای همیشه استفاده می‌کنند».

مایر همچنین گفت که Civitai “واقعاً سخت کار کرده است تا اطمینان حاصل شود که ما همه چیز را ایمن نگه می داریم، اما این فضا به سرعت در حال حرکت است و علاقه به سرعت در حال رشد است که ما مجبوریم روزانه حرکت کنیم و تغییر کنیم و تطبیق دهیم.” که نیمی از تیم شرکت به تعدیل محتوا اختصاص دارد.

مایر خود را در مرکز بحث های پیرامون پیدا کرده است مزایای منبع باز هوش مصنوعی مولد که همچنان در سراسر اینترنت و در میان رگولاتورها پخش می شود. Civitai را می‌توان به عنوان نمونه‌ای از نوید فناوری – ایجاد جوامع جدید پررونق – و جنبه‌های منفی آن دانست که اجازه می‌دهد محتوای اعتراض‌آمیز در مقیاسی بزرگ‌تر از قبل ایجاد شود و حتی برای صاحبان پلتفرم‌ها و مدیران با انگیزه که مخالف آن هستند دشوار باشد. برای سلطنت کردن

Civitai یک پلتفرم برای علاقه مندان به مدل LoRA است

مایر توضیح داد که اکثریت قریب به اتفاق کاربران Civitai به سادگی هستند مدل LoRA علاقه مندان – مدل های LoRA مدل های کوچک و دقیقی هستند که بر روی شخصیت ها یا سبک های خاص آموزش دیده اند – به دنبال بیان خود از طریق نسل هنر هوش مصنوعی برای همه چیز، از فن تخیلی و شخصیت های انیمه گرفته تا فوتورئالیسم و ​​حتی مد هستند.

او گفت: «زمانی که فقط یک سال پیش عرضه کردیم، ۵۰ مدل داشتیم، که مانند تمام آنچه در سه ماه گذشته ساخته شده بود، بود. و اکنون به صورت روزانه ۵۰۰ مدل دریافت می کنیم.

در حالی که اتهامات ۴۰۴ Media نگران کننده است، مایر با استفاده از ارقام ژوئن ۲۰۲۳، به عنوان مثال، زمانی که ویژگی تولید تصویر Civitai هنوز در مرحله آزمایش داخلی بود (شرکت گفت که در سپتامبر راه اندازی شد) تأکید کرد که آنها اغلب گمراه کننده هستند.

بر خلاف آن ارقامی که ۶۰ درصد از محتوای Civitai را به عنوان NSFW (ناامن برای کار) نشان می‌دهد – رقمی که از ۵۰۰۰۰ تصویر گرفته شده است – امروزه کاربران در Civitai روزانه ۳ میلیون تصویر تولید می‌کنند و این شرکت می‌گوید “کمتر از ۲۰٪ محتوای ارسال شده”. چیزی است که ما “PG-13″ یا بالاتر را در نظر می گیریم.”

مایر گفت: «این واقعاً باعث ناراحتی من می شود که به خاطر چیزی که ما فعالانه برای جلوگیری از آن تلاش می کنیم و تمام تلاش خود را برای حل آن می کنیم، در گل و لای کشیده می شوم.

او همچنین به الف اشاره کرد مرکز ایمنی جدید در وب سایت خود و سیاست هایی مانند Three Strikes و Zero Tolerance برای محتوای نامناسب. مایر گفت که این مرکز برای سهولت یافتن خط‌مشی‌ها برای کاربران معرفی شده است، اما در پاسخ به گزارش‌های ۴۰۴ معرفی نشده است – و این سیاست‌ها قبل از گزارش‌ها بوده‌اند.

از جمله سیاست های فهرست شده در مرکز ایمنی Civitai، ممنوعیت “همه عکس های واقعی از خردسالان” و همچنین “تمام تصاویر جنسی از افراد زیر سن قانونی” است. این خط‌مشی می‌گوید Civitai از شناسایی آمازون برای شناسایی و پرچم‌گذاری خودکار محتوایی که این خط‌مشی‌ها را نقض می‌کند، استفاده می‌کند. در این خط‌مشی پرسش‌های متداول آمده است: «ما یک خط‌مشی اعتصاب صفر برای تخلفات مربوط به خردسالان داریم. “محتوای توهین آمیز حذف خواهد شد و آپلود کننده از پلتفرم ممنوع خواهد شد.”

Civitai به عنوان یک “پروژه اشتیاق” برای علاقمندان مولد هوش مصنوعی شروع شد

مایر گفت Civitai به عنوان یک “پروژه پرشور” شروع شد. بعد از اینکه یکی از دوستان به او معرفی کرد میانه سفر در آگوست ۲۰۲۲، محدودیت های Midjourney – در سرعت و سبک – باعث شد تا او در جامعه Stable Diffusion فعال شود.

او گفت: “من شروع به دیدن افرادی کردم که مدل هایی را به اشتراک می گذارند که برای انجام سبک های خاص طراحی شده اند – آنها فهمیدند که چگونه خودشان را در یک مدل قرار دهند و بنابراین من برای هر یک از اعضای خانواده ام یک مدل ساختم.” مردم شروع به اشتراک‌گذاری مدل‌های خود در سایت‌هایی مانند Reddit و Discord کردند، و مایر گفت که احساس می‌کند باید مکانی وجود داشته باشد که مرور مدل‌ها را آسان‌تر کند.

Civitai در نوامبر راه اندازی شد و تا ژانویه، سایت ۱۰۰۰۰۰ کاربر داشت. او گفت: «از آن زمان فقط یک گردباد بوده است. تا ماه مارس، ما به یک میلیون کاربر رسیدیم.

مایر گفت که Civitai مانع ورود هوش مصنوعی مولد منبع باز را کاهش داده است. او گفت: «ابزارهایی مانند Midjourney با تمرکز بر مصرف‌کننده و ابزارهای متمرکز بر سازمان مانند Hugging Face وجود دارد – ما به تعادل خوبی بین علاقه‌مندانی دست یافته‌ایم که می‌خواهند کمی عمیق‌تر غواصی کنند بدون اینکه نیازی به کشف تمام درونیات یادگیری ماشینی داشته باشند. . .

محتوای NSFW همیشه یک مسئله بوده است

حتی قبل از راه‌اندازی سایت، مایر گفت که از افرادی که از Stable Diffusion برای محتوای NSFW استفاده می‌کنند آگاه بوده است. او گفت: «ما اساساً باید از قبل برای چیزهایی که قبلاً دیده بودیم آماده می شدیم. ما می‌خواستیم به مردم کنترل زیادی بر آنچه که می‌توانند ببینند و نمی‌توانند ببینند، بدهیم.»

وقتی از او پرسیده شد که چرا محتوای NSFW در سایت را به طور کامل رد نمی کند – همانطور که سایر تولیدکنندگان تصویر محبوب مانند Midjourney و OpenAI’s DALL-E 3 انجام می دهند – او گفت: “ما می توانستیم از ارسال آن مطالب جلوگیری کنیم، اما من دوست داشتم این کار را انجام دهیم. ما را در معرض خطر ممانعت از توسعه جامعه قرار می دهد و اضافه می کند که ما به نوعی در مرکز توسعه AI منبع باز پیرامون تصاویر هستیم.

به عنوان مثال، او توضیح داد که در مورد مدل‌های LoRA که براساس Stable Diffusion به طور خاص برای انجام بهتر آناتومی انسان برای مقاصد مستهجن ساخته شده‌اند، چه اتفاقی می‌افتد.

اما او به عهد جدید اشاره کرد تمثیل علف های هرز به عنوان توضیح – تمثیلی که توسط عیسی در کتاب متی نقل شده است، توضیح می‌دهد که چگونه به بندگانی که مشتاق برداشتن علف‌های هرز بودند هشدار داده شد که با انجام این کار، گندم را نیز ریشه‌کن خواهند کرد، بنابراین به آنها گفته شد که اجازه دهند هر دو با هم تا زمان درو رشد کنند. .

مایر گفت: «افرادی که برای ساخت این چیزهای NSFW حضور دارند، این مدل‌ها را به گونه‌ای ایجاد می‌کنند که فراتر از موارد استفاده است. داشتن انجمن ارزشمند است حتی اگر آنها چیزهایی می سازند که من به آنها علاقه ای ندارم یا ترجیح می دهم در سایت نباشم.”

هنگامی که افراد جامعه سعی کردند مفاهیم آناتومیک را در Stable Diffusion بهبود بخشند، او توضیح داد – آموزش مدل‌هایی روی صورت، چشم‌ها، دست‌ها یا بله، حتی آلت تناسلی – نتیجه مدل‌هایی بود که در انجام کارهایی مانند صورت انسان یا انیمه بهتر عمل می‌کردند. او توضیح داد که سپس برای بهبود بیشتر با هم ادغام شدند. “این یک جامعه منبع باز از علاقه مندان است که فناوری را به جلو سوق داده اند، شاید حتی فراتر از آن ثبات [the company behind Stable Diffusion]این شرکتی که صدها میلیون دلار برای فناوری داشت.»

وقتی از مایر پرسیده شد که آیا Civitai با پیشبرد این فناوری، پتانسیل تقلبی یا پورنوگرافی عمیق را نیز فعال می‌کند، گفت که یک چالش این است که مفاهیم آناتومیک می‌توانند همپوشانی داشته باشند. “اگر ما آلت تناسلی را نگیریم، چه چیز دیگری تحت تاثیر آن قرار خواهد گرفت؟” او گفت: “اینکه چگونه وزنه ها با این چیزها روی یکدیگر تاثیر می گذارند این است که گرفتن درست آلت تناسلی به این معنی است که انگشتان اکنون خنده دار به نظر می رسند.”

او اشاره کرد که پس از انتشار نسخه اصلی Stable Diffusion، هوش مصنوعی پایداری به دلیل آموزش در مورد چیزهایی از جمله برهنگی با واکنش‌های منفی مواجه شد. او گفت: «آنها در واقع به عقب برگشتند و دوباره از پایه تمرین کردند و اساساً هزاران تن محتوا را از مجموعه داده‌های خود حذف کردند. “نتیجه نهایی این مدل بود که بر روی تصاویر با وضوح بالا آموزش دیده بود، اما نمی‌توانست افراد خوبی را ارائه دهد.”

اتهامات “پاداش” برای دیپ فیک

پوشش اخیر رسانه ۴۰۴ از Civitai نیز شامل می شود اتهامات “نعمت” برای تقلبی های عمیق افراد واقعی به گفته یکی از نمایندگان Civitai، “Bounties” به کاربران اجازه می دهد تا لیست هایی را برای خدمات مورد نظر مانند ایجاد مدل های هوش مصنوعی ارسال کنند، که سایر کاربران می توانند مطالب خود را برای آنها ارسال کنند. برای مثال، ممکن است شخصی برای مدلی که تصاویر واقعی از تام کروز خلق می کند، جایزه بفرستد. این شرکت گفت که ارسال‌های جایزه خصوصی هستند و فقط با پوستر قابل مشاهده هستند.

“بونت ها چیزی است که ما در ابتدا در ماه دسامبر به آن فکر کردیم [۲۰۲۲]مایر گفت. «افراد اساساً در Discord یا Patreon با یکدیگر تماس می‌گرفتند و می‌گفتند، “من می‌خواهم این چیز را داشته باشم و برای شما یک نکته ارسال می‌کنم” – بنابراین ما آنها را “بونت‌ها” نامیدیم زیرا به نظر می‌رسد فرصتی عالی برای مردم است. که به دنبال این هستند که نامی برای خود دست و پا کنند تا ببینند مردم چه می خواهند.”

اگر پوستری بخواهد یک مدل جایزه را به صورت عمومی در Civitai به اشتراک بگذارد، باید حداقل سه تصویر نمونه را در کنار مدل پست کند، که “به همان فیلترهای تعدیل محتوا متصل می شوند و مانند سایر محتوای پست شده در Civitai قبل از تایید بررسی می شوند. گفت: نماینده Civitai، از جمله شرکت سیاست افراد واقعی – که می گوید “به تصویر کشیدن افراد واقعی در هر زمینه بالغ یا پیشنهادی اکیدا ممنوع است.” تمام محتوای آپلود شده در Civitai توسط سیستم‌های هوش مصنوعی اسکن و برچسب‌گذاری می‌شود تا مشخص شود چه چیزی در تصویر/فیلم وجود دارد و از چه منابعی استفاده شده است، این نماینده گفت: «اگر تشخیص داده شود که از یک منبع شخصی واقعی استفاده شده است و هر گونه برچسب محتوای پیشنهادی/بالغ است. ، قبل از اینکه در سایت قابل مشاهده باشد توسط یک ناظر انسانی بررسی می شود.

به گفته Civitai، این شرکت «همچنین گزارش‌دهی جامعه در مورد محتوای نامناسب را تشویق و تشویق می‌کند – دقیقاً مانند پایگاه کاربران Civitai که در اطراف عرضه جوایز جمع شده‌اند، آنها همچنین به شدت انگیزه دارند که به حفظ سایت یک محیط امن و مثبت برای کاربرانش کمک کنند. هم تکمیل جایزه‌ها و هم گزارش محتوای نقض‌کننده، توسط ارز داخلی Civitai، Buzz (مشابه Reddit Karma امتیاز) تشویق می‌شوند.»

Civitai نمی تواند نحوه استفاده از مدل ها را پس از دانلود یا جابجایی کنترل کند

با این حال، یک نکته وجود دارد – به عنوان یک پلتفرم هوش مصنوعی منبع باز، Civitai نمی تواند نحوه استفاده از مدل های به اشتراک گذاشته شده در سایت خود را پس از دانلود یا انتقال به پلتفرم دیگر کنترل کند. بنابراین کسی می تواند یک مدل تولید کننده تام کروز را که در Civitai به دست آورده است دانلود کند، آن را روی یک ژنراتور با فیلترهای تعدیل کمتر نصب کند و از مدل برای ایجاد محتوای NSFW استفاده کند. این نماینده گفت: با این حال، این نوع محتوا را نمی توان با استفاده از پلتفرم سیویتای ایجاد یا ارسال کرد.

مایر گفت برای کسانی که می‌خواهند تصاویری با سبک‌هایشان حذف شود، یا هنرمندانی که می‌خواهند تصاویری با سبک‌هایشان حذف شود، چاره‌ای وجود دارد، اما گفت که مردم به ندرت برای انجام این کار دست دراز می‌کنند. به عنوان مثال، پوشش رسانه ای ۴۰۴ به یک اینفلوئنسر اینستاگرام، میشل آلوز، با جایزه سیویتای اشاره کرد که گفت: “من نمی دانم چه اقداماتی می توانم انجام دهم، زیرا اینترنت مکانی خارج از کنترل به نظر می رسد. تنها چیزی که وجود دارد. من به این فکر می‌کنم که چگونه می‌تواند از نظر روحی روی من تأثیر بگذارد، زیرا این بیش از حد آزاردهنده است.»

مایر گفت که شرکت Bounty را حذف کرده است اما در واقع هیچ خبری از آلوز نداشته است. او گفت: «ما دیدیم که او نگران این موضوع بود، ما نمی‌خواهیم مردم احساس کنند که هیچ راه‌حلی در اینجا ندارند. ما سعی می‌کنیم تا حد امکان روشن کنیم که مردم می‌توانند درخواست حذف این موارد را داشته باشند.» او افزود که این شرکت در حال حاضر روی راهی کار می‌کند که «مردم اساساً بیایند و شباهت خود را ادعا کنند، وقتی که توسط هوش مصنوعی تولید می‌شود، صاحب چه کسانی هستند».

او ادامه داد، در ماه دسامبر، سیویتای همچنین این قابلیت را برای هنرمندان اضافه کرد که بگویند «هی، من فکر می‌کنم این از تصاویر من و داده‌های آموزشی آن استفاده می‌کند، و سپس درخواست می‌کنند تا با خالق منبع تماس بگیریم و بگوییم که می‌خواهیم مایلم این را حذف کنیم. اکنون شاید پنج یا شش بار این روند را طی کرده ایم.” Maeir گفت: “به ندرت اتفاق می افتد که یک هنرمند واقعاً به سراغش برود.”

توسعه هوش مصنوعی فقط در حال شتاب است

مایر، که توضیح داد که Civitai – که تا ژوئن یک تیم چهار نفره بود – و سایر شرکت‌ها “به سرعت تا جایی که می‌توانند” حرکت می‌کنند تا اطمینان حاصل کنند که سیاست‌ها برای ادامه دادن به این روند توسعه می‌یابند، گفت: توسعه هوش مصنوعی تنها در حال افزایش است. او گفت: «و این فقط شرکت ها نیستند. من هفته گذشته در جلسه ای با فرماندار یوتا، اسپنسر کاکس، صحبت کردم که چگونه می توانیم یک تماس ملایم داشته باشیم تا اطمینان حاصل شود که فضا به توسعه خود ادامه می دهد و مردم ایمن هستند.”

وقتی از او درباره تأثیر سیویتای بر دو دخترش پرسیدند، او توضیح داد که یکی از دخترانش عاشق نقاشی است. او می‌گوید: «او می‌خواهد یک هنرمند باشد، بنابراین هر از گاهی نقاشی‌هایی می‌گیرم که او کشیده است – او عاشق کشیدن زامبی‌ها است – و با من روی نسل‌های هوش مصنوعی کار می‌کند که آن را به چیزی که واقعاً واقعی به نظر می‌رسد، تبدیل می‌کند.

مایر همچنین امیدوار است که سیویتای دیگری بر دخترش تأثیر بگذارد: این ماه، سیویتای یک کار را انجام می دهد درایو خیریه تعطیلات برای بنیاد تحقیقات دیابت نوجوانان.

او گفت: “من دوست دارم بتوانم پول بیشتری برای JDRF دریافت کنم تا بتوانم روی بهتر کردن اوضاع برای دخترم کار کنم، زیرا چند ماه سختی گذشته است.”

او اضافه کرد که نتیجه نهایی این است که “ما عمیقاً به اطمینان از ایمن بودن پلت فرم خود اهمیت می دهیم.” او گفت که هدف Civitai این است که هوش مصنوعی را برای افراد بیشتری در دسترس قرار دهد. او گفت: “اما این بدون چالش نیست و تلاش برای ایجاد آن به گونه ای که مردم بتوانند از آن به طرق مختلف استفاده کنند، بدون مشکل به وجود نمی آید.” “بنابراین ما به طور روزانه تلاش می کنیم تا همه چیز را روی ریل نگه داریم. برای شرکت کوچکی مانند ما، این یک چالش است، اما ما بهترین کار را انجام می دهیم.”