چت ربات ها تمایل نگران کننده ای برای تولید اطلاعات نادرست دارند، اما آن را دقیق ارائه می کنند. این پدیده که به توهمات هوش مصنوعی معروف است، اثرات نامطلوب مختلفی دارد. در بهترین حالت، مزایای هوش مصنوعی را محدود می کند. در بدترین حالت، می تواند باعث آسیب واقعی به مردم شود.

با ورود هوش مصنوعی مولد به جریان اصلی، زنگ‌های هشدار بلندتر به صدا در می‌آیند. در پاسخ، تیمی از محققان اروپایی بوده است به شدت با داروها آزمایش می کند. هفته گذشته، این تیم از یک راه حل امیدوارکننده رونمایی کرد. میگویند می تواند کاهش دهد هوش مصنوعی توهم تا درصدهای تک رقمی.

این سیستم زاییده ذهن است Iris.aiمستقر در اسلو استارت آپ. این شرکت که در سال ۲۰۱۵ تأسیس شد، یک موتور هوش مصنوعی برای درک متون علمی ساخته است. این نرم افزار مقادیر زیادی از داده های تحقیقاتی را بررسی می کند و سپس آن ها را تجزیه و تحلیل، دسته بندی و خلاصه می کند.

مشتریان شامل سازمان غذای فنلاند. سازمان دولتی استفاده شده سیستمی برای تسریع تحقیقات در مورد بحران احتمالی آنفولانزای مرغی به گفته Iris.ai، این پلتفرم ۷۵ درصد از وقت یک محقق را صرفه جویی می کند.

چیزی که در وقت آنها صرفه جویی نمی کند هوش مصنوعی است توهم آور

“کلید این است که پاسخ هایی را برگردانیم که مطابق با آنچه یک متخصص انسانی می گوید، باشد.

مدل‌های زبان بزرگ امروزی (LLM) به دلیل تفکیک اطلاعات بی‌معنی و نادرست بدنام هستند. نمونه های بی پایانی از این خروجی ها در ماه های اخیر ظاهر شده اند.

گاهی اوقات عدم دقت باعث آسیب به شهرت می شود. در نسخه ی نمایشی راه اندازی از مایکروسافت به عنوان مثال، هوش مصنوعی بینگ، سیستم تولید شده تجزیه و تحلیل پر خطا از گزارش درآمد Gap.

در مواقع دیگر، خروجی های اشتباه می تواند مضرتر باشد. ChatGPT می تواند خطرناک باشد توصیه های پزشکی تحلیلگران امنیتی ترس توهمات چت بات حتی می تواند بسته های کدهای مخرب را به سمت توسعه دهندگان نرم افزار سوق دهد.

متأسفانه، LLM ها در عبارت نویسی آنقدر خوب هستند که تشخیص توهمات از متن تولید شده با واقعیت واقعی دشوار است. ویکتور بوتف، مدیر ارشد فناوری Iris.ai به TNW می گوید. اگر این مشکل برطرف نشود، کاربران مدل‌ها باید منابع بیشتری را به اعتبارسنجی خروجی‌ها به جای تولید آن‌ها اختصاص دهند.»

توهمات هوش مصنوعی نیز ارزش هوش مصنوعی در تحقیقات را مختل می کند. در نظرسنجی Iris.ai از ۵۰۰ کارمند تحقیق و توسعه شرکتی، تنها ۲۲ درصد از پاسخ دهندگان گفتند که به سیستم هایی مانند ChatGPT اعتماد دارند. با این وجود، ۸۴ درصد از آنها هنوز از ChatGPT به عنوان ابزار اصلی هوش مصنوعی خود برای پشتیبانی از تحقیقات استفاده می کنند. ایک

این شیوه‌های مشکل‌ساز کار Iris.ai را بر روی توهمات هوش مصنوعی تحریک کرد.

هوش مصنوعی حقیقت‌سنجی

Iris.ai از چندین روش برای اندازه گیری دقت خروجی های هوش مصنوعی استفاده می کند. مهم‌ترین تکنیک تأیید صحت واقعی است.

بوتف می‌گوید: «ما مفاهیم کلیدی دانش را که انتظار داریم در پاسخ صحیح ببینیم، ترسیم می‌کنیم. سپس بررسی می کنیم که آیا پاسخ هوش مصنوعی حاوی این حقایق است و آیا آنها از منابع قابل اعتماد آمده اند یا خیر.

یک تکنیک ثانویه پاسخ تولید شده توسط هوش مصنوعی را با یک “حقیقت زمینی” تایید شده مقایسه می کند. استفاده از متریک اختصاصی دوبله شده WISDMنرم افزار شباهت معنایی خروجی هوش مصنوعی را به حقیقت زمینی نمره می دهد. این شامل بررسی موضوعات، ساختار و اطلاعات کلیدی می شود.

روش دیگر انسجام پاسخ را بررسی می کند. برای انجام این کار، Iris.ai تضمین می‌کند که خروجی، موضوعات، داده‌ها و منابع مربوطه را برای سؤال مورد نظر – به جای ورودی‌های نامرتبط، در بر می‌گیرد.

ترکیبی از تکنیک ها معیاری برای دقت واقعی ایجاد می کند.

بوتف می‌گوید: «کلید برای ما فقط بازگرداندن هر پاسخی نیست، بلکه بازگرداندن پاسخ‌هایی است که دقیقاً با آنچه یک متخصص انسانی می‌گوید مطابقت دارد.

در زیر پوشش، سیستم Iris.ai از نمودارهای دانش استفاده می کند که نشان دادن روابط بین داده ها

نمودارهای دانش مراحلی را که یک مدل زبان برای رسیدن به خروجی های خود طی می کند، ارزیابی و نشان می دهد. اساساً، آنها زنجیره ای از افکار را ایجاد می کنند که مدل باید از آن پیروی کند.

این رویکرد فرآیند تأیید را ساده می کند. با درخواست از تابع چت یک مدل برای تقسیم درخواست ها به قسمت های کوچکتر و سپس نمایش مراحل صحیح، می توان مشکلات را شناسایی و حل کرد.

این ساختار حتی می تواند یک مدل را وادار کند تا اشتباهات خود را شناسایی و تصحیح کند. در نتیجه، یک پاسخ منسجم و واقعی می تواند به طور خودکار تولید شود.

ما باید تصمیم گیری هوش مصنوعی را از بین ببریم.

Iris.ai اکنون این فناوری را در یک ویژگی جدید Chat ادغام کرده است که به پلتفرم Researcher Workspace این شرکت اضافه شده است. در تست های اولیه، ویژگی توهمات هوش مصنوعی را به درصدهای تک رقمی کاهش داد.

اما مشکل به طور کامل حل نشده است. در حالی که این رویکرد برای محققان در پلتفرم Iris.ai موثر به نظر می رسد، این روش دشوار خواهد بود مقیاس برای LLM های محبوب. مطابق با بوتف، جچالش‌ها از فناوری سرچشمه نمی‌گیرند، بلکه از کاربران ناشی می‌شوند.

وقتی کسی انجام می دهد برای مثال، با جستجوی هوش مصنوعی Bing، آنها ممکن است دانش کمی از موضوعی که در حال بررسی آن هستند داشته باشند. در نتیجه، آنها می توانند نتایجی را که دریافت می کنند اشتباه تفسیر کنند.

بوتف می‌گوید: «افراد همیشه با جستجوی آنلاین علائم بیماری‌ها را به اشتباه تشخیص می‌دهند. “ما باید بتوانیم فرآیند تصمیم گیری هوش مصنوعی را به روشی واضح و قابل توضیح تجزیه کنیم.

آینده توهمات هوش مصنوعی

علت اصلی توهمات هوش مصنوعی مسائل مربوط به داده های آموزشی است. مایکروسافت اخیراً از یک راه حل جدید برای این مشکل رونمایی کرده است. جدید این شرکت مدل Phi-1.5 است از پیش آموزش داده شده بر روی داده های “کیفیت کتاب درسی”، که هم به صورت مصنوعی تولید شده و هم از منابع وب فیلتر شده است.

مندر تئوری، این تکنیک توهمات هوش مصنوعی را کاهش می دهد. اگر داده‌های آموزشی به خوبی ساختار یافته باشند و استدلال را تقویت کنند، باید فضای کمتری برای یک مدل برای توهم وجود داشته باشد.

روش دیگر شامل حذف سوگیری از داده ها است. برای انجام این کار، Botev آموزش یک مدل در زبان کدنویسی را پیشنهاد می کند.

در حال حاضر، بسیاری از LLM های محبوب بر روی طیف متنوعی از داده ها، از رمان ها و مقالات روزنامه گرفته تا اسناد قانونی و پست های رسانه های اجتماعی، آموزش دیده اند. به ناچار، این منابع حاوی تعصبات انسانی هستند.

در جبه زبان، تاکید بسیار بیشتری بر عقل وجود دارد. این امر فضای کمتری را برای تفسیر باقی می گذارد که می تواند LLM ها را به پاسخ های واقعی راهنمایی کند. از سوی دیگر، می تواند به کدگذاران قدرت بالقوه وحشتناکی بدهد.

«این موضوع اعتماد است.

با وجود محدودیت هایش، Iris.ai روش گامی در مسیر درست است. با استفاده از ساختار نمودار دانش، شفافیت و توضیح پذیری را می توان به هوش مصنوعی اضافه کرد.

بوتف می‌گوید: «درک گسترده‌تر از فرآیندهای مدل، و همچنین تخصص خارجی بیشتر با مدل‌های جعبه سیاه، به این معنی است که علل اصلی توهمات در همه زمینه‌ها را می‌توان زودتر شناسایی و به آن پرداخت.

CTO همچنین نسبت به پیشرفت خارجی در این زمینه خوش بین است. او به همکاری با سازندگان LLM برای ساخت مجموعه داده های بزرگتر، استنتاج نمودارهای دانش از متون، و تهیه معیارهای خودارزیابی. در آینده، این امر باعث کاهش بیشتر توهمات هوش مصنوعی خواهد شد.

برای بوتف، این کار هدفی حیاتی دارد.

او می گوید: «تا حد زیادی موضوع اعتماد است. اگر کاربران به مدلی که برای ارائه پاسخ های دقیق استفاده می کنند اعتماد نداشته باشند، چگونه می توانند از مزایای هوش مصنوعی بهره ببرند؟