این شرکت روز چهارشنبه اعلام کرد که OpenAI با روشی جدیدتر برای آموزش مدل‌های هوش مصنوعی، مقابله با “توهمات” هوش مصنوعی را در پیش گرفته است.

این تحقیق در زمانی انجام می شود که اطلاعات نادرست ناشی از سیستم های هوش مصنوعی، در بحبوحه رونق مولد هوش مصنوعی و منتهی به انتخابات ریاست جمهوری ایالات متحده در سال 2024، داغ تر از همیشه مورد بحث است. OpenAI در سال گذشته با انتشار ChatGPT، ربات چت خود با GPT-3 و GPT-4، رونق هوش مصنوعی مولد را تسریع کرد و در عرض دو ماه از 100 میلیون کاربر ماهانه فراتر رفت و طبق گزارش‌ها، رکورد سریع‌ترین رشد اپلیکیشن را ثبت کرد. به روز، مایکروسافت بیش از 13 میلیارد دلار در OpenAI سرمایه گذاری کرده است و ارزش این استارتاپ تقریباً به 29 میلیارد دلار رسیده است.

توهم هوش مصنوعی زمانی رخ می دهد که مدل هایی مانند ChatGPT یا OpenAI گوگلبارد به طور کامل اطلاعات را جعل می کند و طوری رفتار می کند که گویی حقایق را افشا می کنند. یک مثال: در ویدیوی تبلیغاتی ماه فوریه خود گوگل برای Bard، ربات چت ادعایی نادرست در مورد تلسکوپ فضایی جیمز وب ارائه می کند. اخیراً، ChatGPT به پرونده های “جعلی” در پرونده دادگاه فدرال نیویورک اشاره کرد و وکلای نیویورک که درگیر آن هستند ممکن است با تحریم روبرو شوند.

محققان OpenAI در این گزارش نوشتند: «حتی مدل‌های پیشرفته نیز مستعد تولید دروغ‌ها هستند – آن‌ها تمایل به ابداع حقایق را در لحظات عدم اطمینان نشان می‌دهند». این توهمات به‌ویژه در حوزه‌هایی که نیاز به استدلال چند مرحله‌ای دارند مشکل‌ساز هستند، زیرا یک خطای منطقی کافی است تا راه‌حل بسیار بزرگ‌تری را از مسیر خارج کند.»

استراتژی جدید بالقوه OpenAI برای مبارزه با ساختگی‌ها: به مدل‌های هوش مصنوعی آموزش دهید تا به جای پاداش دادن به یک نتیجه‌گیری نهایی صحیح، برای هر مرحله استدلال صحیح فردی در هنگام رسیدن به پاسخ، به خود پاداش دهند. به گفته محققان، این رویکرد بر خلاف «نظارت بر نتیجه»، «نظارت بر فرآیند» نامیده می‌شود و به گفته محققان، می‌تواند به هوش مصنوعی قابل توضیح بهتری منجر شود، زیرا این استراتژی مدل‌ها را تشویق می‌کند تا بیشتر از یک زنجیره «فکر» شبیه به انسان پیروی کنند.

“تشخیص و کاهش اشتباهات منطقی یا توهمات یک مدل، گامی حیاتی برای ایجاد AGI همسو است. [or artificial general intelligence]کارل کوبه، محقق mathgen در OpenAI، به CNBC گفت، با اشاره به اینکه اگرچه OpenAI رویکرد نظارت بر فرآیند را اختراع نکرده است، این شرکت به پیشبرد آن کمک می‌کند. قادر به حل مسائل استدلالی چالش برانگیز است.”

Cobbe گفت که OpenAI مجموعه داده همراهی از 800000 برچسب انسانی را منتشر کرده است که برای آموزش مدل ذکر شده در مقاله تحقیقاتی استفاده کرده است.

بن وینترز، مشاور ارشد مرکز اطلاعات حریم خصوصی الکترونیک و رهبر پروژه هوش مصنوعی و حقوق بشر آن، ابراز تردید کرد و به CNBC گفت که علاقه مند است مجموعه داده کامل و نمونه های همراه را ببیند.

وینترز گفت: «فقط فکر نمی‌کنم که این به تنهایی نگرانی‌های مربوط به اطلاعات نادرست و نتایج نادرست را کاهش دهد… وقتی واقعاً در طبیعت استفاده می‌شود». او اضافه کرد: «این که آیا آنها قصد دارند هر چیزی را که از طریق تحقیقات خود در اینجا پیدا کرده اند را اجرا کنند، قطعاً اهمیت دارد [into their products]و اگر اینطور نباشند، سؤالات نسبتاً جدی در مورد آنچه که آنها مایل به انتشار عمومی هستند ایجاد می کند.”

از آنجایی که مشخص نیست که مقاله OpenAI توسط همتایان بررسی شده یا در قالب دیگری بررسی شده است، سورش ونکاتاسوبرامانیان، مدیر مرکز مسئولیت فناوری در دانشگاه براون، به CNBC گفت که او این تحقیق را بیش از هر چیز دیگری یک مشاهده اولیه می داند.

ونکاتاسوبرامانیان گفت: “این باید در جامعه تحقیقاتی آشکار شود تا بتوانیم چیزی در این مورد بگوییم.” «در این دنیا، نتایج زیادی وجود دارد که به‌طور منظم به دست می‌آیند، و به دلیل بی‌ثباتی کلی در نحوه عملکرد مدل‌های زبانی بزرگ، آنچه ممکن است در یک محیط کار کند، مدل و زمینه ممکن است در شرایط، مدل و زمینه دیگر کار نکند. ”

ونکاتاسوبرامانیان افزود: «برخی از چیزهای توهم‌آوری که مردم نگران آن بوده‌اند، این است [models] ساختن استنادها و ارجاعات هیچ مدرکی در این مقاله وجود ندارد که این کار برای آن کارساز باشد… اینطور نیست که من بگویم کار نخواهد کرد. من می گویم که این مقاله آن مدرک را ارائه نمی کند.»

OpenAI به یک درخواست برای اظهار نظر در مورد اینکه آیا این تحقیق در هر ظرفیتی مورد بررسی خارجی قرار گرفته است یا خیر، یا اینکه چه زمانی این شرکت قصد دارد استراتژی جدید را در ChatGPT و سایر محصولات آن پیاده‌سازی کند، پاسخ نداد.

«مطمئناً استقبال از شرکت‌هایی که سعی می‌کنند با توسعه سیستم‌هایشان دست به کار شوند تا این نوع خطاها را کاهش دهند – من فکر می‌کنم آنچه کلیدی است این است که این را به عنوان تحقیقات شرکتی تفسیر کنیم، با توجه به موانع بسیاری که برای اشکال عمیق‌تر پاسخگویی وجود دارد. سارا مایرز وست، مدیر عامل موسسه AI Now به CNBC گفت.

غرب افزود:[OpenAI is] انتشار مجموعه داده کوچکی از بازخورد در سطح انسانی با این مقاله، اما جزئیات اولیه در مورد داده های مورد استفاده برای آموزش و آزمایش GPT-4 ارائه نشده است. بنابراین هنوز مقدار زیادی کدورت وجود دارد که هرگونه تلاش‌های پاسخگویی معنادار در زمینه هوش مصنوعی را به چالش می‌کشد، حتی با وجود اینکه این سیستم‌ها به طور مستقیم بر مردم تأثیر می‌گذارند.»