کاربر می‌تواند از ChatGPT بخواهد یک برنامه کامپیوتری بنویسد یا یک مقاله را خلاصه کند، و ربات چت هوش مصنوعی احتمالاً می‌تواند کد مفیدی تولید کند یا خلاصه‌ای قانع‌کننده بنویسد. با این حال، کسی می‌تواند دستورالعمل‌هایی را برای ساخت بمب بخواهد و ربات چت نیز می‌تواند آنها را ارائه دهد.
برای جلوگیری از این موضوع و سایر مسائل امنیتی، شرکت‌هایی که مدل‌های زبان بزرگ می‌سازند معمولاً با استفاده از فرآیندی به نام تیم قرمز از آنها محافظت می‌کنند. تیم‌های آزمایش‌کننده انسانی، اعلان‌هایی را با هدف ایجاد متن خطرناک یا سمی از مدل مورد آزمایش می‌نویسند. از این دستورات برای آموزش ربات چت برای جلوگیری از چنین پاسخ هایی استفاده می شود.
اما این تنها در صورتی موثر عمل می کند که مهندسان بدانند از کدام سیگنال سمی استفاده کنند. اگر آزمایش‌کننده‌های انسانی برخی از درخواست‌ها را از دست بدهند، که احتمالاً به دلیل تعداد احتمالات است، یک ربات چت که ایمن تلقی می‌شود ممکن است همچنان بتواند پاسخ‌های خطرناکی ایجاد کند.
محققان آزمایشگاه هوش مصنوعی غیرممکن در MIT و آزمایشگاه هوش مصنوعی واتسون MIT-IBM از یادگیری ماشینی برای بهبود تیم قرمز استفاده کردند. آنها تکنیکی را برای آموزش یک مدل زبان تیمی قرمز بزرگ ابداع کردند تا به طور خودکار اعلان های مختلفی را ایجاد کند که طیف وسیع تری از واکنش های نامطلوب را نسبت به ربات چت مورد آزمایش ایجاد می کند.
آنها این کار را با آموزش مدل تیم قرمز کنجکاو در هنگام نوشتن اعلان‌ها و تمرکز بر روی اعلان‌های جدیدی که پاسخ‌های سمی را از مدل هدف ایجاد می‌کنند، انجام می‌دهند.
این تکنیک با ایجاد اعلان‌های متمایزتر که باعث واکنش‌های سمی فزاینده‌ای می‌شود، از آزمایش‌کنندگان انسانی و سایر رویکردهای یادگیری ماشین بهتر عمل می‌کند. روش آنها نه تنها به طور قابل توجهی پوشش ورودی های آزمایش شده را در مقایسه با سایر روش های خودکار بهبود می بخشد، بلکه می تواند پاسخ های سمی را از یک چت بات که دارای محافظ هایی توسط متخصصان انسانی است استخراج کند.
“در حال حاضر، هر مدل زبان اصلی باید یک دوره بسیار طولانی از ترکیب قرمز را پشت سر بگذارد تا ایمنی خود را تضمین کند. اگر بخواهیم این مدل‌ها را در محیط‌هایی که به سرعت در حال تغییر هستند به‌روزرسانی کنیم، این پایدار نخواهد بود. ژانگ وی هونگ، دانشجوی مهندسی برق و علوم کامپیوتر (EECS) در آزمایشگاه هوش مصنوعی غیرممکن و نویسنده اصلی این مقاله گفت: روش ما روشی سریعتر و کارآمدتر برای انجام این تضمین کیفیت ارائه می‌کند. مقاله در مورد این رویکرد ترکیب قرمز.
نویسندگان مشترک هونگ شامل دانشجویان EECS، ایدان شنفیلد، تسون-هسوان وانگ و یونگ سونگ چوانگ هستند. Aldo Pareja و Akash Srivastava، محققان در آزمایشگاه هوش مصنوعی MIT-IBM Watson; جیمز گلس، محقق ارشد و رئیس گروه سیستم های زبان گفتاری در آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL)؛ و نویسنده ارشد Pulkit Agrawal، مدیر آزمایشگاه هوش مصنوعی غیرممکن و استادیار در CSAIL. این تحقیق در کنفرانس بین‌المللی نمایش‌های یادگیری ارائه خواهد شد.
استخر قرمز خودکار
مدل‌های زبان بزرگ، مانند آن‌هایی که ربات‌های چت هوش مصنوعی را تقویت می‌کنند، اغلب با نمایش مقادیر زیادی متن از میلیاردها وب‌سایت عمومی آموزش داده می‌شوند. بنابراین نه تنها می‌توانند یاد بگیرند که کلمات سمی تولید کنند یا فعالیت‌های غیرقانونی را توصیف کنند، بلکه می‌توانند اطلاعات شخصی را که ممکن است به دست آورده‌اند افشا کنند.
ماهیت خسته کننده و پرهزینه ادغام قرمز انسان، که اغلب در ایجاد طیف وسیعی از اعلانات برای محافظت کامل از یک مدل ناکارآمد است، محققان را تشویق کرده است تا فرآیند را با استفاده از یادگیری ماشینی خودکار کنند.
چنین تکنیک هایی اغلب یک مدل تیم قرمز را با استفاده از یادگیری تقویتی آموزش می دهند. این فرآیند آزمون و خطا به مدل تیم قرمز برای ایجاد اعلان‌هایی که پاسخ‌های سمی را از چت بات آزمایش می‌کنند، پاداش می‌دهد.
اما به دلیل روشی که یادگیری تقویتی کار می کند، مدل تیم قرمز اغلب به تولید چندین پیام مشابه ادامه می دهد که برای به حداکثر رساندن پاداش بسیار سمی هستند.
برای رویکرد خود به یادگیری تقویتی، محققان MIT از تکنیکی به نام کنجکاوی محور استفاده کردند. مدل تیم قرمز برای کنجکاوی در مورد عواقب هر پیامی که ایجاد می‌کند تحریک می‌شود، بنابراین درخواست‌هایی را با کلمات، الگوهای جملات یا معانی مختلف امتحان می‌کند.
هونگ می‌گوید: «اگر مدل تیم قرمز قبلاً اعلان خاصی را دیده است، بازی آن هیچ کنجکاوی در مدل تیم قرمز ایجاد نمی‌کند، بنابراین مجبور می‌شود پیام‌های جدیدی ایجاد کند.
در طول فرآیند آموزش، مدل تیم قرمز یک اعلان ایجاد می کند و با چت بات تعامل می کند. ربات چت پاسخ می دهد و یک طبقه بندی ایمنی سمیت پاسخ آن را ارزیابی می کند و به مدل تیم قرمز بر اساس آن ارزیابی پاداش می دهد.
کنجکاوی پاداش دهنده
هدف مدل تیم قرمز این است که پاداش خود را با برانگیختن پاسخ سمی تر با یک اعلان جدید به حداکثر برساند. محققان با تغییر سیگنال پاداش در تنظیمات یادگیری تقویتی، کنجکاوی را در مدل تیم قرمز فعال کردند.
اول، علاوه بر به حداکثر رساندن سمیت، آنها شامل یک جایزه آنتروپی می شوند که مدل تیم قرمز را تشویق می کند تا زمانی که اعلان های مختلف را بررسی می کند تصادفی تر باشد. دوم، برای کنجکاوی عامل، آنها شامل دو جایزه جدید می شوند. یکی به مدل بر اساس شباهت کلمه در اعلان های آن پاداش می دهد و دیگری به مدل بر اساس شباهت معنایی پاداش می دهد. (شباهت کمتر پاداش بالاتری به همراه دارد.)
برای جلوگیری از تولید متن تصادفی و بی‌معنی مدل تیم قرمز که می‌تواند طبقه‌بندی‌کننده را فریب دهد تا امتیاز سمیت بالا را به دست آورد، محققان همچنین یک جایزه زبان طبیعی به هدف آموزشی اضافه کردند.
با این اضافات، محققان سمیت و تنوع پاسخ های تولید شده توسط مدل تیم قرمز آنها را با سایر تکنیک های خودکار مقایسه کردند. مدل آنها در هر دو معیار عملکرد بهتری از خطوط پایه داشت.
آنها همچنین از مدل تیم قرمز خود برای آزمایش یک ربات چت استفاده کردند که با بازخوردهای انسانی به خوبی تنظیم شده بود تا پاسخ های سمی ارائه نکند. رویکرد مبتنی بر کنجکاوی آنها توانست به سرعت 196 پیام را ایجاد کند که پاسخ‌های سمی را از این ربات چت “ایمن” برانگیخت.
ما شاهد موجی از مدل ها هستیم که انتظار می رود فقط رشد کنند. هزاران مدل یا حتی بیشتر و شرکت‌ها/آزمایشگاه‌هایی را تصور کنید که مرتباً مدل‌ها را به‌روزرسانی می‌کنند. این مدل ها بخشی جدایی ناپذیر از زندگی ما خواهند بود و مهم است که قبل از عرضه برای استفاده عمومی بررسی شوند. آگراوال می گوید که بررسی مدل دستی مقیاس پذیر نیست و کار ما تلاشی برای کاهش تلاش انسان برای اطمینان از آینده ایمن تر و مطمئن تر هوش مصنوعی است.
در آینده، محققان می‌خواهند مدل تیم قرمز را برای ایجاد اعلان‌ها برای موضوعات متنوع‌تری فعال کنند. آنها همچنین می خواهند استفاده از یک مدل زبان بزرگ را به عنوان طبقه بندی سمیت بررسی کنند. به این ترتیب، کاربر می تواند طبقه بندی کننده سمیت را با استفاده از مثلاً یک سند خط مشی شرکت آموزش دهد تا یک مدل تیم قرمز بتواند ربات چت را برای نقض خط مشی شرکت آزمایش کند.
آگراوال می‌گوید: «اگر در حال راه‌اندازی یک مدل هوش مصنوعی جدید هستید و نگران این هستید که آیا آن‌طور که انتظار می‌رود رفتار کند، از ترکیب قرمز مبتنی بر کنجکاوی استفاده کنید.
این تحقیق تا حدی توسط شرکت هیوندای موتور، شرکت کوانتا کامپیوتر، آزمایشگاه هوش مصنوعی واتسون MIT-IBM، کمک مالی تحقیقاتی MLRA خدمات وب آمازون، خدمات تحقیقاتی ارتش ایالات متحده، آژانس پروژه‌های تحقیقاتی پیشرفته دفاعی ایالات متحده، برنامه حس مشترک ماشین، دفتر ایالات متحده تامین شده است. تحقیقات دریایی، آزمایشگاه تحقیقاتی نیروی هوایی ایالات متحده و شتاب دهنده هوش مصنوعی نیروی هوایی ایالات متحده.
