برنامه نویسان اکنون می توانند از مدل های بزرگ زبان (LLM) برای تولید سریعتر کد رایانه استفاده کنند. با این حال ، اگر این کد از قوانین زبان برنامه نویسی پیروی کند و باعث سقوط رایانه نشود ، این زندگی توسعه دهندگان را تسهیل می کند.
برخی از روش های تضمین LLM ها با قوانین هر زبانی که در آن متن ایجاد می کنند وجود دارد ، اما بسیاری از این روش ها یا معنای مورد نظر مدل را تحریف می کنند ، یا زمان زیادی هستند که برای کارهای پیچیده انجام می شود.
یک رویکرد جدید ، که توسط محققان MIT و جاهای دیگر تهیه شده است ، به طور خودکار LLM را به تولید متنی هدایت می کند که به زبان مربوطه مانند یک زبان برنامه نویسی خاص به قوانین مربوط می شود و همچنین بدون خطا است. روش آنها به LLM اجازه می دهد تا تلاش هایی را برای خروجی هایی که به احتمال زیاد معتبر و دقیق هستند ، توزیع کند ، در حالی که در ابتدای فرآیند نتایج غیرقانونی را دفع می کند. این رویکرد احتمالی باعث افزایش راندمان محاسباتی می شود.
با توجه به این سود کارآیی ، معماری محققان LLM کوچک را قادر می سازد تا از مدلهای بسیار بزرگتر در تولید خروجی های دقیق و ساختار یافته مناسب برای چندین کاربرد در دنیای واقعی ، از جمله زیست شناسی مولکولی و روباتیک استفاده کنند.
در دراز مدت ، این معماری جدید می تواند به غیر متخصصان کمک کند تا محتوای تولید شده توسط هوش مصنوعی را کنترل کند. به عنوان مثال ، این می تواند به بازرگانان اجازه دهد تا درخواست های پیچیده را در SQL بنویسند ، یک زبان دستکاری بانک اطلاعاتی با استفاده از تنها تبلیغات زبان طبیعی.
جو لولا ، دانشجوی فارغ التحصیل MIT و نویسنده شاکی می گوید: “این شغل عواقب فراتر از تحقیق دارد. این می تواند دستیاران برنامه نویسی ، تجزیه و تحلیل داده ها ، ابزارهای اکتشافی با قدرت و علمی را بهبود بخشد و اطمینان حاصل کند که نتایج تولید شده توسط هوش مصنوعی مفید و صحیح باقی می ماند.”
لولا توسط نویسندگان رهبران بنیامین لبرن ، همکار تحقیقاتی در موسسه اطلاعات مصنوعی Mila-Kvebek و لی دو ، دانشجوی فارغ التحصیل دانشگاه جان هاپکینز ، به روزنامه می پیوندد. نویسندگان سانسور های همکار ویکاش Mansinghka ’05 ، Meng ’09 ، دکترا ’09 ، محقق ارشد و رئیس پروژه محاسبات احتمالی در بخش مغز و شناخت MIT. الكساندر K. لو CM ’20 ، دستیار دانشگاه ییل ؛ Tim Vieira ، Postdoc در Et Zurich ؛ و تیموتی جی اودونل ، استادیار دانشگاه مک گیل و رئیس کانادا Cifar AI در میلا ، که تیم بین المللی را اداره می کند. مثل چند نفر دیگر این نظرسنجی در کنفرانس بین المللی نمایندگان آموزش ارائه خواهد شد.
استفاده از ساختار و معنی
یک رویکرد متداول برای کنترل متن ساختاری تولید شده توسط LLMS شامل بررسی کل خروجی ، مانند کد رایانه برای اطمینان از معتبر بودن آن است و بدون خطا کار خواهد کرد. اگر اینگونه نباشد ، کاربر باید با استخدام منابع محاسباتی دوباره شروع کند.
از طرف دیگر ، یک برنامه نویس می تواند از بررسی خروج در طول مسیر جلوگیری کند. اگرچه این می تواند اطمینان حاصل کند که کد به زبان برنامه نویسی پایبند است و از نظر ساختاری معتبر است ، به تدریج تنظیم کد می تواند منجر به انقضاء معنایی شود که کاربر با آسیب دیدگی در دقت خود در دراز مدت در نظر گرفته است.
لولا می گوید: “تحمیل ساختار بسیار ساده تر از معنا است. ما می توانیم به سرعت بررسی کنیم که چیزی در زبان برنامه نویسی مناسب است ، اما برای بررسی معنی آن ، شما باید کد را انجام دهید. کار ما نیز مربوط به برخورد با این انواع مختلف اطلاعات است.”
رویکرد محققان شامل دانش مهندسی LLM برای هدایت آن به امیدوار کننده ترین نتایج است. این خروجی ها به احتمال زیاد از محدودیت های ساختاری تعریف شده توسط کاربر پیروی می کنند و اهمیت مصرف کننده را در نظر دارند.
Mansingka می افزاید: “ما در تلاش نیستیم LLM را برای انجام این کار آموزش دهیم. در عوض ، ما دانش هایی را ایجاد می کنیم که یک متخصص با دانش LLM ترکیب می کند و این یک رویکرد بسیار متفاوت از مقیاس هایی را که در یادگیری عمیق می بینید ، ارائه می دهد.”
آنها با استفاده از تکنیکی به نام Monte Carlo سازگار ، به این هدف دست می یابند که به نسل موازی LLM اجازه می دهد تا با یکدیگر رقابت کنند. این مدل به صورت پویا منابع را به موضوعات مختلف محاسبات موازی بر اساس چگونگی امیدوار کننده نتیجه آنها توزیع می کند.
هر تولید وزن می یابد ، که احتمالاً از نظر ساختاری معتبر و از نظر معنایی دقیق است. در هر مرحله از محاسبه ، مدل روی کسانی که دارای وزن بزرگتر هستند تمرکز می کند و بقیه را دور می کند.
به یک معنا ، به نظر می رسد که LLM یک متخصص دارد که به بالای شانه خود نگاه می کند تا اطمینان حاصل کند که در هر مرحله انتخاب صحیح را انجام می دهد ، در حالی که آن را روی هدف کلی متمرکز می کند. کاربر ساختار و معنی مورد نظر و همچنین نحوه بررسی خروجی را نشان می دهد ، سپس معماری محققان LLM را به سمت انجام بقیه سوق می دهد.
لولا می گوید: “ما ریاضیات سنگین را توسعه داده ایم ، بنابراین برای انواع محدودیت هایی که می خواهید در آن قرار دهید ، وزنهای مناسب را دریافت خواهید کرد. از این گذشته ، شما جواب درست می گیرید.”
افزایش مدلهای کوچک
آنها برای آزمایش رویکرد خود ، از قاب LLMS که با تولید چهار نوع خروجی بارگذاری شده است ، استفاده کردند: کد پایتون ، درخواست های پایگاه داده SQL ، ساختارهای مولکولی و برنامه هایی برای دنبال کردن یک ربات.
در مقایسه با رویکردهای موجود ، روش محققان با دقت بیشتری انجام می دهند ، در حالی که به محاسبات کمتری نیاز دارند.
به عنوان مثال ، در تولید کد پایتون ، معماری محققان یک مدل منبع باز کوچک را قادر می سازد تا از یک مدل تجاری با کد بسته و بسته که بیش از دو برابر آن است ، بهتر عمل کند.
لولا می گوید: “ما بسیار هیجان زده هستیم که می توانیم به این مدل های کوچک اجازه دهیم راهی بر وزن آنها سوراخ کنند.”
محققان با حرکت به جلو ، می خواهند به جای کار کردن یک قطعه کوچک در یک زمان ، از تکنیک خود برای کنترل قطعات بزرگتر از متن تولید شده استفاده کنند. آنها همچنین می خواهند روش یادگیری خود را با هم ترکیب کنند ، بنابراین آنها کنترل خروجی هایی را که مدل تولید می کند ، کنترل می کند ، این یاد می گیرد که دقیق تر باشد.
در طولانی مدت ، این پروژه ممکن است برنامه های گسترده تری برای کاربران غیر فنی داشته باشد. به عنوان مثال ، می توان آن را با سیستم هایی برای مدل سازی داده های خودکار و پرس و جو از مدل های پایگاه داده تولیدی ترکیب کرد.
این رویکرد همچنین می تواند کمک دستگاه را به سیستم های تجزیه و تحلیل داده ها امکان پذیر کند که کاربر بتواند با نرم افزاری صحبت کند که به طور دقیق از اهمیت داده ها و سؤالات پرسیده شده توسط کاربر مدل می کند ، Mansinghka می افزاید.
“یکی از سؤالات اصلی زبانشناسی این است که چگونه معنی کلمات ، عبارات و جملات می تواند بر اساس مدل های جهان باشد ، با در نظر گرفتن عدم اطمینان و مبهم در معنا و مرجع. llm ، پیش بینی توالی های احتمالی ، با این مشکل روبرو نشوید ، از نظر فنی ممکن است کلمات توزیع را ترسیم کنید ، این یک مرحله کوچک است که می توان از آدراتی استفاده کرد ، این یک مرحله کوچک نیست ، این امکان را برای شناختگی به وجود نمی آورد. مناطق نمادین نمادین ، از نظر فنی از سخنان DISRB امكان پذیر است.
این مطالعه تا حدودی توسط برنامه رئیس جمهور Canade Cifar AI و بنیاد خانواده Seagel از طریق هدیه ای به خانواده MIT Siegel برای اطلاعات تأمین می شود.
