رشته‌های مختلف از رباتیک گرفته تا پزشکی و علوم سیاسی در تلاش هستند تا سیستم‌های هوش مصنوعی را برای تصمیم‌گیری‌های معنادار آموزش دهند. به عنوان مثال، استفاده از یک سیستم هوش مصنوعی برای کنترل هوشمند ترافیک در یک شهر شلوغ می‌تواند به رانندگان کمک کند تا در عین بهبود ایمنی یا پایداری، سریعتر به مقصد برسند.
متأسفانه آموزش یک سیستم هوش مصنوعی برای تصمیم گیری خوب کار آسانی نیست.
مدل‌های یادگیری تقویتی که زیربنای این سیستم‌های تصمیم‌گیری هوش مصنوعی هستند، اغلب در صورت مواجهه با تغییرات کوچک در وظایفی که برای انجام آنها آموزش دیده‌اند، شکست می‌خورند. در مورد ترافیک، مدل ممکن است برای کنترل مجموعه‌ای از تقاطع‌ها با محدودیت‌های سرعت، تعداد خطوط یا الگوهای ترافیکی متفاوت تلاش کند.
محققان MIT برای بهبود قابلیت اطمینان مدل های یادگیری تقویتی برای کارهای پیچیده با تنوع، الگوریتم کارآمدتری را برای آموزش خود معرفی کردند.
این الگوریتم به صورت استراتژیک بهترین وظایف را برای آموزش یک عامل هوش مصنوعی انتخاب می کند تا بتواند تمام وظایف را در مجموعه ای از وظایف مرتبط به طور موثر انجام دهد. در مورد مدیریت علائم ترافیکی، هر وظیفه می تواند یک تقاطع واحد در یک فضای کاری باشد که شامل تمام تقاطع های شهر می شود.
این روش با تمرکز بر تعداد کمتری از تقاطع‌ها که بیشترین سهم را در کارایی کلی الگوریتم دارند، عملکرد را به حداکثر می‌رساند در حالی که هزینه‌های آموزشی را پایین نگه می‌دارد.
محققان دریافتند که روش آنها بین 5 تا 50 برابر کارآمدتر از رویکردهای استاندارد در مجموعه ای از وظایف شبیه سازی شده است. این افزایش کارایی به الگوریتم کمک می کند تا راه حل بهتری را به روشی سریعتر بیاموزد و در نهایت عملکرد عامل هوش مصنوعی را بهبود بخشد.
ما توانستیم با یک الگوریتم بسیار ساده با تفکر خارج از چارچوب، بهبود عملکرد باورنکردنی را مشاهده کنیم. کاتی وو، نویسنده ارشد، توماس دی، گفت: الگوریتمی که خیلی پیچیده نیست، شانس بیشتری برای پذیرش توسط جامعه دارد، زیرا پیاده‌سازی و درک آن آسان‌تر از سایرین است. و ویرجینیا دبلیو. رئیس مهندسی عمران و محیط زیست (CEE) و موسسه داده ها، سیستم ها و جامعه (IDSS) و عضو آزمایشگاه اطلاعات و سیستم های تصمیم گیری (LIDS).
نویسنده اصلی جونگ هون چو، دانش آموزی از CEE، به او در مقاله پیوسته است. ویندولا جایواردانا، دانشجوی کارشناسی ارشد در گروه مهندسی برق و علوم کامپیوتر (EECS)؛ و شیروی لی، دانشجوی IDSS. این تحقیق در کنفرانس سیستم های پردازش اطلاعات عصبی ارائه خواهد شد.
پیدا کردن حد وسط
برای آموزش الگوریتمی برای کنترل چراغ‌های راهنمایی در بسیاری از تقاطع‌های یک شهر، یک مهندس معمولاً بین دو رویکرد اساسی انتخاب می‌کند. می تواند برای هر تقاطع یک الگوریتم را به طور مستقل آموزش دهد و فقط از داده های آن تقاطع استفاده کند، یا الگوریتم بزرگتری را با استفاده از داده های همه تقاطع ها آموزش دهد و سپس آن را برای هر کدام اعمال کند.
اما هر رویکردی با اشکالاتی همراه است. آموزش یک الگوریتم جداگانه برای هر کار (مانند یک تقاطع معین) فرآیندی زمان بر است که به حجم عظیمی از داده ها و محاسبات نیاز دارد، در حالی که آموزش یک الگوریتم واحد برای همه وظایف اغلب منجر به عملکرد پایین تر می شود.
وو و همکارانش به دنبال نقطه ای شیرین بین این دو رویکرد بودند.
برای روش خود، زیر مجموعه ای از وظایف را انتخاب می کنند و برای هر کار به طور مستقل یک الگوریتم را آموزش می دهند. مهمتر از همه، آنها به طور استراتژیک وظایف فردی را انتخاب می کنند که به احتمال زیاد عملکرد کلی الگوریتم را در همه وظایف بهبود می بخشد.
آنها از یک ترفند رایج در زمینه یادگیری تقویتی به نام آموزش انتقال شات صفر استفاده می کنند، که در آن یک مدل از قبل آموزش دیده بدون آموزش بیشتر برای یک کار جدید اعمال می شود. با یادگیری انتقالی، مدل اغلب در تکلیف همسایه جدید به خوبی عمل می کند.
وو می‌گوید: «ما می‌دانیم که تمرین در همه وظایف ایده‌آل خواهد بود، اما به این فکر کردیم که آیا می‌توانیم با تمرین در زیرمجموعه‌ای از آن کارها کنار بیاییم، نتیجه را برای همه کارها اعمال کنیم و همچنان شاهد افزایش عملکرد باشیم.
محققان برای شناسایی وظایفی که باید برای به حداکثر رساندن عملکرد مورد انتظار انتخاب کنند، الگوریتمی به نام یادگیری انتقال مبتنی بر مدل (MBTL) ایجاد کردند.
الگوریتم MBTL دارای دو بخش است. ابتدا، مدل سازی می کند که هر الگوریتم اگر به طور مستقل روی یک کار آموزش داده شود چقدر خوب عمل می کند. سپس مدل‌سازی می‌کند که عملکرد هر الگوریتم در صورت انتقال به هر کار دیگری چقدر کاهش می‌یابد، مفهومی که به عنوان تعمیم عملکرد شناخته می‌شود.
مدل سازی صریح عملکرد تعمیم به MBTL اجازه می دهد تا ارزش یادگیری یک کار جدید را ارزیابی کند.
MBTL این کار را به‌طور متوالی انجام می‌دهد و ابتدا وظیفه‌ای را انتخاب می‌کند که بیشترین افزایش عملکرد را ایجاد می‌کند، سپس کارهای اضافی را انتخاب می‌کند که بزرگترین پیشرفت‌های نهایی بعدی را در عملکرد کلی ایجاد می‌کند.
از آنجایی که MBTL تنها بر روی امیدوار کننده ترین وظایف تمرکز می کند، می تواند به طور چشمگیری اثربخشی فرآیند یادگیری را بهبود بخشد.
کاهش هزینه های آموزشی
هنگامی که محققان این تکنیک را بر روی کارهای شبیه سازی شده، از جمله کنترل علائم ترافیکی، مدیریت توصیه های سرعت در زمان واقعی و انجام چندین کار کنترل کلاسیک آزمایش کردند، پنج تا 50 برابر کارآمدتر از روش های دیگر بود.
این بدان معنی است که آنها می توانند با آموزش داده های بسیار کمتر به همان تصمیم برسند. به عنوان مثال، با افزایش 50 برابری کارایی، الگوریتم MBTL می تواند تنها روی دو کار تمرین کند و عملکردی مشابه با روش استانداردی که از داده های 100 کار استفاده می کند، به دست آورد.
وو می‌گوید: «از نظر دو رویکرد اصلی، این بدان معناست که داده‌های 98 کار دیگر مورد نیاز نبودند، یا اینکه آموزش در همه 100 کار برای الگوریتم گیج‌کننده بود، بنابراین عملکرد بدتر از ما بود.
با MBTL، اضافه کردن حتی کمی زمان تمرین اضافی می تواند عملکرد بسیار بهتری داشته باشد.
در آینده، محققان قصد دارند الگوریتم‌های MBTL را طراحی کنند که می‌تواند به مسائل پیچیده‌تر مانند فضاهای کاری با ابعاد بالا تعمیم یابد. آنها همچنین علاقه مند به اعمال رویکرد خود برای مشکلات دنیای واقعی، به ویژه در سیستم های حرکتی نسل بعدی هستند.
این تحقیق تا حدی توسط جایزه شغلی بنیاد ملی علوم، برنامه بورسیه دکتری بنیاد آموزشی Kwanjeong و بورسیه دکتری رباتیک آمازون تامین شد.
