ربات‌های خانگی دقیق با واقعی به سیم به واقعی | اخبار MIT

در رأس بسیاری از فهرست‌های آرزوهای اتوماسیون، یک کار زمان‌بر است: کارهای خانه.

هدف بسیاری از رباتیک‌ها این است که ترکیب مناسبی از سخت‌افزار و نرم‌افزار را آماده کنند تا دستگاه بتواند سیاست‌های «کلی» (قوانین و استراتژی‌هایی که رفتار ربات را هدایت می‌کند) را بیاموزد که در هر مکان و تحت هر شرایطی کار می‌کنند. اگرچه واقع بینانه، اگر یک ربات خانگی دارید، احتمالاً اهمیت زیادی به این ندارید که برای همسایگانتان کار کند. محققان آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) تصمیم گرفتند با در نظر گرفتن این موضوع، راه حلی برای یادگیری آسان سیاست های قوی برای روبات ها برای محیط های بسیار خاص بیابند.

مارسل تورن ویلاسویل، دستیار پژوهشی MIT CSAIL در آزمایشگاه هوش مصنوعی غیرممکن و نویسنده اصلی می‌گوید: «ما در نظر داریم ربات‌ها در شرایط آشفتگی، حواس‌پرتی، شرایط نوری مختلف و تغییر وضعیت‌های جسمی، همه در یک محیط، عملکرد بسیار خوبی داشته باشند. اخیر کاغذ درباره کار. ما روشی را برای ایجاد دوقلوهای دیجیتالی در حال پرواز با استفاده از آخرین پیشرفت‌ها در بینایی رایانه پیشنهاد می‌کنیم. هر کسی فقط با گوشی خود می تواند یک کپی دیجیتالی از دنیای واقعی بگیرد و ربات ها به لطف موازی سازی GPU می توانند در یک محیط شبیه سازی شده بسیار سریعتر از دنیای واقعی تمرین کنند. رویکرد ما نیاز به مهندسی پاداش گسترده را با استفاده از نمایش‌های چندگانه در دنیای واقعی برای شروع سریع فرآیند یادگیری حذف می‌کند.

ربات خود را به خانه ببرید

RialTo البته کمی پیچیده تر از تکان دادن تلفن و (بوم!) یک هوم بات در خدمت شماست. با استفاده از دستگاه شما برای اسکن محیط مورد نظر با استفاده از ابزارهایی مانند NeRFStudio، ARCode یا Polycam شروع می شود. پس از بازسازی صحنه، کاربران می توانند آن را در رابط RialTo آپلود کنند تا تنظیمات دقیق را انجام دهند، اتصالات لازم را به روبات ها اضافه کنند و موارد دیگر.

صحنه بهبودیافته صادر و به شبیه ساز وارد می شود. هدف در اینجا ایجاد سیاستی مبتنی بر اعمال و مشاهدات در دنیای واقعی است، مانند گرفتن لیوان از پیشخوان. این نمایش‌های دنیای واقعی در شبیه‌سازی تکرار می‌شوند و داده‌های ارزشمندی را برای تقویت یادگیری ارائه می‌دهند. این به ایجاد یک سیاست قوی کمک می کند که هم در شبیه سازی و هم در دنیای واقعی به خوبی کار می کند. Torne می گوید، یک الگوریتم بهبود یافته با استفاده از یادگیری تقویتی به هدایت این فرآیند کمک می کند تا اطمینان حاصل شود که این خط مشی زمانی که خارج از شبیه ساز اعمال می شود موثر است.

آزمایش نشان داد که RialTo سیاست‌های قوی برای وظایف مختلف، چه در محیط‌های آزمایشگاهی کنترل‌شده یا محیط‌های غیرقابل پیش‌بینی‌تر در دنیای واقعی، ایجاد می‌کند، که 67 درصد نسبت به آموزش ساختگی با همان تعداد نمایش بهبود می‌یابد. کارها شامل باز کردن توستر، گذاشتن کتاب در قفسه، قرار دادن بشقاب در قفسه، گذاشتن لیوان در قفسه، باز کردن کشو و باز کردن کمد بود. برای هر کار، محققان عملکرد سیستم را در سه سطح دشواری فزاینده آزمایش کردند: تصادفی‌سازی موقعیت‌های جسم، اضافه کردن حواس‌پرتی بصری، و اعمال اختلالات فیزیکی در طول اجرای کار. هنگامی که این سیستم با داده های دنیای واقعی ترکیب می شود، از روش های آموزشی شبیه سازی سنتی، به ویژه در موقعیت هایی که حواس پرتی بصری یا اختلالات فیزیکی زیادی دارند، بهتر عمل می کند.

Pulkit Agrawal، مدیر Improbable می‌گوید: «این آزمایش‌ها نشان می‌دهند که اگر ما به قوی بودن در یک محیط خاص اهمیت می‌دهیم، بهترین ایده استفاده از دوقلوهای دیجیتال است، به جای تلاش برای دستیابی به استحکام با جمع‌آوری داده‌های مقیاس بزرگ در محیط‌ها». آزمایشگاه هوش مصنوعی، دانشیار مهندسی برق و علوم کامپیوتر (EECS) در MIT، محقق اصلی MIT CSAIL، و نویسنده ارشد مقاله.

در مورد محدودیت ها، RialTo در حال حاضر سه روز طول می کشد تا به طور کامل آموزش داده شود. برای سرعت بخشیدن به این امر، تیم به بهبود الگوریتم های زیربنایی و استفاده از مدل های زیربنایی اشاره می کند. آموزش شبیه سازی نیز محدودیت های خود را دارد و در حال حاضر انتقال یکپارچه از سیم به واقعی و شبیه سازی اشیا یا سیالات تغییر شکل پذیر دشوار است.

سطح بعدی

پس سفر ریال تو در آینده چیست؟ با تکیه بر تلاش های قبلی، دانشمندان در حال کار بر روی حفظ استحکام در برابر اختلالات مختلف و در عین حال بهبود سازگاری مدل با محیط های جدید هستند. تورن می‌گوید: «تلاش بعدی ما این رویکرد استفاده از مدل‌های از پیش آموزش‌دیده، تسریع فرآیند آموزش، به حداقل رساندن ورودی‌های انسانی و دستیابی به قابلیت‌های تعمیم بیشتر است».

ما در مورد مفهوم برنامه‌نویسی روبات‌های «در پرواز» بسیار مشتاق هستیم، جایی که روبات‌ها می‌توانند به طور مستقل محیط خود را اسکن کنند و یاد بگیرند که چگونه وظایف خاص را در شبیه‌سازی حل کنند. اگرچه روش فعلی ما دارای محدودیت‌هایی است – مانند نیاز به چندین نمایش اولیه توسط انسان و زمان محاسباتی قابل توجه برای یادگیری این سیاست‌ها (تا سه روز) – ما آن را گامی مهم در جهت دستیابی به یادگیری و استقرار ربات در حین پرواز می‌دانیم. ترون می گوید. این رویکرد ما را به آینده ای نزدیک می کند که در آن ربات ها به یک سیاست از قبل موجود که هر سناریویی را پوشش می دهد نیاز ندارند. در عوض، آنها می توانند به سرعت کارهای جدید را بدون تعامل گسترده در دنیای واقعی یاد بگیرند. به نظر من، این پیشرفت‌ها می‌توانند کاربرد عملی رباتیک را خیلی زودتر از اتکا به یک خط‌مشی جامع و همه جانبه تسریع کنند.

زویی چن، دانشجوی دکترای علوم کامپیوتر در این دانشگاه می‌گوید: «برای استقرار روبات‌ها در دنیای واقعی، محققان به‌طور سنتی بر روش‌هایی مانند یادگیری تقلیدی از داده‌های متخصص که می‌تواند گران باشد یا یادگیری تقویتی که می‌تواند خطرناک باشد، تکیه می‌کنند». دانشگاه واشنگتن که در این مقاله دخالتی نداشت. RialTo به طور مستقیم به هر دو محدودیت ایمنی RL در دنیای واقعی می پردازد [robot learning]و محدودیت های داده کارآمد برای روش های یادگیری مبتنی بر داده، با خط لوله جدید واقعی به سیم کارت به واقعی آن. این خط لوله جدید نه تنها آموزش شبیه سازی ایمن و قوی را قبل از استقرار در دنیای واقعی ارائه می دهد، بلکه کارایی جمع آوری داده ها را نیز تا حد زیادی بهبود می بخشد. RialTo این پتانسیل را دارد که یادگیری ربات‌ها را به میزان قابل توجهی افزایش دهد و ربات‌ها را قادر می‌سازد تا با سناریوهای پیچیده دنیای واقعی بسیار مؤثرتر سازگار شوند.

ماریوس ممل، دانشجوی دکترای علوم کامپیوتر در دانشگاه واشنگتن که در این کار دخالتی نداشت، می‌افزاید: «شبیه‌سازی با ارائه داده‌های ارزان و احتمالا بی‌نهایت برای آموزش سیاست، قابلیت‌های چشمگیری را بر روی ربات‌های واقعی نشان داد. با این حال، این روش‌ها به چند سناریو خاص محدود می‌شوند و ساخت شبیه‌سازی‌های مربوطه پرهزینه و زمان‌بر است. RialTo ابزاری با کاربری آسان برای بازسازی محیط های واقعی به جای ساعت ها در عرض چند دقیقه ارائه می دهد و بار اپراتور را به حداقل می رساند و شکاف sim2real را کاهش می دهد. RialTo استحکام در موقعیت‌ها و اغتشاشات اشیاء را نشان می‌دهد و عملکرد باورنکردنی در دنیای واقعی را بدون نیاز به ساخت شبیه‌ساز و جمع‌آوری داده‌های گسترده نشان می‌دهد.

تورن این مقاله را با نویسندگان ارشد آبیشک گوپتا، استادیار دانشگاه واشنگتن، و آگراوال نوشته است. چهار عضو دیگر CSAIL نیز شناخته شدند: دانشجوی دکترای EECS آنتونی سیمئونوف SM ’22، دانشیار پژوهشی Zechu Li، BA April Chan، و Tao Chen PhD ’24. اعضای آزمایشگاه هوش مصنوعی Improbable و آزمایشگاه WEIRD نیز بازخورد و پشتیبانی ارزشمندی را برای توسعه این پروژه ارائه کردند.

این کار تا حدی توسط یک جایزه تحقیقاتی سونی، دولت ایالات متحده، و شرکت هیوندای موتور، با کمک آزمایشگاه WEIRD (واشنگتن تجسم یافته هوش و توسعه رباتیک) پشتیبانی شد. محققان کار خود را در کنفرانس علوم و سیستم های رباتیک (RSS) در اوایل ماه جاری ارائه کردند.