دید کامپیوترها در دهه گذشته به لطف شاخص های بزرگی مانند ImageNet برای طبقه بندی تصاویر و یا COCO برای تشخیص اشیاء، که مجموعه داده ها و شاخص های گسترده ای برای ارزیابی مدل ها را ارائه می دهد، به میزان قابل توجهی افزایش پیدا کرده است.
با این وجود، این معیارهای قدیمی وظایف انفعالی را ارزیابی می کنند که فقط بر روی ادراک تاکید دارند.
این در حالی است که اخیرا تحقیقات بصری کامپیوتری وظایف فعالی را انجام می دهند که هم به درک و هم به اقدام احتیاج دارند ( و اغلب “هوش مصنوعی مجسم” نامیده می شوند).
در اولین کارگاه آموزشی هوش مصنوعی مجسم، که توسط گوگل در کنفرانس CVPR 2020 سازماندهی شده بود، چند چالش معیار برای کارهای فعال از جمله چالش سازماندهی شده ی Sim2Real گوگل و استنفورد با iGibson که یک تنظیم واقعی برای تست سیاست های جهت یابی آموزش داده شده در محیط های شبیه سازی عکس واقع گرایانه ارائه می دهد، مطرح شد.
راه اندازی منبع باز در چالش این امکان را به جامعه می دهد که سیاست های شبیه سازی را آموزش دهد.
این اموزش ها بعدا می توانند با ممکن ساختن “ارزیابی شکاف بین شبیه سازی و واقعیت(sim-to-real gap) “، در آزمایش های جستجو در دنیای واقعی اجرا شوند.
بسیاری از تیم های تحقیقاتی راه حل هایی را در جریان اپیدمی کرونا ارائه داده اند که توسط سازمان دهندگان چالش بر روی ربات های واقعی اجرا می شوند و نتایج این اقدامات در کارگاه آموزشی به طور مجازی ارائه می شود.
امسال استنفورد و گوگل قصد دارند نسخه جدیدی از چالش iGibson بر روی جستجوهای اجتماعی و تعامل را که یکی از ۱۰ چالش بصری فعال وابسته به دومین ورکشاپ هوش مصنوعی CVPR 2021 است، را معرفی کنند.
در ورکشاب هوش مصنوعی مجسم امسال که تنها توسط گوگل برگزار می شود، مواردی مانند شبیه سازی، انتقال شبیه سازی به واقعیت، جستجوی تصویری، نقشه برداری معنایی، شناسایی تغییرات، بازآرایی و بازسازی اشیا، جهت یابی شنیداری و دستورالعمل هایی برای جستجو و وظایف تعاملی بررسی می شود.
علاوه بر این، امسال چالش اجتماعی- تعاملی iGibson، جستجوی اجتماعی و جستجوی تعاملی را کشف می کند.
این جستجو نشان می دهد که ربات ها چگونه می توانند (با ترکیب شبیه ساز iGibson، دیتابیس اشیاء گوگل و عابران پیاده شبیه سازی شده در محیط های واقعی انسان) تعامل با افراد و اشیا در محیط پیرامونشان را یاد بگیرند.
چالش های جدید در جهت یابی
وظایف ادراک فعال چالش برانگیز می باشد زیرا برای پاسخ دادن علاوه بر درک، به اقدام نیز نیاز است.
به عنوان مثال، جهت یابی نقطه ای که شامل هدایت از طریق فضای نقشه برداری شده (مانند حرکت دادن ربات در ساختمان های بشردوستانه که از طریق تشخیص و اجتناب از موانع صورت می گیرد) می باشد.
به طور مشابه، هدایت اشیا شامل جستجو اشیاء در ساختمان ها می باشد که نیازمند نمایش های ثابت دامنه و رفتارهای جهت یابی اشیاء است.
علاوه بر این، جهت یابی دستوالعمل زبان بصری شامل هدایت در ساختمان ها بر اساس تصاویر و دستورات بصری در زبان طبیعی است.
این مشکلات در دنیای واقعی، جاییکه ربات ها باید بتوانند انواع تعاملات فیزیکی و اجتماعی که حل آن ها بسیار چالش برانگیزتر است را مدیریت کنند، دشوارتر نیز می شود.
در چالش iGibson امسال، گوگل بر روی تنظیمات زیر تمرکز کرده است:
- – جهت یابی تعاملی: در یک محیط بهم ریخته، عاملی که در حال حرکت به سمت یک هدف است، بایستی برای موفقیت به طور فیزیکی با اشیاء ارتباط برقرار کند.
- بعنوان مثال، یک ربات باید تشخیص دهد که یک کفش را می توان کنار زد اما نباید یک میز پاتختی یا مبل را حرکت داد.
- – جهت یابی اجتماعی: در محیط شلوغی که افراد در آن در حال حرکت هستند، عاملی که درحال حرکت به سمت یک هدف است، باید خیلی مودبانه و با ایجاد کم ترین مزاحمت از کنار آن ها عبور کند.
ویژگی های جدید دیتابیس iGibson 2021
برای آسان کردن تحقیق درباره تکنیک هایی که این چالش ها را مورد توجه قرار می دهند، دیتابیس چالش iGibson Challenge 2021، صحنه های تعاملی شبیه سازی شده را برای آموزش فراهم می کند.
این مجموعه داده شامل هشت صحنه کاملا تعاملی (برگرفته از آپارتمان های دنیای واقعی) و هفت صحنه دیگر برای کنترل تست و ارزیابی می باشد.
برای فعال کردن جهت یابی تعاملی، این صحنه ها را با اشیاء کوچکی که از دیتابیس اشیاء اسکن شده‌ی گوگل (Google Scanned Objects Dataset)، جمع آور شده، پر می کنند.
این دیتابیس گوگل یک مجموعه داده از اشیا ای است که معمولا در خانه‌ها پیدا می شود و بصورت ۳بعدی برای استفاده در شبیه سازی ربات و تحقیق بصیری کامپیوتری اسکن شده است.
همچنین، این مجموعه داده دارای مجوز Creative Commons است که به محققین اجازه می دهد از این داده ها در تحقیقاتشان استفاده کنند.
این چالش در پلتفرم منبع باز شبیه سازی iGibson استفورد، که یک شبیه ساز رباتیک تعاملی سریع با فیزیک مبتنی بر Bullet می باشد، اجرا شده است.
برای چالش امسال iGibson، با محیط های کاملا تعاملی و رفتارهای عابرپیاده بر اساس الگوریتم شبیه سازی جمعیت ORCA، گسترش یافته است.
