تصميم EMO وتعلمه وحركة الشفاه
طور طالب الدكتوراه في علم الروبوتات يوهانغ هو، بالتعاون مع البروفيسور هود ليبسون وفريق من جامعة كولومبيا، روبوت EMO، وهو رأس روبوتي مزود بـ 26 محركاً صغيراً أسفل جلد مرن من السيليكون.
تتضمن بنية EMO رأساً روبوتياً وتعمل المحركات بتوليفات مختلفة لإنتاج تعابير وجهية متعددة، بما في ذلك أشكال متنوعة لحركة الشفاه.
بدأ الباحثون بتدريب الروبوت عبر وضعه أمام مرآة ليشاهد نفسه وهو يؤدي آلاف التعابير الوجهية، ما مكنه من فهم العلاقة بين تنشيط المحركات والحركات الوجهية من خلال نموذج تعلم يُعرف من الرؤية إلى الفعل (VLA).
اعتمد الفريق نموذج تعلم من الرؤية إلى الفعل (VLA) ليُثبت ربط الروبوت بين تنشيط المحركات وحركات الفم المرتبطة بالأصوات المختلفة.
شاهد الروبوت ساعات طويلة من مقاطع فيديو لأشخاص يتحدثون ويغنون ليطور حركات الفم المرتبطة بالأصوات المختلفة.
تواجه التقنية صعوبات في نطق بعض الأصوات مثل الباء والواو، لكنها قد تتحسن مع مزيد من التدريب.
يُظهر دمج مزامنة حركة الشفاه مع أنظمة ذكاء اصطناعي تفاعلية مثل شات جي بي تي وجيمينا إمكانية تعزيز العلاقة بين الروبوت والإنسان، وجعل التعابير الوجهية أكثر دقة وحساسية لسياق المحادثة.
يتوقع الباحثون أن الأداء يتحسن مع مزيد من التدريب، وأن الدمج بين حركة الشفاه والأنظمة الذكاء الاصطناعي المتقدمة سيعزز التفاعل بين الإنسان والروبوت بشكل أكثر طبيعية.
