A Columbia Engineering kutatói egy Emo nevű, emberi arcot utánzó robotot tanítottak meg beszéd és ének közbeni ajakszinkronra online videók elemzésével, bemutatva, hogy a gépek egyre összetettebb emberi viselkedésformákat képesek elsajátítani pusztán megfigyelés útján. Emo nem teljes humanoid robot, hanem egy rendkívül élethű, szilikonborítású robotarc, amelyet 26 külön vezérelhető arcmotor működtet. Ezek a motorok lehetővé teszik az ajkak, az állkapocs és az arc finom mozgását, így a rendszer 24 mássalhangzó és 16 magánhangzó pontos formálására képes, csökkentve az úgynevezett "uncanny valley" hatást, amikor egy robot majdnem emberinek tűnik, de mozgása mégis zavaró. De sikerült?
A tanulási folyamat több lépcsőben zajlott: először Emo "önmagát" tanulmányozta egy tükör segítségével, miközben különböző motorparancsokat adott ki, hogy megértse, miként változtatják ezek az arckifejezést. Ezt követően a kutatók egy olyan tanulási rendszert vezettek be, amely összekapcsolja a hangot a mozgással. A robot órákon át nézett YouTube-videókat beszélő és éneklő emberekről, miközben egy mesterséges intelligencia modell az audio és a látható ajakmozgás közötti kapcsolatot elemezte. A rendszer nem a nyelvre vagy a jelentésre koncentrált, hanem a beszéd nyers hangmintáira, amelyeket egy úgynevezett "facial action transformer" alakított át valós idejű motorvezérléssé.
Az eredmény az lett, hogy Emo nemcsak angolul, hanem korábban nem tanult nyelveken - például franciául, arabul és kínaiul - is képes ajakszinkronra, sőt az énekléssel is megbirkózik, amely különösen nehéz a megnyújtott magánhangzók és a ritmusváltások miatt. A kutatók szerint ez azért fontos, mert a jövő robotjainak természetes módon kell kommunikálniuk az emberekkel, ha együtt akarnak velük dolgozni. A fejlesztés időzítése sem véletlen: a CES 2026-on látványosan nőtt az érdeklődés az otthoni és munkahelyi robotok iránt, és a valósághű arcmimikával, mesterséges bőrrel és érzékeléssel kombinálva egyre inkább úgy tűnik, hogy a robotok nem csupán gépek, hanem a jövő lehetséges társai lesznek.
