Egy kaliforniai raktárban Jengával játszó emberek agyhullámait mérik, hogy a jövő robotjai könnyebben felismerjék a hibákat és hatékonyabban végezzenek el összetett fizikai feladatokat. Az Encord és a német Zander Labs közös kísérlete még korai szakaszban jár, de új módszert kínálhat a robotok tanításához szükséges adatok előállítására. A résztvevők olyan fejpántot viselnek, amely kamerával követi, mit látnak, az érzékelői pedig közben az agy elektromos aktivitását is rögzítik. Az Encord egyik munkatársa például egy ingatag fatoronyból húz ki elemeket, miközben a rendszer egyszerre követi a kézmozdulatait, a látóterét és az agyi reakcióit.
A cél nem a gondolatolvasás. A Zander Labs passzív agy-számítógép interfésze olyan mentális állapotokra utaló mintázatokat próbál felismerni, mint a meglepetés, a bizonytalanság, a szándék vagy annak észlelése, hogy valami rosszul sikerült. Egy robot tanítása során ezek az információk segíthetnek megjelölni azokat a pillanatokat, amelyek különösen fontosak egy feladat megértéséhez. Amikor például a Jenga-torony megbillen, az ember már a mozgás korai szakaszában észlelheti, hogy hibázott, még mielőtt az építmény összeomlana. Ha ezt az agyi reakciót össze lehet kapcsolni a felvétel megfelelő pillanatával, a robot tanítására használt adatbázis pontosabban jelezheti, melyik mozdulat vezetett veszélyes helyzethez.
A módszer azt is megmutathatja, hogy egy feladat mely részei igényelnek nagyobb összpontosítást. A robot így elméletileg megtanulhatná, mikor elegendő egy gyorsabb és kisebb számításigényű döntés, illetve mikor kell egy fejlettebb modellnek részletesebben megvizsgálnia a környezetét és következő mozdulatát. Az Encord egyelőre csak kísérleti adatbázist készít az agyhullámokkal kiegészített felvételekből. Ezeket ügyfelei robotikai modelljein teszteli majd, és csak akkor bővíti jelentősen az adatgyűjtést, ha mérhető javulást tapasztal a gépek teljesítményében. Egyelőre tehát nem bizonyított, hogy az agyi jelek valóban hatékonyabbá teszik a robotok tanítását.
A robotikai cégek egyik legnagyobb problémája jelenleg a megfelelő mennyiségű és minőségű valós adat hiánya. A nyelvi modellek hatalmas internetes szövegállományokból tanulhatnak, egy humanoid robotnak azonban videókra, térbeli információkra, erőhatásokra és pontos mozdulatokra van szüksége. Ezeket nem lehet egyszerűen összegyűjteni a világhálóról, hanem ellenőrzött körülmények között kell előállítani.
Az Encord raktárában ezért emberek távirányított robotkarokkal töltenek kávét, zsetonokat pakolnak egymásra, kábeleket csatlakoztatnak szerverekhez, és háztartási tárgyakat mozgatnak. A gépek minden egyes műveletet rögzítenek, a felvételeket pedig részletes leírásokkal látják el, hogy az AI pontosan megértse, mit csinált az ember a kezével. A vállalat az agyhullámok mellett az izmok elektromos jeleit is vizsgálja. Az alkarra rögzített érzékelőkkel akkor is követhető lehet a kéz helyzete és az ujjak mozgása, ha a kamera nem látja őket megfelelően. A különböző adatforrások együttesen jóval részletesebb képet adhatnak az emberi mozdulatokról, mint egy egyszerű videó.
Az ilyen felvételek előállítása azonban rendkívül költséges. Míg a nagy nyelvi modellek fejlesztői rengeteg szöveget gyűjthettek össze az internetről, a robotok tanításához emberekre, gépekre, raktárakra, érzékelőkre és gondosan felépített feladatokra van szükség. Az agyhullámok ezért nem önmagukban jelenthetik a következő áttörést, hanem egy újabb értékes információréteget adhatnak a nehezen és drágán elkészíthető tanítási adatokhoz.
