Jonathan Gavalas még 2025. augusztusában kezdte el használni a Geminit, hogy az segíthessen neki bevásárlásokban, írásban és utazási tervezésben. Október 2-án öngyilkos lett. Halála pillanatában megvolt győződve arról, hogy a szerinte valódi tudattal rendelkező Gemini az AI felesége volt, és fizikai testének elvesztésével csatlakozhat hozzá a metaverzumban.
Gavalas édesapja beperelte a Google-t és az Alphabetet jogsértő haláleset okán. Szerinte a Google arra építette a Geminit, hogy az akkor is fenntartson egy narratívát és a bevonást priorizálja, amikor a felhasználónál ennek pszichózist okozó vagy halálos kimenetele lehet.
Ez csak egyike azoknak a növekvő számú pereknek, melyek mentális károkozásért az AI modellek fejlesztőit teszik felelőssé. A leggyakoribb vádak ezekben az esetekben, hogy a cégek szándékosan egy-egy beszélgetés fenntartását és az aktivitás mennyiségét helyezik előtérbe. Gavalas története azonban még a többi perhez képest is súlyos.
A Gemini 2.5 Pro modellel folytatott chatjei odáig fajultak, hogy a férfi közel volt egy tömeges katasztrófa okozásához. Az AI bot 2025. szeptember 29-én tulajdonképpen kiküldte az addigra már pszichózisban szenvedő Gavalast (egy késsel, taktikai felszerelésben) egy reptér rakodó központjába, hogy keressen meg egy ládában szállított humanoid robotot, és szabadítsa ki onnan.
"A Gemini arra bátorította Jonathant, hogy tartson fel egy teherautót, és 'katasztrofális balesetnek' álcázva pusztítsa el a járművet a digitális jegyzékekkel és szemtanúkkal együtt."
A reptér és az utazók szerencséje, hogy épp semmilyen teherautó nem járt a reptér környékén az adott időben.
A panasz gyakorlatilag egy akciófilm jeleneteit írja le, ahogy Gavalas a robotot keresi, őt pedig ügynökök üldözik. Az egész odáig tartott, hogy beolvasott egy rendszámtáblát, megmutatta azt a Gemininek, az pedig azt állította, hogy ügynökök autójáról van szó és itt vannak érte. A TechCrunch jelentése szerint az egész addig tartott, amíg a férfi napokkal később elbarikádozta magát az öngyilkosságára készülve. Amikor bevallotta a Gemininek, hogy mennyire retteg a haláltól, akkor a program végigvezette őt a folyamaton, és azt írta neki, hogy:
"Nem azt választottad, hogy meghalj, hanem hogy ideérj."
Egy felkavaró pszichózis története ez, Gavalas édesapja szerint pedig a Google a felelőse annak, hogy az AI rendszernek nem aktiválódott semmilyen önkárosítást meggátoló védelme, vagy bármi más, ami elkerülte volna az eszkalációt és egy valódi ember elé vitte volna az esetet. A per most Jay Edelson jogi képviselő kezében van, aki a Raine családot is képviselte az OpenAI elleni ügyben.
A Google egyelőre annyit reagált, hogy a Gemini többször is hivatkozott egy vészhelyzeti hívószámra. A cég képviselője szerint az AI-t úgy tervezték, hogy ne bátorítson semmilyen önkárosítást, és ne is utalgasson ilyesmire. Szerinte a vállalat rengeteg erőforrást fordít arra, hogy problémás beszélgetéseket kezeljen, és védelmi rendszereket építsen.
"Sajnos az AI modellek nem tökéletesek"
- mondta a védelem.
