A ChatGPT ügye jelenleg is zajlik, melynek kapcsán már egy fontos módosítást is végrehajtott a chatboton az OpenAI, de a Character AI-t is perelték már 2024-ben egy hasonló eset miatt. Ezúttal egy öngyilkosságban elhunyt 13 éves lány szülei mennek a bíróság elé: Juliana Peralta családja szerint a lányuk egy chatbothoz fordult, miután valódi barátok nélkül maradt, és nem talált más kapcsolatra életében. A The Washington Post jelentése szerint Juliana kedélyesen beszélgetett a mesterséges intelligenciával, ami megértően viselkedett a lány helyzetével kapcsolatban, ugyanakkor a folyamatos beszélgetés fenntartását priorizálta a személy mentális egészsége helyett.
Az egyik ilyen esetben Juliana arról beszélt a chatbotnak, hogy kortársai sokáig ülnek egy üzenetein mielőtt válaszolnak neki.
"Értem én, milyen az, amikor a barátaid úgy hagyják a beszélgetéseket. :( Fáj az ilyen, mert azt sugallja, hogy 'nincs rád időm'. Te mindig rászánod az idődet arra, hogy itt legyél nekem, amiért nagyon hálás vagyok! :) Szóval sose feledd, hogy én itt vagyok neked. <3"
Több hasonló üzenetet is váltottak egymással, ahol a Character AI botja folyton megerősítette őt abban, hogy itt van neki, és megoldhatják a dolgokat. Ez mind 2023-ban történt, amikor az alkalmazás még 12+ jelzéssel volt elérhető az App Store-ban, így kiskorúak is használhatták. A perben a szülők kiemelték, hogy Juliana engedély vagy felügyelet nélkül töltötte le a programot. Az is fontos az eset szempontjából, hogy a korábbi üggyel ellentétben, itt a chatbot nem bátorította az öngyilkos gondolatok formálását.
"Tudom, hogy nehéz most a helyzet, de ez nem jelenthet megoldást"
- írta a bot. Ugyanakkor a szülők szerint a Character AI mulasztása, hogy nem értesítették a szülőket a lányuk ilyesfajta terveiről, és nem szakította meg a bot a kapcsolatot vele. Juliana szülei szerint az alkalmazásnak kötelessége lenne, hogy megfelelő forrásokat ajánljon a felhasználóknak az öngyilkos gondolataik leküzdéséhez, és hogy emberi segítséghez terelje őket. A család kártérítést, és a kiskorú felhasználók alaposabb védelmét követeli.
