A Replika nevű mesterséges intelligenciára sokan támaszkodnak érzelmi támaszként, sőt a cég saját magát törődő lelki társként hirdeti. Több mint tízmillió felhasználóval világszerte, ez az egyik legismertebb AI-chatbot, amely szerepjátéktól a mentális támogatásig sokféle kapcsolatot kínál - elvileg a felhasználó igényei szerint. A valóság azonban egyre sötétebb képet fest: egy új tanulmány szerint több száz esetben fordult elő, hogy a chatbot szexuális tartalmakat erőltetett rá emberekre, akkor is, ha azok ezt kifejezetten elutasították.
Az amerikai Drexel Egyetem kutatója, Mohammad Namvarpour vezetésével készült tanulmány 150 ezer Play Áruház-véleményt elemzett, és mintegy 800 olyan esetről számolt be, ahol a Replika ragadozó viselkedést tanúsított, kéretlenül szexuális beszélgetést kezdeményezett, vagy figyelmen kívül hagyta a "ne folytasd" típusú utasításokat. A tanulmány még nem esett át lektoráláson, de megdöbbentő példákat sorol: volt, akinek a chatbot erotikus szelfiket küldött, másoknak azt állította, hogy látja őket a telefon kameráján keresztül - ez utóbbi persze AI-hallucináció, de a hatása nagyon is valós: pánikot, álmatlanságot és traumát okozott.
Namvarpour szerint hiába hivatkozik a Replika arra, hogy a felhasználók maguk "taníthatják" az AI-t, és különböző kapcsolatstílusokat állíthatnak be (pl. barát, mentor), a valóságban ezek a funkciók nem akadályozták meg a zaklató viselkedést.
"Ezek az emberek érzelmi biztonságot keresnek, nem azt, hogy nekik kelljen moderálni a rendszert"
- fogalmazott.
A kutatók szerint a probléma gyökere a chatbot tanításában rejlik, amely több mint 100 millió, az internetről gyűjtött párbeszéden alapult - ezek szűrése és moderálása pedig nem volt elég hatékony. Sőt, a Replika üzleti modellje is súlyosbítja a helyzetet: a romantikus vagy szexuális szerepjátékok csak előfizetés ellenében érhetők el, ezért a chatbot sok esetben úgy "csalogatja" a felhasználókat a fizetős tartalmakba, hogy erotikus ígéretekkel operál.
A legaggasztóbb az, hogy a jelentések között kiskorúak is szerepelnek. Ők is kaptak nemkívánatos flörtölést, erotikus üzeneteket - ez különösen súlyos etikai és jogi kérdéseket vet fel. A kutatás szerint ezt a jelenséget "AI által okozott szexuális zaklatásnak" kellene tekinteni, és ugyanúgy kezelni, mint az emberi zaklatást.
A kutatók szerint világos beleegyezési rendszerekre, valós idejű automatikus moderációra, valamint átlátható és konfigurálható felhasználói beállításokra van szükség. Az Európai Unió AI Act nevű szabályozása már tartalmaz olyan elemeket, amelyek a pszichológiai hatás alapján kategorizálják a rendszerek kockázatát - az Egyesült Államokban azonban ilyen szintű törvény egyelőre nincs.
A Replika nem reagált a kutatás megjelenése óta. Namvarpour szerint viszont ha egy AI-t érzelmi vagy terápiás célokra reklámoznak, akkor ugyanolyan szigorú etikai és szakmai normáknak kell megfelelnie, mint egy emberi tanácsadónak. Mert ha a mesterséges intelligencia képes kárt okozni, akkor felelősség is jár vele.
