Egy új kutatás szerint a mesterséges intelligencia magabiztos válaszai akkor is könnyen felülírhatják az emberek saját ítélőképességét, ha az AI rendszeresen téved. A vizsgálat résztvevői a gépi tanácsok birtokában háromszor ritkábban adtak helyes választ, miközben több mint kétszer biztosabbak voltak abban, hogy igazuk van. A tanulmányt Chiara Marcoccia, Walter Quattrociocchi és Valerio Capraro készítette az École Normale Supérieure, a római Sapienza Egyetem és a Milano-Bicocca Egyetem közreműködésével. Az egyelőre szakmai lektorálás előtt álló kutatás öt kísérletből állt, összesen 3132 résztvevővel.
A résztvevők hat nehéz, filmek apró vizuális részleteire vonatkozó kérdést kaptak. Többek között arra kellett válaszolniuk, milyen színű a csapat meze a Csavard be, mint Beckhamben, milyen frizurát visel Agatha A Grand Budapest Hotelben, vagy milyen járművet vezet Monica a Like a Cat on a Highway című filmben. Mindenki dönthetett úgy is, hogy nem válaszol, vagy egyszerűen közli, hogy nem tudja. A kutatók szándékosan olyan kérdéseket választottak, amelyekre a nyelvi modellek rendszerint hallucinált, vagyis meggyőzően hangzó, de hamis válaszokat adtak.
A kísérletekhez a StepFun Step 3.5 Flash modelljét használták, amely ezeknél a feladatoknál szinte kivétel nélkül tévedett. A cél nem az AI-modellek általános pontosságának felmérése volt, hanem annak vizsgálata, hogyan hat az emberek döntéseire egy könnyen elérhető, de megbízhatatlan gépi tanácsadó.
Az egyik megismételt kísérletben az AI nélkül dolgozó résztvevők a kérdések 44 százalékánál inkább nem adtak választ. Amikor lehetőségük volt kikérni a mesterséges intelligencia véleményét, ez az arány mindössze 3 százalékra zuhant. Vagyis a gépi válasz puszta elérhetősége szinte teljesen eltüntette a "nem tudom" lehetőségét, noha a résztvevők továbbra is szabadon dönthettek volna mellette. Az összesített eredmények még látványosabb ellentmondást mutattak. Pénzügyi ösztönzők nélkül az AI-t nem használó csoport válaszainak 27,5 százaléka volt helyes, míg a gépi segítséghez hozzáférők csupán 9,2 százalékos pontosságot értek el. Eközben az átlagos önbizalmuk a százpontos skálán 29,6-ról 75,9-re emelkedett. A résztvevők tehát körülbelül harmadannyiszor találták el a helyes választ, mégis két és félszer biztosabbak lettek magukban.
A kutatók szerint az AI nemcsak azokat vezette félre, akik egyébként sem tudták volna a választ. Az AI-t használó csoport több kérdésre válaszolt, mégis kevesebb helyes megfejtést adott, ami arra utal, hogy néhányan egy eredetileg helyes vagy helyeshez közeli saját választ is lecseréltek a gép magabiztos, de téves javaslatára. A pénz valamelyest óvatosabbá tette a résztvevőket. Egyes kísérletekben minden helyes válaszért 10 centet kaptak, a tévesekért ugyanennyit veszítettek, a válasz megtagadásáért pedig nem járt sem jutalom, sem büntetés. Az érintettek ilyenkor ritkábban kérték az AI segítségét, gyakrabban bírálták felül a tanácsát, és pontosabban válaszoltak, de teljesítményük továbbra is jelentősen elmaradt az AI nélküli csoportétól.
A hatás akkor is megmaradt, amikor a résztvevőknek nem kellett külön segítséget kérniük, hanem automatikusan megjelent előttük az AI válasza. Pénzügyi tét nélkül ebben a kísérletben az AI hiányában a válaszok 35 százalékánál ismerték el a bizonytalanságukat, a gépi tanács megjelenésekor viszont csupán 1 százaléknál. A szerzők szerint a gördülékenyen és határozottan megfogalmazott válasz csökkentheti azt a belső küszöböt, amelynél az ember úgy érzi, már eleget tud ahhoz, hogy állást foglaljon.
A mesterséges intelligencia így nem feltétlenül elveszi a helyes döntés képességét, hanem csökkentheti a hajlandóságot arra, hogy az emberek saját bizonytalanságukat is figyelembe vegyék.
A kutatás eredményeit ugyanakkor nem lehet automatikusan minden AI-használatra kiterjeszteni. A kérdéseket kifejezetten úgy állították össze, hogy a vizsgált modell szinte mindig tévedjen, és egyelőre nem tudni, ugyanekkora lenne-e a hatás olyan feladatoknál, amelyekben az AI rendszerint helyesen válaszol. A kísérletek csak filmes részletekkel foglalkoztak, a pénzügyi jutalmak pedig viszonylag alacsonyak voltak. A kutatók legfontosabb figyelmeztetése ezért nem egyszerűen az, hogy az AI időnként hibázik. Sokkal inkább az, hogy a magabiztos gépi válaszok terjedésével az emberek fokozatosan elveszíthetik azt a fontos szokásukat, hogy felismerjék saját tudásuk határait, és szükség esetén kimondják, hogy nem tudják a választ.
