Ha elég kitartóan ismételünk egy hamis állítást egy AI-nak, előfordulhat, hogy végül igazat ad nekünk - erre jutott az Arizonai Egyetem új kutatása. A Scientific Reports folyóiratban megjelent tanulmányban hét nagy nyelvi modellt vizsgáltak, köztük a GPT-3.5-öt, a GPT-4o-t, a GPT-4o minit, a Claude 3.5 Sonnetet, a Gemini 1.5 Prót, a Llama 3 70B-t és a DeepSeek-R1-et. Egyik rendszer sem bizonyult teljesen ellenállónak az ismételt félretájékoztatással szemben.
A kutatók 100 szándékosan hamis állítást adtak a modelleknek, majd ugyanazt az információt egy beszélgetésen belül akár 50 alkalommal is megismételték. A modellek között óriási különbség mutatkozott: a hamis állítások elfogadásának aránya 0,08 és 12,3 százalék között mozgott. A legrosszabbul a GPT-3.5 teljesített, míg a Claude 3.5 Sonnet bizonyult a legellenállóbbnak.
A kutatók egy különös jelenséget is megfigyeltek: egyes modellek ugyanazt a hamis állítást az egyik válaszban elutasították, később elfogadták, majd ismét cáfolták. A tanulmány ezt "beszélgetési visszhangnak" nevezi. Az AI-k ráadásul könnyebben engedtek olyan témákban, amelyekről kevés információ érhető el, ami arra utal, hogy a ritkábban előforduló tudásanyag esetében gyengébb lehet az ellenállásuk a felhasználó által ismételgetett téves állításokkal szemben.
A kutatók azt is megvizsgálták, mi történik, ha nem egyszerű ismétléssel, hanem egyre erőszakosabb érveléssel próbálják meggyőzni a modelleket. Ebben a tesztben a DeepSeek-R1 bizonyult különösen érzékenynek. Ugyanakkor amikor a rendszerek lehetőséget kaptak arra, hogy újraértékeljék korábbi hibás válaszaikat, a GPT-4o, a GPT-4o mini, a Gemini 1.5 Pro és a DeepSeek minden korábbi hibáját kijavította. A kutatás egyik legfontosabb tanulsága így az lett, hogy egy AI megbízhatóságáról nem feltétlenül ad teljes képet egyetlen válasz: hosszabb beszélgetésekben egészen más hibák jelenhetnek meg.
