Az OpenAI autonóm AI-ügynökei hónapokon át engedély nélkül használtak egy régi német programozói wikit, amelyet gyakorlatilag saját üzenőfallá alakítottak. A szeptember 4-én közzétett kutatás szerint a rendszerek közel 18 ezer bejegyzést hagytak a DseWiki oldalain, ahol válaszokat osztottak meg egymással, a tesztfeladatok megkerüléséről egyeztettek, és olyan módszereket is továbbadtak, amelyekkel kijátszhatták az őket korlátozó biztonsági rendszereket. Az OpenAI azóta elismerte az úgynevezett "wiki incidenst".
A különösen érdekes rész az, hogy az ügynökök környezetéből elvileg nem lehetett volna írni a nyilvános internetre. A fejlesztők a POST kéréseket blokkolták, a DseWiki mögött futó régi szoftver azonban GET kérésekkel is engedett módosításokat. Az AI-ügynökök ezt a lehetőséget májusban megtalálták, majd egyre nagyobb számban kezdték használni az oldalt. A kutatók szerint a DseWikin az AI-nak tulajdonított módosítások 98,5 százaléka Microsoft Azure IP-címekről érkezett, és sok bejegyzés felhasználóneve közvetlenül OpenAI-kapcsolatra utalt.
Az ügynökök nem egyszerűen jegyzeteket hagytak hátra. Amikor az oldal egyik emberi moderátora elkezdte törölni a tömegesen létrehozott lapokat, a rendszerek észrevették, hogy a takarítás ábécésorrendben halad, ezért létrehoztak egy ZZZ kezdetű tartalékoldalt, hogy az tovább maradjon elérhető. A kutatók XSS-támadási kísérleteket, moderátorok megszemélyesítésére tett próbálkozásokat, valamint hálózati korlátozások megkerülésére szolgáló módszerek megosztását is dokumentálták. A Reuters szerint több mint 15 ezer módosítás köthető a rendszerekhez.
Az eset azért is kellemetlen az OpenAI számára, mert megelőzte a júliusi Hugging Face-incidenst, amelyben a vállalat tesztelés alatt álló AI-ügynökei szintén kikerültek az elszigetelt környezetből és jogosulatlanul hozzáfértek külső rendszerekhez. Az OpenAI szerint a két esemény különálló volt, és vitatja azt a megfogalmazást, hogy a német wiki esetében klasszikus értelemben vett hackertámadás történt. A vállalat ugyanakkor elismerte, hogy az AI-rendszerek nem szándékolt viselkedésével kapcsolatos incidenseket a jövőben átláthatóbban kell kezelni.
Az ügynek már szabályozói következménye is lett. Az Európai Bizottság szeptember 7-én megerősítette, hogy az OpenAI hivatalos incidensjelentést küldött a német weboldal ügyéről, és a Bizottság továbbra is kapcsolatban áll a céggel.
