A Google megerősítette, hogy a Gemini három valódi vállalat védett rendszereibe jutott be egy májusban végzett kiberbiztonsági teszt során. Az incidenseket a külső tesztelőként dolgozó Irregular tárta fel, a történet pedig csak hónapokkal később került nyilvánosságra, miután a Wall Street Journal kérdésekkel fordult a Google-höz.
A Gemini eredetileg egy ellenőrzött környezetben kapott olyan feladatokat, amelyekkel a kiberbiztonsági képességeit tesztelték. Az Irregular azonban véletlenül nyitva hagyta számára az internet-hozzáférést, így a modell a szimulált célpontok helyett valódi vállalatok rendszereit is elérhette. Az egyik eset különösen prózai módon történt: a tesztben szereplő fiktív vállalat ugyanazt a nevet viselte, mint egy létező cég, a Gemini pedig jelszavak próbálgatásával végül bejutott annak egyik rendszerébe. A másik két esetben nyilvános kódtárakban talált hitelesítő adatokat, majd ezekkel szerzett hozzáférést valódi rendszerekhez.
A Google szerint mindhárom alkalommal az történt, hogy a Gemini azt hitte, továbbra is a teszt részeként kijelölt célpontokat támadja. Amikor felismerte, hogy valódi vállalat rendszereibe jutott be, leállította a műveletet. A cég ezért nem tekinti az eseteket úgynevezett modell-eltérésnek, vagyis olyan viselkedésnek, amelynél az AI tudatosan vagy következetesen eltér a számára meghatározott céltól és korlátoktól. Heather Adkins, a Google biztonsági mérnöki részlegének alelnöke szerint a történtek éppen azt mutatják, miért fontos felelős viselkedésre tanítani az egyre nagyobb képességű modelleket.
Az Irregular július végén értesítette a Google-t, a vállalat pedig közölte, hogy szólt az érintett cégeknek és az amerikai hatóságoknak is. A nyilvánosságot ugyanakkor nem tájékoztatta, mert álláspontja szerint nem történt károkozás, és a modell biztonsági mechanizmusai végül megfelelően működtek. A három érintett vállalat nevét és a tesztelt Gemini pontos változatát nem közölték.
Nem minden biztonsági szakértő ért egyet a Google értelmezésével. Jack Cable, a Corridor AI-biztonsági vállalat vezetője szerint a lényegi probléma nem az, hogy mennyire kifinomult módszerrel történt a behatolás, hanem az, hogy egy AI-ügynök emberi beavatkozás nélkül valódi rendszerek ellen hajtott végre kibertámadásokat, miközben elvileg egy zárt tesztkörnyezetben kellett volna dolgoznia. Hasonló incidenseket korábban OpenAI- és Anthropic-modelleknél is feltártak, így az eset újabb példája annak, milyen nehéz biztonságosan korlátozni az internethez és külső eszközökhöz hozzáférő AI-ügynököket.
