A Cisco Talos kutatói egy nagyon furcsa szoftverviselkedésre figyeltek fel. Találtak egy ártalmas szoftvert, ami LLM-eket kérdezett a következő lépései kapcsán. A CLOSEDQUORUM nevű szoftver tulajdonképpen a DeepSeek, Qwen, Mistral és Gemini válaszainak és szavazatainak függvényében döntötte el, hogy mit kezdjen egy kompromittált rendszerrel. Itt már nem problémamegoldáshoz hasznosítja a kártékony csomag az algoritmusok adta eszközöket, hanem azok utasításait követi a támadás lefolytatásához.
A Talos kutatói tulajdonképpen találtak egy bombát, amihez ember nem is nyúlhat (egyszerűen nincs előre megépített módja egy emberi operátornak, hogy irányítsa a CLOSEDQUORUM-ot), és az csak úgy magától cselekszik. Egy önálló, és külső befolyásnak rendkívüli hatékonysággal ellenálló rendszerről beszélünk, amit eredetileg bejelentkezési adatok és kriptovaluták ellopására fejlesztettek.
A szerencsés része ennek a sztorinak, hogy a malware LLM-ekre való támaszkodása rengeteg nyomot hagyott maga után. A Talos egy nyílt forráskódú eszközt, a Cognitive Arifact Intelligence Research Networköt használva rálelt az olyan virtuális lábnyomokra, melyek AI használat során keletkeznek. Ezeket lekövetve figyeltek fel a CLOSEDQUORUM tevékenységére.
Az elmúlt években több olyan LLM hajtotta vírus is felbukkant, ami szükségszerűen módosította a kódját, vagy aminek eszköztárát mesterséges intelligenciával írták. Az új fenyegetésben az AI nem a csavarhúzó, hanem az ezermester: a CLOSEDQUORUM az AI válaszokat használja irányadóként a célpont eléréséhez.
"Kezdetben mindenki hatékonyságnövelő eszközként tekintett a mesterséges intelligenciára, ugye? Most azt látjuk, hogy a mindennapi műveletek szerves részévé válik. A támadók számára ez lehetővé teszi, hogy még több kampányt futtassanak, még több területet célozzanak meg, és egyre több, különféle gépet kezeljenek, mert a háttérben ott van egy rendkívül intelligens rendszer, amely képes kérdéseket feltenni és válaszokat adni."
- nyilatkozta Matt Olney, a Cisco Talos vezető veszélyelemzője. Kollégája, Ryan Fetterman a Talos biztonsági kutatója a Wirednek adott interjújában elmondta, hogy nagyjából 20 AI integrációval működő malware-t találtak, de egyelőre ezek mind kísérleti programok. Valódi célzott támadás még nem történt, de a veszély valós.
"Véleményem szerint ez az egész még nagyrészt kísérleti jellegű, viszont az összkép sokkal összetettebb és színesebb annál, mint ami a nyilvánosság elé került. Nagyon sok minden zajlik odakint, és ez egy korai jelzésként szolgál arra, hogy mi várható a jövőben."
