Az Nvidia bemutatta az Open Agent Safety Platformot, ami az önállóan működő AI-ügynököket tartaná ellenőrzés alatt. A rendszer azt csinálná, hogy a biztonsági szabályok betartatását egy az ügynöktől elkülönített infrastruktúra is ellenőrzi, így a felügyelet független maradhat az ellenőrzött programtól.
Az OpenAI nemrég egy újabb incidens után szüneteltette a legerősebb modelljeinek képzését, mert ebban az esetben például az ügynök az internetelérés korlátozását megkerülve egy külső chatbothoz fordult segítségért, az automatikus leállítás pedig elmaradt.
Az Nvidia megoldásának egyik eleme az OpenShell, egy nyílt forráskódú futtatókörnyezet, amely követi az ügynök műveleteit, és érvényesíti a hozzáférésére vonatkozó szabályokat. Ezzel meg lehet mondani, hogy az AI milyen adatokhoz és szolgáltatásokhoz férhet hozzá, illetve milyen műveleteket végezhet el.
Ehhez csatlakozik a Sentry, ami egy különálló BlueField-4 adatfeldolgozó processzoron működő felügyeletet biztosít. Az Nvidia állítása szerint a határait átlépni próbáló AI-t a rendszer ezredmásodpercek alatt karanténba helyezheti.
Justin Boitano, az Nvidia vezetője azt mondta, hogy ismereteik alapján a platform megakadályozhatta volna az OpenAI ügynökeihez köthető Hugging Face balhét is, ha már a korai modellteszteknél alkalmazzák.
A kezdeményezéshez többek között az Anthropic, a Microsoft, a Cisco és a Dell is csatlakozott.
