Egyre fontosabb vállalati feladatokat bízunk AI-ügynökökre, miközben érzékeny adatokhoz és kritikus rendszerekhez adunk nekik hozzáférést. Satya Nadella szerint ezért ideje újragondolni, hogyan tartjuk ellenőrzés alatt ezeket az eszközöket.
A Microsoft vezérigazgatója szerint a fejlett modelleket a vállalati rendszereken belül működő, potenciális kockázatot jelentő szereplőkként kell kezelni, mert egy széles jogosultságokkal rendelkező rendszer hibázhat vagy támadás áldozatává válhat, a következmények pedig messze túlmutathatnak egy pontatlan chatbotos válaszon.
Nagyon is valós veszély ez, arra nyilván mindenki emlékszik, amikor egy AI-ügynök kilenc másodperc alatt törölt egy éles adatbázist és annak biztonsági mentéseit.
Nadella nem ellenzi, hogy a modellek egymás válaszait vizsgálják és hibákat keressenek egymás működésében, de ez nem elég, ugyanis ez azt eredményezheti, hogy egy átláthatatlan modellt felügyelő másik átláthatatlan modellhez jutunk, miközben a feladatokat szervező szoftver működésére sincs igazából rálátásunk.
A modell által leírt gondolatmenet sem garantál valójában semmit, mert attól, hogy az AI magyarázatot ad a válaszához, még nem biztos, hogy az hűen tükrözi a működését.
Ezért a hozzáférési szabályokat és a megengedett műveletek körét olyan külső mechanizmusoknak kell meghatározniuk, amelyeket maga a modell nem tud megkerülni vagy átírni.
Nadella szerint eleve úgy kell felépíteni a környezetet, hogy akkor is megfékezhető legyen a rendszer, ha kompromittálódik. Egy jogosult embernek feladatvégzés közben is képesnek kell lennie megállítani, tehát valami olyasmi van a fejében, mint az Nvidia külön hardveres felügyeletet is alkalmazó biztonsági platformja.
https://t.co/MjwFy73LOF
Nadella szerint minden érdemi műveletről manipuláció ellen védett, ember számára olvasható nyomnak kell maradnia, szóval ugyanaz a modell nem ellenőrizheti egyszerre a rendszer működését és az annak megítéléséhez szükséges bizonyítékokat.
Ezek mind nagyon szép gondolatok, de amíg nincs egy egyezmény az AI cégek között és független szerv, ami ellenőrzi a működésüket, addig ez egy bizalomgerjesztő X-poszt marad, aminek semmilyen következménye sincs. Mármint a jó PR-on kívül.
