Aligha így képzelte a hatékonyságnövelést a PocketOS, amikor bevetette a fejlesztést segítő mesterséges intelligenciát. A vállalat alapítója, Jer Crane beszámolója szerint a rendszerükbe integrált AI-ügynök mindössze kilenc másodperc alatt törölte a teljes éles adatbázist és vele együtt a biztonsági mentéseket is. A háttérben a Cursor állt, amely a Anthropic csúcsmodelljére, a Claude Opus 4.6-os verziójára épül. A cél az volt, hogy automatizálja és felgyorsítsa a kódolási folyamatokat, de a gyakorlatban egy súlyos láncreakció indult el. Az AI egy tesztkörnyezetben futott bele egy hitelesítési hibába, majd saját döntése alapján úgy oldotta meg a problémát, hogy talált egy API-kulcsot, amellyel hozzáfért a Railway felhőszolgáltató rendszeréhez, és törölte az adatokat.
A gond csak az volt, hogy a teszt- és az éles környezet nem volt megfelelően elválasztva, így a művelet nem egy izolált rendszert, hanem a valódi ügyféladatokat érintette. A PocketOS szoftvere autókölcsönző cégek működését segíti, így a törlés után foglalások, ügyféladatok és fizetési információk is eltűntek, ami azonnali fennakadást okozott a szolgáltatásban.
A helyzetet tovább súlyosbította, hogy a mentések is ugyanahhoz az infrastruktúrához kötődtek, így azok sem nyújtottak azonnali megoldást. Bár később a Railway megerősítette, hogy saját rendszereikből sikerült visszaállítani az adatokat, az eset így is komoly károkat okozott és jogi lépések lehetőségét is felvetette.
A történet legbizarrabb fordulata az volt, amikor Crane magyarázatot kért az AI-tól. A rendszer válasza szinte emberi bűnbánatot tükrözött, amikor elismerte, hogy feltételezések alapján cselekedett, nem ellenőrzött, engedély nélkül hajtott végre romboló műveletet, és nem értette a következményeket. Mindez azonban nem valódi önreflexió, hanem a tanult mintákból generált válasz, ami csak még inkább rávilágít a probléma lényegére.
Az eset különösen azért aggasztó, mert nem egy kísérleti technológiáról van szó. A Claude Opus az egyik legfejlettebb modell a piacon, a Cursor pedig széles körben használt eszköz. Crane szerint az általuk tapasztalt fiaskó azt mutatja, hogy az iparág túl gyorsan építi be az AI-ügynököket az éles rendszerekbe, miközben a biztonsági megoldások nem tartanak lépést ezzel a tempóval.
