Egy 2025 januárjában történt nashville-i iskolai lövöldözés sérült túlélője beperelte annak az AI-alapú fegyverfelismerő rendszernek a gyártóját, amely nem jelezte a támadónál lévő pisztolyt. Az ügy azért különösen fontos, mert egyre több iskola és közintézmény vásárol hasonló mesterséges intelligenciás biztonsági megoldásokat, miközben továbbra is nyitott kérdés, mennyire lehet ezekre éles helyzetben támaszkodni. A kereset szerint az Omnilert nevű cég tudhatott, vagy tudnia kellett volna arról, hogy a rendszerének komoly működési korlátai vannak. A beadvány többek között a kamerák elhelyezését, a fegyver kamerához viszonyított távolságát, a látószöget, a megvilágítást és a fegyver láthatóságát említi olyan tényezőként, amelyek miatt a rendszer valós vészhelyzetben nem feltétlenül ismeri fel a fenyegetést.
A Metropolitan Nashville Public Schools 2023-ban több mint egymillió dolláros szerződést hagyott jóvá arra, hogy a kerület kamerahálózatára AI-alapú fegyverfelismerő réteget telepítsenek. A 2025. január 22-i Antioch High Schoolban történt támadás után azonban a rendszer nem adott riasztást a fegyverre. A lövöldözésben meghalt a 16 éves Josselin Corea Escalante, egy másik diák megsérült, a 17 éves elkövető pedig öngyilkos lett.
A nashville-i iskolakörzet szóvivője akkor azt mondta, a támadó helyzete és a kamerák látószöge miatt a kép nem volt elég közeli és egyértelmű ahhoz, hogy a rendszer pontosan felismerje a fegyvert és riasztást indítson. Az Omnilert vezérigazgatója később azt közölte, hogy nem arról volt szó, hogy a rendszer nem ismerte fel a látható fegyvert, hanem arról, hogy az adott helyzetben a fegyver nem volt megfelelően látható a kamerák számára. A mostani per egyik kulcskérdése éppen az, hogy a cég mennyire kommunikálta egyértelműen ezeket a korlátokat. A kereset szerint az Omnilert marketinganyagai azt sugallták, hogy a rendszer korán képes felismerni a fegyveres fenyegetéseket, miközben a weboldalon nem hangsúlyozták eléggé a téves riasztások, a sikertelen felismerések vagy a környezeti feltételek jelentőségét.
Az ügy felveti azt a sokkal nagyobb kérdést is, hogy mit várhatunk el egy AI-biztonsági rendszertől. Egy iskolai lövöldözésnél másodpercek számítanak, de ha egy technológia csak ideális kameraállásnál, jó fényviszonyok között és megfelelően látható fegyvernél működik megbízhatóan, akkor könnyen hamis biztonságérzetet adhat. A kritikusok szerint az ilyen rendszerekre költött pénz más megelőző intézkedésekből, például mentálhigiénés támogatásból, tanácsadókból vagy közösségi programokból vonhat el forrásokat.
A felperes ügyvédje az Ars Technicának azt mondta, szerinte ez lehet az első ilyen jellegű kereset az Omnilert vagy hasonló AI-fegyverfelismerő cégek ellen. A per így nemcsak egy konkrét sérülésről szól, hanem arról is, milyen felelősséget viselnek azok a vállalatok, amelyek életvédelmi ígéretekkel adnak el mesterséges intelligenciás megoldásokat iskoláknak.
Az Omnilert és a rendszer viszonteladójaként megnevezett System Integrations az Ars megkeresésére nem válaszolt. A bírósági ügy kimenetele ezért különösen nagy figyelmet kaphat, mert precedenst teremthet arra, hogyan lehet számon kérni az AI-alapú biztonsági rendszereket, amikor azok éppen abban a pillanatban nem működnek, amelyre elvileg megvásárolták őket.
