Az Egyesült Államokban, Baltimore megye Kenwood High School középiskolája mellett történt az incidens, amely jól mutatja, mennyire kiszámíthatatlan következményei lehetnek a fegyverfelismerő algoritmusok hibáinak. A 16 éves Taki Allen barátaival töltötte az időt egy fociedzés után, amikor több rendőrautó szirénázva érkezett a helyszínre. A járőrök fegyvert szegeztek a tinédzserre, felszólították, hogy feküdjön a földre, majd megbilincselték és átkutatták.
Néhány perccel később kiderült, hogy Allen semmilyen fegyvert nem tartott magánál - csupán egy zacskó Doritos chipset. A fiú elmondása szerint a rendőrök később megmutatták neki a biztonsági kamera felvételét, amelyen az Omnilert nevű mesterséges intelligencia "fegyvert" jelzett, ám a képen egyértelműen látható volt, hogy egy chipses zacskó villan fel.
Az Omnilert rendszert tavaly vezették be a Baltimore környéki iskolákban azzal a céllal, hogy automatikusan felismerje a biztonsági felvételeken látható lőfegyvereket, és azonnal riasztást küldjön a rendőrségnek. A cég elismerte a tévedést, ugyanakkor hozzátette, hogy a szoftver "pont úgy működött, ahogyan tervezték" - azaz az algoritmus észlelt egy gyanús tárgyat, amit az emberi operátorok azonnal komolyan vettek.
A Baltimore megyei iskolák vezetése a szülők felé is azt kommunikálta, hogy a rendszer "megfelelően működött", és nem történt hibás protokoll. A 16 éves diák viszont az eset óta fél visszatérni az iskolába, és a családja szerint nehezen dolgozza fel, hogy egy algoritmus tévedése miatt kis híján tragédia történt.
