Nagyon diplomatikusan fogalmazok, amikor azt írom, hogy nem minden esetben érdemes vakon megbízni a mesterséges intelligenciában, sem abban a techmilliárdosban, aki a kezedbe adná, és közben a szemedbe hazudja, hogy ezt mind érted csinálja.. Ezt az igazságot nemrég egy 67 éves, Wu vezetéknevű kínai gazda is megtapasztalta, méghozzá elég költséges módon. A CTWANT beszámolója szerint a férfi körülbelül egy éve használt egy meg nem nevezett MI-alapú alkalmazást, amely kezdetben több alkalommal is hasznos tanácsokkal látta el. Idővel ezért egyre jobban megbízott benne, majd akkor is az algoritmushoz fordult, amikor a legutóbbi szezámültetvényét szerette volna megvédeni a gyomoktól és a kártevőktől.
Wu arra kérte az AI-t, hogy állítson össze számára egy kezelési tervet. Az alkalmazás különböző vegyszerek keverékét javasolta, a gazda pedig megfogadta a tanácsot, és a készítményt nagyjából 10 hektárnyi területen permetezte szét. A következő napra azonban kiderült, hogy valami nagyon félrement. A kezelés ugyan elpusztította a nem kívánt növényeket, de velük együtt a szezám palántái is gyorsan kimúltak. Wu később úgy fogalmazott, hogy a permetezést követően már másnap látható volt a baj, nemcsak a gaz pusztult el, hanem a szezám is, ráadásul a kultúrnövények még gyorsabban tönkrementek.
A gazda ezután természetesen ismét az AI-hoz fordult, hogy megtudja, mi okozhatta a problémát. Az alkalmazás ekkor állítólag arra jutott, hogy a korábban általa ajánlott egyik gyomirtó, a "flusulfasulfaether" lehetett a felelős a károkért. Mondanom sem kell, hogy az utóbbi nem is létezik, a chatbot hallucinációja volt csupán.
A történtek után mezőgazdasági szakértők is megvizsgálták a helyzetet, és magyarázatot adtak arra, miért végződött ilyen katasztrofálisan a kezelés. A szóban forgó vegyszer elsősorban a kétszikű gyomok irtására használatos szójaföldeken, a szezám pedig ugyanebbe a kategóriába tartozik, ezért maga a termesztett növény is érzékeny rá. Ráadásul a készítményt nem lett volna szabad a teljes földterületre kiszórni, hanem csak meghatározott területeken, célzottan lett volna indokolt alkalmazni.
A gazda elmondása szerint az AI nem figyelmeztette külön arra, milyen súlyos következményei lehetnek a javasolt kezelésnek. Az alkalmazás felületén ugyanakkor szerepelt egy általános figyelmeztetés, amely szerint az MI által generált információk hibásak lehetnek, ezért azokat ellenőrizni kell.
Ironikus, hogy Wu eleinte maga sem bízott igazán a technológiában. Amikor körülbelül egy évvel korábban elkezdte használni az alkalmazást, még szkeptikus volt az algoritmus válaszaival kapcsolatban. Ahogy azonban egyre több alkalommal kapott számára hasznosnak bizonyuló tanácsokat, fokozatosan nőtt a bizalma. Végül éppen ez a bizalom vezetett oda, hogy egyetlen hibás tanács után 10 hektárnyi termését veszítette el.
