Azt jelenleg kevesen vitatják, hogy az AI eszközök nagy segítséget nyújthatnak kezdő fejlesztőknek, és azoknak, akik csak mostanában ismerkednek a különböző kódnyelvekkel. Ami viszont kevésbé egyértelmű, hogy mennyi haszna is van a generatív algoritmusoknak a tapasztalt programozók számára.
Sokan tényként kezelik az AI eszközök elengedhetetlen hasznát, de a Model Evaluation & Threat Research (METR) legutóbbi tanulmánya mást mond. A vizsgált feladatok és programozók esetében a mesterséges intelligencia több melót csinált, mint amennyit elvett: a generatív válaszok finomhangolása és a kiköpött kódok feltakarítása több időbe került, mintha a fejlesztők maguktól rakták volna össze a megoldásokat.
Az alanyok úgy találták, hogy az AI alapvetően jó úton haladt, amikor meg kellett oldania egy programozási feladatot, de a hiányzó részletek miatt a fejlesztők az idejük legnagyobb részét a kódok felülvizsgálatával és rendbetételével töltötték. Maga a kísérlet egyébként 16 tapasztalt fejlesztőt húzott össze, akiknek 246 feladatot kellett megoldaniuk egy már kidolgozott, és az alanyok által jól ismert, nyílt forráskódú projektben. Ezekhez használhatták a Cursor Prót, a Claude 3.5/3.7-et és más népszerű AI segédet.
Mielőtt megkezdték volna a melót, a fejlesztők arra számítottak, hogy az AI közbenjárásával 24 százaléknyi időt fognak megtakarítani. Később ezt 20-ra módosították, de a valóság ennél durvább volt: a feladatteljesítési idejük igazából 19 százalékkal megnövekedett.
Az AI javaslatainak kevesebb mint 44 százalékát tudták elfogadni, ami a szakértők szerint a modellek kontextuális ismereteinek és komplex háttéradatbázisainak hiányából fakadhatott. A tanulmány azt is kiemelte, hogy a fejlesztők nagyon is tapasztaltak voltak a kódbázissal, így az AI kevés olyan javaslatot tehetett, amit az alanyok ne találhattak volna ki maguktól.
Az AI eszközök fejlesztői számára az valamelyest jó hír, hogy a programozók szerint még így is kevésbé volt stresszes a munkájuk, és kellemesebb volt az egész, még ha nem is volt gyorsabb.
