Jacob Coxon három év után távozott az Anthropictól, és elég erős, de egyébként más kutatók által is hangoztatott okokkal indokolta a döntését. A kutató korábban az OpenAI-nál is dolgozott, mindkét cégnél a modellek előzetes betanításával kapcsolatos kutatásokban vett részt.
"Egyik vállalat sem viselkedik felelősen. Az önfejlesztő szuperintelligenciáért versenyeznek, és az életünket teszik kockára"
- mondta, mert szerinte a fejlesztés alatt álló rendszerek idővel a kibertámadások végrehajtásában és a tudományos kutatásban jobbak lesznek az embereknél és egyre nagyobb önállóságra és befolyásra tehetnek szert.
Coxon azt állítja, hogy az AI-cégeknél dolgozók közül sokan komolyan számolnak akár civilizációs léptékű veszélyekkel is. Meglátása szerint az OpenAI-nál sokan még nem érzik át ennek súlyát, az Anthropic munkatársai viszont tisztában vannak a kockázatokkal, de úgy gondolják, nekik kell elsőként célba érniük, mert a versenytársak még kevésbé felelősen járhatnak el.
"Az AI-t fejlesztő emberek komolyan hiszik, hogy a technológia az évtized végére mindannyiunkat megölhet. Ez nem marketingfogás. Sőt, sok vezető és rangidős kutató szándékosan óvatosabban fogalmaz a sajtóban, hogy józanul gondolkodónak tűnjön."
Korábban mi is írtunk arról az ellentmondásról, hogy miközben a cégek az AI veszélyeire figyelmeztetnek, folyamatosan gyorsítják a fejlesztést.
A kutató a WIRED-nek árnyalta egy kicsit a dolgot és azt mondta, hogy az Anthropic jelenleg jóval felelősebben működik az OpenAI-nál, és tudomása szerint még nem áldozta fel a biztonságot a gyorsabb haladás érdekében.
Coxon megoldásként ellenőrizhető megállapodásokat sürgetne a legfejlettebb modelleket készítő cégek között, amelyekkel átmenetileg korlátozhatnák a rendszerek képességeinek további növelését. Hosszabb távon ehhez szerinte nemzetközi együttműködésre is szükség lenne, de ezzel a gondolattal nyilván nincs egyedül, mert több kutató is az AI-fejlesztések lassításáért könyörög.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
A jelenlegi - mindenki számára elérhető - AI-modellek még nem számítanak önállóan fejlődő szuperintelligenciának, és a szakértők között sincs egyetértés arról, hogy létrejöhet-e egyáltalán ilyen rendszer.
Az Anthropic közleményében azt írta, hogy kezdettől fogva nyíltan beszél az AI óriási lehetőségeiről és példátlan kockázatairól, valamint támogatná az iparág szereplői közötti törvényes és ellenőrizhető együttműködést a legerősebb modellek megjelenési ütemének szabályozásáról.
Az OpenAI egyelőre nem reagált Coxon kijelentéseire.
