Miután már a saját céljaikra lerabolták az internetet, a mesterséges intelligencia fejlesztésében élen járó vállalatok egy része összefogott, hogy egységes megoldást kínáljon a weboldalak üzemeltetőinek az AI-modelleket tanító adatgyűjtő botok ellen.
Az OpenAI, a Google, a Microsoft és az Anthropic által támogatott kezdeményezés célja, hogy a tartalomtulajdonosoknak ne kelljen minden egyes algoritmus számára külön megtiltaniuk az oldaluk feltúrását és az ott található információk felhasználását.
A tervezett mechanizmus a már régóta használt robots.txt fájlra épít, amelyben egy úgynevezett policy token jelzi majd, hogy az adott webhely milyen feltételekkel engedélyezi vagy tiltja a tartalmai felhasználását. Ez a fájl eddig is arra szolgált, hogy a weboldalak üzemeltetői szabályozzák, mely automatizált rendszerek férhetnek hozzá az oldalukhoz, legyen szó keresőmotorok indexeléséről vagy archiválásról. Az új jelzés ezt a lehetőséget terjesztené ki egységes formában az AI-adatgyűjtésre is.
A probléma az utóbbi években egyre égetőbbé vált, mivel a mesterséges intelligencia fejlesztéséhez szükséges adatok megszerzésére küldött botok jelentős terhelést rónak a weboldalak infrastruktúrájára. Ennek egyik látványos példája a Wikipédia, amelynek üzemeltetője már korábban figyelmeztetett arra, hogy az automatizált forgalom növekedése komoly anyagi és technikai kihívásokat jelent.
A kiadók eddig sem voltak teljesen eszköztelenek. A Really Simple Licensing (RSL) szabvány például lehetőséget ad arra, hogy díjat kérjenek a tartalmaikat feldolgozó botok üzemeltetőitől, míg a Cloudflare-hez hasonló szolgáltatások a hozzáférés teljes blokkolását is lehetővé teszik. Az új kezdeményezés ezeknél egyszerűbb, szélesebb körben alkalmazható megoldást kínálhat, feltéve, hogy a fejlesztők valóban tiszteletben tartják a megadott korlátozásokat.
A Microsoft már jelezte, hogy a szabvány előírásait követő botjai figyelembe veszik majd a tiltást, ez azonban nem befolyásolja, hogy az érintett weboldalak megjelennek-e a Bing találatai között. A bevezetés időzítése ugyanakkor vállalatonként eltér: az Anthropic már alkalmazza az új jelzést, a Google és a Microsoft 2027-ben tervezi a támogatását, az OpenAI pedig a következő hónapokban kezdi figyelni az erre vonatkozó utasításokat.
Forrás: The Verge
