A Carnegie Mellon Egyetem kutatói bemutatták a LegoGPT-t, egy mesterséges intelligenciát, ami nemcsak látványos LEGO-modellt tervez, de azt megoldja, hogy ne dőljön össze azonnal. A rendszer szöveges utasítás alapján tervez stabil, kézzel is megépíthető LEGO-konstrukciókat, ami sokkal nagyobb csoda, mint első olvasásra tűnhet.
A LegoGPT működésének alapja egy LLaMA-3.2-1B-Instruct nevű nyelvi modell, amit úgy képeztek át, hogy ne egy következő szót, hanem következő LEGO-elemet jósoljon. A tréninghez 47 ezer darab fizikailag stabil LEGO-modellt használtak, amikhez GPT-4o írt szöveges leírásokat, több nézetből renderelt képek alapján. A modellek mindegyike átesett egy fizikai szimuláción is, ami ellenőrizte, hogy valóban megépíthetők-e, vagy csak szép digitális ábrák.
Az igazán menő része a dolognak, hogy a rendszer nemcsak szépen rakja egymásra a kockákat, hanem meg is állítja magát, ha valami fizikailag lehetetlen lenne. Ilyenkor visszagörgeti az építést az első instabil darabig, és újratervezi a folytatást. Ez az apró, de zseniális funkció 24 százalékos sikerarány helyett 98,8 százalékos stabilitást hozott.
A jelenlegi változat 20x20x20-as építési térrel és mindössze nyolc LEGO-elem típussal dolgozik, de már most lehet vele színes és textúrázott modelleket is generálni, ráadásul minden, amit generál, azt robotkarok össze is tudják rakni, de a kutatók kézzel is letesztelték az építményeket. Minden működött.
A LegoGPT tehát nemcsak új szintre emeli a generatív AI-t, hanem végre tényleg azt csinálja, amit ígér: épít.