Nem kell aggódni, a Copilot most mindenkit békén fog hagyni. A Microsoft bejelentette múlt héten a Foundry Local nevű LLM modulját, ami tulajdonképpen egy mesterséges intelligencia szoftver, amit a gépeden futtathatsz, mindenféle felhőkapcsolat nélkül. A Foundryt alapvetően fejlesztőknek szánják, akik a saját a hálózatukon szeretnék kihasználni a generatív szoftverkörnyezet előnyeit, de ez nem jelenti azt, hogy kísérletezhetnénk a cuccal mi, az egyszerű felhasználók is.
Ahhoz, hogy letölthessük a Foundryt először használnunk kell a Windows beépített terminálját. A Start Menüt megnyitva, és a "terminál" szót begépelve megkapjuk az ablakot, ahová a következőt kell bemásolnunk:
"winget install Microsoft.FoundryLocal"
Ezután elindul egy telepítési folyamat, ami néhány perc után végezni fog. Ez letölti és telepíti az alapokat, de szükségünk lesz még egy LLM modellre is a munka kezdetéhez. A Microsoft a Phi-3.5-mini modellt ajánlja, használjuk is ezt:
"foundry model run phi-3.5-mini"
A fentit bemásolva ismét elindul egy letöltés, ami lerántja és telepíti a választott modell elemeit. Innentől el is indul az interaktív mód, és úgy beszélgethetünk a chatbottal, mintha bármelyik másik, felhőben működő AI rendszerrel kommunikálnánk. Ha modellt szeretnénk váltani, akkor "foundry model list" paranccsal megtehetjük ezt.
A Foundry használatához nincs szükség dedikált GPU-ra vagy NPU-ra, de ha van, az sokat fog segíteni a program teljesítményén. Ha pedig meguntátok a kísérletezést, akkor a /exit paranccsal kiléphettek az interaktív módból, és visszatérhettek a szokásos Windows parancssorhoz.
