Gyakorlati útmutató
Mit jelent a lokálisan telepített AI?
Lokális, hibrid és felhős AI közérthetően: modell, dokumentumok, adatút, internetkapcsolat, hardver és emberi kontroll.
A lokálisan telepített AI-nál a rendszer egy része vagy egésze a vállalkozás saját gépén, szerverén vagy privát infrastruktúráján fut. A „lokális” önmagában nem jelenti, hogy minden adat helyben marad vagy minden funkció offline működik: ezt modellenként, adatútonként és eszközkapcsolatonként kell rögzíteni.
Négy külön kérdés
Egy lokális AI-rendszer értékelésénél külön kell megvizsgálni a modell futási helyét, a dokumentumok tárolását, a külső API-hívásokat és az eszközök működését.
- Hol fut a nyelvi vagy egyéb modell?
- Hol tárolódik és indexelődik a céges dokumentum?
- Mely adat mehet külső szolgáltatáshoz?
- Mely funkció működik internet nélkül?
Lokális, hibrid vagy felhős
Teljesen lokális rendszerben a modell és a tudásforrás is helyben fut. Hibrid működésnél például a dokumentum és jogosultság helyi, de egy kiválasztott részlet külső modellhez kerül. Felhős megoldásnál a modell és gyakran a feldolgozás is szolgáltatói környezetben történik.
A helyes választást nem címke, hanem adatérzékenység, teljesítmény, költség, frissítés és üzemeltetési képesség dönti el.
Milyen hardver kell?
A szükséges memória és gyorsító a modell méretétől, a párhuzamos felhasználóktól, a válaszidőtől és a feladattól függ. Ezért a Tündérkert nem általános géplistát ígér, hanem a konkrét szerepkörre készít hardver- és működési javaslatot.
Mitől lesz valóban kontrollált?
A helyi telepítés csak egy réteg. Jogosultság, titkosítás, mentés, frissítés, naplózás és emberi jóváhagyás ugyanúgy szükséges. A Tündérkert minden telepítésnél külön adatút- és felelősségi tervet készít.
A lokális AI automatikusan biztonságosabb?
Nem automatikusan. Csökkentheti egyes adatok külső továbbítását, de a helyi hozzáférés, frissítés, mentés és fizikai biztonság továbbra is megtervezendő.