Az elmúlt évek egyik legnagyobb innovációja a mesterséges intelligencia. Ma már a cégek is – akár kulturális területen is – egyre több szolgáltatás, megoldás közül választhatnak. Például a lokális AI munkaállomásnak is több előnye van, de arra is figyelni kell, hogy a feladatra milyen hardvert építünk fel. A szakemberek mindenben segíteni tudnak.
A speciális helyzetekre is egyre több megoldás érhető el
A Szerver.hu CTO szerverek konfigurálásában is tud segíteni, de emellett számos más igényhez megtalálhatjuk a tökéletesen teljesítő hardvert. Gondoljunk csak bele, ha egy lokálisan futtatott LLM modellt akarunk tanítani arra, hogy az általunk megadott adatok alapján specifikus kérdésekre válaszoljon. Csak a betáplált információkat használhatja fel, hogy kizárjuk a tárgyi tévedéseket és hallucinációkat.
A mesterséges intelligencia és a természetes nyelvfeldolgozás területén egyre nyilvánvalóbb az, hogy önmagában a nagy nyelvi modellek (LLM) még nem elegendőek a specifikus és releváns válaszok generálásához. Még a llama3.2-höz hasonló erős modellek sem tudnak mindig tökéletesen teljesíteni. Természetesen a helyzetre már most is elérhető megoldás: a Retrieval Augmented Generation, röviden RAG ötvözi a lekérdezési rendszerek és az LLM-ek képességeit.
Kezdjük a sort a RAG-gal, aminek a lényege, hogy külső forrásból, például adatbázisból származó releváns információkkal bővíti ki a nagy nyelvi modellek generálási képességeit. A modell így nemcsak az előzetesen betanított tudására tud támaszkodni, hanem a RAG külső adatbázisba küld lekérdezéseket, majd kap vissza információkat. A gyakorlatban ez azt jelenti, hogy még mielőtt az LLM válaszolna a feltett kérdésre, először releváns adatokat keres a ChromaDB-ben. Az információkat kontextusként használva hozza létre a végső választ. Pontosabb és alátámaszthatóbb lesz így az eredmény minden helyzetben.
A különböző megoldások kombinálása
Az Ollama llama 3.2 alapból egy erőteljes és sokoldalú nyelvi modell, kiváló szöveggenerálási képességekkel rendelkezik a gyakorlatban. De mint minden LLM, így a llama is csak olyan adatokkal tud dolgozni, amelyeket látott a betanítás során. A ChromaDB ezzel szemben egy hatékonyabb szöveges adatbázist nyújt, képes gyorsan visszakeresni a releváns információkat.
Ha a kettőt kombináljuk, akkor máris friss, specifikus közvetlen elérhető információkra tud alapozna a llama3.2. Ez nagyon hasznos lehet kutatási eszközöknél vagy kérdés-válasz rendszerekben.
A RAG működése
A dokumentumokat metaadatokkal együtt tárolja a ChromaDB-ben. Ha a felhasználó kérdést tesz fel, lekérdezi a ChromaDB-t a rendszer, hogy a legrelevánsabb információkat megtalálja. A visszaküldött szövegdarabokat és metaadatokat előkészíti a folyamat, hogy kontextust kapjon az LLM. A kapott információk alapján generál egy választ a llama3.2 modell, ami tartalmazza a releváns forrásokat és metaadatokat.
