A lokálisan használt nagy nyelvi modellek (LLM-ek) körében gyakran emlegetett kifejezések a temperature, top-K, top-P, min-P és más, elsőre bonyolultnak tűnő paraméterek. Ezek az úgynevezett inferencia paraméterek befolyásolják, hogy egy adott LLM milyen módon generál szöveget, mennyi kreativitást, véletlenszerűséget enged meg, illetve mennyire lesz pontos vagy kiszámítható a válasz.
Egy nyelvi modell minden egyes token előállításakor valószínűségi becslések alapján dönt, és ezek a paraméterek lényegesen átalakítják a lehetséges kimenetet. Alacsony temperature értékek hatására a modell inkább magabiztos, logikus választ ad, míg magasabb értékekkel kreatívabb, váratlanabb megoldások születhetnek. A top-K és top-P paraméterek különböző technikákkal szűrik le a válaszok lehetőségeit, míg a min-P vagy a büntetések további finomhangolási lehetőségeket biztosítanak például az ismétlődés elkerülésére vagy új ötletek ösztönzésére.
A paraméterek megfelelő kombinációját a feladat jellege is meghatározza: kreatív szövegalkotásnál más beállítások szükségesek, mint kódgenerálásnál vagy konkrét utasítások követésénél. Ismertetésre kerül több gyakran használt helyi LLM-inferencia csomag is, például LM Studio vagy Ollama, és szó esik arról is, hogy egyes népszerű modellek (mint a Google Gemini vagy a Qwen 3.6) milyen ajánlott beállításokat publikálnak különböző felhasználási módokra. Kiderül, hogy egy-egy paraméter változtatása más-más eredményt hozhat, és nincs mindenkire érvényes, univerzális recept.
A bemutató kitér arra is, hogy a beállítások kísérletezése során előnyös lehet hallgatni a fejlesztők ajánlásaira, de mégis elengedhetetlen a saját tapasztalatszerzés. Felvetődnek a nagy kérdések: vajon tényleg jobb lesz a LLM-kimenet, ha finomhangoljuk ezeket az értékeket, és mennyire függ mindez a konkrét feladattól?
