A
A
  • Angol
  • Magyar
  • 14 perc

Qwen 3.8 27B modell finomhangolása: lépésről lépésre útmutató saját adatokkal egyetlen GPU-n

Lépésről lépésre bemutatott gyakorlati útmutató a Qwen 3.8 27B nyelvi modell lokális finomhangolásához saját adatkészlet segítségével, egyetlen GPU-n.

A videó részletesen bemutatja, hogyan lehet egy 27 milliárd paraméteres nagy nyelvi modellt, a Qwen 3.8-at saját adatkészlettel, helyben, egyetlen GPU segítségével finomhangolni. A folyamat minden lépését lépésről lépésre, interaktívan követhetik a nézők, miközben a szerző élőben mutatja be az adatgyűjtés, telepítés és tréning folyamatát is.

Különös hangsúlyt kap az adatstruktúra kialakítása, ahol a példák kérdés-válasz párokból állnak, JSONL formátumban, amelyet kifejezetten nagy modellek betanításához terveztek. A szerző először bemutatja, hogyan tudja bárki saját, akár kevés példával is hatékonyan befolyásolni a modell válaszait, ezzel új viselkedési mintákat tanítva neki.

A videóban bemutatják a finomhangolás különböző technikáit, például a teljes modell tanítását, az LoRA-adapterek beiktatását és a QLoRA memóriatakarékos módszerét is. Ezek lényege, hogy a hatalmas modell helyben, elérhető eszközparkkal is kezelhetővé váljon, és a korlátos VRAM mellett is sikeresen finomhangolható legyen.

A tréningfolyamat során hangsúly kerül a modell paramétereinek módosítására, különböző trükkökre, így például a rétegek fagyasztására vagy a memóriatakarékos optimalizálásokra. A nézők betekinthetnek abba is, hogyan figyelhetők meg valós időben a veszteségértékek, illetve miként exportálható a kész modell különböző felhasználási formátumokba.

Végül a tréning eredményességét azonnali összehasonlítás mutatja meg, bemutatva, hogyan változtak a válaszok egy ismeretlen és egy finomhangolt modell esetén – mindezt teljesen saját adatkészleten, helyben futtatva.