Képzelj el egy mesterséges intelligenciát, amelynek egyetlen feladata, hogy hétköznapi nyelven megfogalmazott kérések alapján kiválasszon egy eszközt a rendelkezésre álló listából, majd ezt strukturált JSON formában elküldje. Erről, a mindössze 26 millió paraméteres Needle modellről szól a bemutató, amely asztali gépeken vagy akár laptopokon is könnyen futtatható és finomhangolható.
A szerző lépésről lépésre mutatja be az installáció folyamatát, miközben számos technikai részletet is megvilágít, például a modell architektúráját. Kitér arra, hogyan cserélhetjük le a hivatalos Gemini-alapú adatgenerátort a saját gépen futtatott, Ollama-alapú modellre, teljesen offline módon.
A videó érdekessége, hogy részletesen magyarázza a transformer architektúra felépítését, annak működését és a finomhangolás lépéseit. Bemutatja a használt trükköket — mint a memóriakímélő grouped query attention — és megpróbálja közérthetővé tenni a technológiát.
A gyakorlati példák révén kiderül, miként generálható saját edzésadat a modellhez, hogyan kezelhetünk különböző eszközhívási példákat és hogyan finomhangolhatjuk a modellt saját, helyi igényeinkre.
