A hardverhez legjobban illeszkedő AI-modell és kvantizáció kiválasztása összetett kihívás, különösen, ha egy helyi fejlesztői ügynököt szeretnénk futtatni. Az új HF Agents nevű eszköz azt tűzte ki célul, hogy ezt a folyamatot teljesen leegyszerűsítse egyetlen parancs használatával.
Részletesen bemutatásra kerül az eszköz telepítése, amely során megfigyelhető, hogyan képes automatikusan felismerni a rendszerben található GPU-t, VRAM-ot, RAM-ot és CPU-t. Ehhez kapcsolódóan a Hugging Face Hub kínálatából az aktuális hardverre optimális futtatható modelleket és kvantizációs beállításokat válogatja ki.
A megoldás létrehozza a megfelelő inference szervert llama.cpp segítségével, majd egy teljesen integrált, helyben futó code agentet kapcsol hozzá. A folyamat közben megjelenő gyakorlati problémák és beállítási lehetőségek is terítékre kerülnek, akár interaktív üzemmódban, akár scriptelhetőséggel dolgozunk.
A bemutató során szóba kerülnek alternatív megközelítések és a kiegészítő eszközök, mint például az LLM Fit és a Pi agent, illetve a telepítés és hardverkonfiguráció apróbb trükkjei és tapasztalatai. Az automatizált modellválasztás előnyei és a kizárólag lokálisan futó AI-ügynök adatvédelmi előnyei is felmerülnek.
