Kipróbálható az otthoni mesterséges intelligencia futtatásának egy új módja egy alternatív eszközzel, amely helyi LLM-modellezést tesz lehetővé. A bemutatott eszköz, a HML, a népszerű Ollama programhoz hasonlóan működik, de bizonyos tekintetben eltérő megközelítést alkalmaz.
Az ismertetés során szó esik a rendszer telepítéséről, a kompatibilis GPU-król – itt a bemutató egy Nvidia H100-as kártyán zajlik –, valamint arról, hogy a HML CLI-n keresztül és hálózaton keresztül, OpenAI-kompatibilis API-végpont segítségével is elérhető. Felmerülnek olyan kérdések, mint például a teljesítménykülönbségek, a használhatóság, vagy hogy mennyire érett maga a rendszer más eszközökhöz képest.
Részleteket hallhatunk a modellek letöltéséről, futtatásukról, és arról, hogy milyen nehézségek adódhatnak például túlméretezett modellek esetén. Fókuszba kerül továbbá az is, hogy milyen lehetőségek rejlenek egy OpenAI API-val elérhető, helyileg futó AI-ban, és hol lehet még fejlesztendő az ehhez hasonló új projektek infrastruktúrája.
A bemutató nem hallgatja el a hibákat, és érdekes kérdéseket vet fel a helyi LLM-futtatás valóságáról szemben más cloud vagy kész rendszerekkel. Arról is szó esik, hogy milyen piaci szereplők támogatják ezt a szegmenst – például GPU-bérlés vagy AI workforce-menedzsment –, és hogy egy ilyen eszközzel mennyire lehetne hatékonyan és egyszerűen helyi rendszert építeni barátokkal, családtagokkal közös használatra.
