Stanford legújabb fejlesztése, az Open Jarvis, egy innovatív, helyben futó mesterséges intelligencia keretrendszer, amely lehetővé teszi, hogy a felhasználók személyes AI-ja saját eszközükön fusson, nem pedig felhőalapú szolgáltatásokon keresztül. A projekt mögött a Hazy Research és a Scaling Intelligence Lab áll, akik az energiahatékonyság és a helyi számítás fejlesztésére fókuszálnak.
Az integráció Ollama-val és más helyi modellekkel gyors és egyszerű; az eszköz képes meglévő modelleket azonnal használatba venni, miközben különböző architektúrák közül választhatunk, mint például a vllm, sg lang vagy a llama.cpp támogatás. Az öt fő összetevő – intelligence, agents, memory, learning system, catalog engine – együttesen kezeli a modellválasztást, futtatást, interakciókat és a tanulási folyamatokat is.
A bemutatóban kitérnek arra is, hogyan lehet saját GPU-val (például Nvidia RTX 3060) tesztelni a futtatást, miközben az energiafogyasztás és a teljesítménymutatók is valós időben követhetők. Kiemelték, hogy a rendszer különféle előre beállított „preseteket” is tartalmaz, mint például a „code assistant”, melyek néhány parancs segítségével azonnal beállíthatók egyedi felhasználási esetekhez.
Érdekes kérdésként merül fel, hogy mennyire lehet skálázni és személyre szabni ezeket a helyben futó AI eszközöket, valamint hogyan tudnak lépést tartani a gyorsan változó AI fejlesztésekkel és energiahatékonysági elvárásokkal. Az energia, a késleltetés, valamint a helyi feldolgozás jelentőségét helyezik középpontba, miközben a rendszer folyamatosan fejlődik és új funkciókkal bővül.
