Az AI21 új, vállalati felhasználásra szánt nyelvi modelljeit mutatja be a videó, különös tekintettel a Jamba 2 3B változatra. Kiemelt szerepet kap a modell telepítése, valamint az, hogy miként birkózik meg hosszú dokumentumokkal és bonyolult utasításokkal.
A bemutatott modell egyedisége a hibrid SSM (Structured State Space Model) transformer architektúra, amely kombinálja a hagyományos transformer blokkokat a mamba rétegekkel. Ez nagymértékben csökkenti a memóriahasználatot, megkönnyítve ezzel még laikus felhasználók számára is a helyi futtatást.
Különféle valós tesztek segítenek megérteni, hogyan boldogul a Jamba 2 3B pontos kérdés-megfeleléssel, feltételek egyidejű követésével, tényalapú (grounded) válaszadással, valamint a hosszú szövegekben rejlő információk összegyűjtésével. Az is szóba kerül, hogy mennyire képes elkerülni a téves vagy kitalált információk megadását.
A tesztelés során többféle összetett kérdést és vállalati dokumentációkat használnak: vizsgálják az adatvisszakeresés, a számítás és a többfeltételes szövegszűrés pontosságát. Felmerül, mekkora VRAM szükséges a nagyobb modellek futtatásához, illetve mennyire költséghatékonyak ezek a megoldások bizonyos üzleti célokra.
