Az Inclusion AI egy újabb jelentős előrelépést mutat be a Ling 2.6 1T modell formájában, amely nyílt forráskódú és egymilliárd paraméterrel rendelkezik. Az új fejlesztés célja, hogy ne csak nagyméretű, hanem gyors, olcsón üzemeltethető és a való életben is alkalmazható legyen, például ügynöki folyamatokban.
Bemutatásra kerülnek a korábbi modellek, Ming és Ring, fejlődési állomásai, majd részletesen ismertetik, miben tér el a Ling az elődjeitől, beleértve, hogy a válaszadáshoz jóval kevesebb tokent használ, ezzel gyorsabb és hatékonyabb gondolkodásra képes, és olcsóbb is.
Praktikus példán keresztül tesztelik a modellen keresztül automatikusan generált, valós idejű GPU memória szivárgás detektáló CLI alkalmazást Ubuntu környezetben, kitérve a tesztelés lépéseire, a VRAM-ot használó folyamatok és a memória kezelés megfigyelésére is.
A videó foglalkozik az architektúra technikai részleteivel is – bemutatja a lineáris attention rétegeket, a rotary position embedding (ROPE) szerepét, illetve a mixture of experts (MoE) blokkok működését és jelentőségét a hatékonyságban.
Soknyelvű tesztpéldákkal szemléltetik, mennyire képes különböző nyelveken motivációs idézeteket generálni, illetve komplex tudományos kérdések (például aszpirin szintézis és COX enzim gátlás) megválaszolását is kipróbálják, vizsgálva a válaszok pontosságát és mélységét.
Folyamatosan felmerülnek érdekes kérdések: Mire képes egy ekkora, ingyen elérhető modell a jelenlegi technológiai szinten? Valóban helyettesítheti a specializált munkafolyamatokat? Hogyan befolyásolja a tervezett architektúra a teljesítményt és a felhasználhatóságot?
