Az NVIDIA legújabb beszédalapú nyelvi modelljét, a Canary-Qwen 2.5-öt mutatja be ez a videó, amely az angol beszédfelismerés és a szövegértés élvonalába tartozik. Egyesíti az NVIDIA saját beszédtechnológiáját a Qwen (Alibaba) nyelvi modelljével, így egy úgynevezett beszéd-kiegészített nyelvi modellt hozva létre.
Részletesen bemutatásra kerül, hogyan lehet ezt a 2,5 milliárd paraméteres modellt helyben telepíteni Ubuntu rendszeren NVIDIA RTX A6000 GPU segítségével. A telepítési folyamat során megismerhetjük a NeMo Toolkit és a Gradio alapú egyszerű felhasználói felület használatát is.
A bemutató során különböző angol hanganyagokat futtatnak át a modellen, majd tesztelik a transzkripció pontosságát, a gyorsaságot és extra képességeit: például összefoglalások készítése, kérdések megválaszolása vagy a beszélői jellemzők felismerése. Emellett felvetődik az a kérdés is, hogyan boldogul a modell nem angol nyelvekkel, és hogy milyen fájlformátumok támogatottak valójában.
Külön érdekességet jelent, hogy a modell vizsgálatakor nem csak a transzkripciót értékelik, hanem a mögöttes logikát is figyelik: például hogyan következtet a beszélők nemére, illetve hogyan kezeli a kihívásokat, ha eltérő mintán vagy paraméteren próbálják tesztelni.
