A jelen ismertető egy új fejlesztésű beszédfelismerő modell, a Neotron Speech Streaming működésének kulisszatitkait mutatja be részletesen. A modern hangfelismerő rendszerek egyik legnagyobb kihívása, hogy valós időben, szinte késedelem nélkül tudjanak pontos átiratot készíteni, miközben a környező szavakból is kellő mennyiségű kontextust biztosítanak az értelmezéshez.
Érdekes módon, az új rendszer egy olyan cache-szerű megoldást alkalmaz, amely révén a modell ’emlékszik’ arra, amit már feldolgozott. Ezáltal elkerülhető az adatok ismételt átvizsgálása, ami jelentős gyorsuláshoz és kisebb erőforrásigényhez vezet a hagyományos, átfedő chunk alapú módszerekkel szemben.
Az architektúrában egy úgynevezett fast conformer encoder felelős a hangminták feldolgozásáért, amely lehetővé teszi a késleltetés dinamikus szabályozását a chunk-mérettől függően. A fejlesztők nagy hangsúlyt fektettek arra is, hogy a modell a tréning során kizárólag olyan korlátozott kontextuson (időbeli előnézet/utónézet) készüljön fel, amely megegyezik a valós idejű alkalmazás során fellépő helyzettel.
Az egyedülálló, hibrid dekóderes megközelítés – amelyben a CTC és RNNT dekódolók ugyanazt az encodert használják – kiemelt pontosságot és hatékonyságot kínál, miközben elkerülhetővé válik a két eltérő modell párhuzamos futtatásának szükségessége. Ugyanakkor felvetődik a kérdés, hogy a jelenlegi verzió egyszerre csak angol nyelvet támogat, így a többnyelvűség integrációja jelentős továbblépés lehetne. További érdekes kérdések merülnek fel a cache kezelésével, a chunk-határokon megjelenő pontossági eltérésekkel és a dekódolók dinamikus választásának lehetőségével kapcsolatban is.
