Az újítás, amelyet a videó középpontjába helyeztek, arra a problémára keres megoldást, hogy a VLLM minden újraindításkor elveszíti hatalmas méretű KV cache-ét, megnehezítve a nagy nyelvi modellek futtatását és üzemeltetését.
A PegaFlow nevű szolgáltatás lehetővé teszi, hogy a cache különálló, Rust-ban írt háttérfolyamatként működjön, így független a VLLM szervertől; fennmarad újraindításkor, modellváltásnál, és akár összeomlás esetén is.
A gyakorlati bemutatóban egy Ubuntu rendszeren, NVIDIA RTX A6000 GPU mellett részletezik az egyszerű telepítést és konfigurációt, bemutatva, hogyan kapcsolódik össze a VLLM a PegaFlow processzel egyetlen konfigurációs beállítással.
Az architektúra áttekintése során szó esik a kommunikációs rétegekről (CUDA IPC, gRPC), a háromszintű tárolási megvalósításról, illetve arról, hogy klaszterekben az RDMA révén az elosztott cache-kezelés is megoldott.
Összehasonlításra kerül, milyen sebességnövekedés és hatékonyság érhető el, ha több modell vagy nagyméretű modellek több GPU-n használják a megosztott cache-t. Felmerül az is, hogyan viselkednek a Python alapú cache-megoldások nagyobb terhelés esetén, illetve mennyivel stabilabb és gyorsabb a Rust-ban fejlesztett PegaFlow.
