Az Apple új fejlesztése, a DiffuCoder 7B került bemutatásra, amely egy diffúziós alapú, nagy nyelvi modell, kifejezetten kódgenerálásra optimalizálva. A bemutató videó lépésről lépésre ismerteti, hogyan telepíthető helyileg a modell, valamint melyek a rendszerkövetelmények például az Nvidia RTX6000 GPU-val történő futtatás esetén.
Az első részben szó esik arról, hogyan működnek a diffúziós modellek, és miben különböznek a hagyományos balról jobbra haladó autoregresszív modellektől. Ismertetésre kerül a maszkos diffúziós folyamat, amely lehetővé teszi a kód globális, nemlineáris szerkesztését, hasonlóan ahhoz, ahogy egy programozó dolgozik egy projekten.
További érdekesség, hogy az Apple a Coupled Group Relative Policy Optimization (cpGRPO) nevű megerősítő tanulási módszert alkalmazta, amivel tovább növelték a modell variabilitását és pontosságát, elkerülve a stílus-dekódolást. A néző tájékozódhat arról is, hogy milyen benchmarking eredményekkel és egyéb kutatási forrásokkal támasztják alá a fejlesztést.
A telepítés során bemutatásra kerül a VLLM, a Text Generation Web UI, majd a Transformers könyvtár használata is. Gyakorlati példákon keresztül illusztrálják, mennyire pontos és hatékony a modell, különböző programozási feladatok (például bináris fa szerializálása és deszerializálása vagy reguláris kifejezések NFA-vá alakítása) megoldásánál. Külön figyelmet kap, hogy a modell miként képes komplex kódrészleteket létrehozni, vagy hogyan használható kód frissítésére, refaktorálására, hibák keresésére.
