Ebben a részben egy izgalmas, új mesterséges intelligencia modellt ismerhetünk meg, amely szokatlan architektúrájával tűnik ki a tömegből. A narrátor kitér arra, hogy a legtöbb hetente bemutatott modell meglehetősen hasonló, most viszont egy valóban újszerű megoldással találkoztunk. Felvetődnek olyan kérdések, mint például: miként lehet úgy csökkenteni a memóriaigényt, hogy a modell teljesítménye ne sérüljön, és milyen kompromisszumokat kell ezért kötni.
A részletes bemutatás során szó esik arról, hogy a Mixture of Experts (MoE) architektúra hogyan segíthet több szakértőt egyesíteni anélkül, hogy ezeket mindegyikét egyszerre kellene futtatni. Megtudhatjuk, mi a lényege a ritkításnak (sparsity), és milyen előnyei vannak annak, ha csak a paraméterek egy része aktív egy adott lépésben. Ezeken keresztül felmerül a kérdés: tényleg működik-e a gyakorlatban a költséghatékonyság és gyorsaság ilyen megoldásokkal?
A telepítés technikai lépésein keresztül betekinthetünk abba is, hogy az adott rendszer milyen feltételeket igényel. Szó esik arról, mennyi VRAM szükséges valójában a működtetéshez, és hogy érdemes-e tovább csökkenteni a memóriaigényt különböző precíziós beállításokkal.
Mindezek mellett a nyelvi képességek és a tudás minősége is kiemelt téma, különösen a történelmi, logikai és matematikai feladványok terén. Felvetődik, hogyan valósul meg a kétnyelvűség és hol vannak ennek a rendszernek az esetleges korlátai. Végül újra előkerül a kérdés: milyen kompromisszumokat jelent mindez a mindennapi használat során?
