Az anyag központjában egy új módszer, a FedRAG áll, amely a retrieval augmented generation (RAG) rendszerek finomhangolását teszi lehetővé elosztott, decentralizált adatforrásokon. A tartalom bemutatja, hogyan lehet kihasználni az ilyen rendszereket nagy nyelvi modellek számára, hogy azok frissebb, releváns tudásbázisokat vonjanak be anélkül, hogy a teljes adatot centralizálni kellene.
Részletesen szó esik a federált tanulás elveiről, mielőtt gyakorlati példán keresztül ismerteti, hogyan történik a telepítés és a komponensek (például generátor, retriever, knowledge store) inicializálása helyi környezetben. Emellett felmerülnek az adatvédelmi, megfelelőségi kérdések is, illetve hogy miként lehet ilyen rendszereket felépíteni, ha az adatok földrajzilag elkülönült helyeken találhatóak, például Európában és Ázsiában.
A videó bemutatja különböző modellek használatát, hangsúlyozva, hogy a rendszer a Hugging Face-ről letöltött modellekkel is működhet, valamint hogyan lehet a tudásbázist saját szöveges adatainkkal feltölteni, majd azokat strukturált formátumba rendezni. Ezt követően két finomhangolási technika is bemutatásra kerül: a retrieval augmented nyelvi modell tanítása, illetve a LSR (LM supervised retrieval), amelyek célja a generátor és a retriever komponensek hatékonyságának növelése elosztott adathasználat mellett.
Különleges figyelmet fordítanak arra is, hogy miként lehet tesztelni és kiértékelni a finomhangolt rendszert valós adatokon. Továbbá szó esik a gyakorlati alkalmazási lehetőségekről, mint például több helyszínen történő tréning vagy adatvédelmi megfontolások esetén.
