Az óriási nyelvi modellek, mint például a ChatGPT vagy más LLM-ek, kizárólag számokat, azaz vektorokat tudnak értelmezni. Ezeknek a vektoroknak a tárolása és kezelése kulcsfontosságú kérdés, amelyre egyre több megoldás jelenik meg, így akár felhőszolgáltatások is rendelkezésre állnak.
A videó bemutatja, milyen lehetőségeket kínál az Amazon S3 vectors funkció, amely lehetővé teszi, hogy strukturált formában, indexek segítségével tároljuk vektorainkat az S3-ban. Felvetődnek olyan kérdések is, hogy mikor alkalmas ez a technológia kizárólag tárolásra, és mikor érdemes más megoldásokhoz fordulni, ha például nagyon gyors, valós idejű keresésre van szükség.
Gyakorlati példán keresztül látható, hogyan lehet saját vektorokat generálni és feltölteni helyi gépen futó modell (például Olama) segítségével, hogyan történik a kapcsolódás az AWS SDK-hoz (Boto3), illetve miként végezhetünk hasonlóság-alapú keresést az adatok között. Külön figyelmet kap az indexelés, a metainformációk kezelése és a dimenziók helyes beállítása.
A kérdés, hogyan illeszthető ez a pipeline más AWS szolgáltatásokkal, illetve mely helyzetekben jelent valódi előnyt egy ilyen skálázható, AI-ra kész megközelítés.
