A
A
Nanbeige4.3 33B: Great Benchmarks, But It Failed My Tests Royally

Nanbeige4.3 33B: Great Benchmarks, But It Failed My Tests Royally

Csak YouTube-on nézhető meg

  • Angol
  • Magyar
  • 8 perc

Nanbeige4.3 a valóságban: éttermi szoftverhibák és HTML-generálás tesztje

A Nanbeige4.3 33 milliárd paraméteres nyelvi modell képességeit valós életből vett példákon keresztül, riválisaihoz mérten vizsgálja ez a teszt.

A Nanbeige4.3 33B nevű nyelvi modellt vizsgálja ez a tartalom, amelyet a kínai Boss Zhaopin platform AI csapata, a Nan Beach LLM Lab fejlesztett. Az alkotók célja, hogy leteszteljék a modell valós teljesítményét, miközben összehasonlítják a piacon lévő hasonló méretű riválisokkal, például a Gemini és a Muse Glimmer modellekkel.

A bemutatott példa egy éttermi alkalmazáson keresztül mutatja be a modell valós problémamegoldó képességét: egy különleges húsokat kínáló étterem konyhai szoftverében fedeznek fel egy kritikus hibát, amely a készletszámításban jelentkezik. Felmerül a kérdés, hogy mennyire képes ilyen helyzetekben felismerni és javítani a szoftverhibákat a modell.

Később további feladatként egyszerű HTML-generálást is próbáltak elérni a Nanbeige4.3-tól. Mindeközben a technikai részletekre, például a rendszer VRAM-felhasználására és a modellt kiszolgáló vLLM-re is kitérnek, ami betekintést enged a modell futtatásának hátterébe. Érdekes kérdésként merül fel, hogy egy magas paraméterszámú modell önmagában jelent-e valódi minőségi ugrást a gyakorlatban, vagy a piaci riválisokhoz képest még mindig vannak lemaradások.