Mooncake, avagy Holdsüti – így hívják az új, a generatív mesterségesintelligencia-alkalmazások gerincét képező kínai, úgynevezett nagy nyelvi modellt (LLM). Az algoritmust a pekingi székhelyű Moonshot AI nevű startup és a Tsinghua Egyetem csapata hozta létre, és az amerikai vámháború és geopolitikai rivalizálás ellenére februárban egy kaliforniai rendezvényen, a USENIX FAST konferencián még díjat nyert vele.
A Mooncake segít csökkenteni a mesterségesintelligencia-számításokban alkalmazott grafikus kártyáktól (GPU) való függőséget, és akár ötször hatékonyabb a korábbi alapszintnél. Mindez azt jelenti, hogy gyengébb teljesítményű eszközökön is jó eredményt tud produkálni. A Mooncake a felhasználó számára a Kimi elnevezésű chatbotban ölt testet, amely naponta százmilliárd tokent – a szöveg megértéséhez és létrehozásához szükséges alapvető egységet – tud feldolgozni.
Mindez a legfrissebb kínai válasz az amerikai kormánynak a mesterséges intelligenciához használt chipek exportját érintő tilalmára. A még Joe Biden elnöksége alatt hozott rendelkezések részeként nem juthatnak be Kínába az Nvidia legfejlettebb chipjei.
"Az intézkedések célja az volt, hogy korlátozzák Kína számítási kapacitását a mesterséges intelligencia területén, és visszavessék a mesterségesintelligencia-modellek tanítását és fejlesztését"
– jegyezte meg a hongkongi South China Morning Post. A lap maga is alkalmazza az algoritmust.
A korlátozások azonban még inkább ösztönözték a kínai kutatókat és a vállalatokat, hogy szoftveroptimalizálással és innovatív adatstruktúrák létrehozásával hozzák ki a maximumot a náluk elérhető chipekből.
Az AI chatbotok egyre népszerűbbek és számos felhasználó keresőprogramként használja azokat hétköznapi feladatok megoldására. Ugyanakkor egy-egy chatbot napi több százmilliárd kérdést is kaphat, ami leterheli. Ezért is nőtt meg az igény az egyszerűbb, de hatékonyabb megoldásokra. A kínai csapatnak a Mooncake-ről szóló tanulmánya szerint a szokványos módszerekhez képest, az adatstruktúrákat optimalizálva, akár 498 százalékos javulást értek el a felhasználói lekérdezések feldolgozásában.
A fejlesztők a Mooncake platformon belül létrehoztak egy rendszert, amely szétválasztja a mesterséges intelligencia gondolkodását és a válaszok létrehozását. Ez a gyorsítótár azonban jelentős kihívások elé állíthatja a tárolórendszereket, mivel a mennyiség meghaladja egy-egy szerver kapacitását.