Zapomeňte na difuzní modely. Un-0 generuje obrázky fyzikou a chce být 1000x úspornější
Naveen Rao, bývalý šéf AI v Databricks, představil Un-0, open-source model, který nahrazuje neuronové sítě simulovanou fyzikou. Cílem je radikálně snížit energetickou náročnost inference a obejít limity současného křemíku.
Zatímco se všichni honí za větším počtem parametrů, startup Unconventional AI jde úplně opačným směrem. Jejich nový model Un-0 negeneruje obrázky přes masivní maticové násobení, jak to dělají difuzní modely. Místo toho sází na simulaci fyzikálního systému.
Oscilátory místo neuronů
Základem architektury jsou takzvané spřažené Kuramoto oscilátory. Představte si to jako hejno světlušek, které se snaží synchronizovat své blikání. Un-0 nediktuje každé světlušce, jak má blikat. Jen nastaví počáteční podmínky a nechá je, ať se přirozeně sesynchronizují.
Právě tento proces přirozené synchronizace, popsaný nelineární dynamikou, je zde samotným výpočtem. Na konci se výsledný „vzor“ blikání jen dekóduje do podoby obrázku. Výpočet se tak neděje v digitálních krocích, ale v čase.
Proč je to jiné než difuze
Difuzní modely fungují jako sochař, který z bloku šumu postupně otesává finální dílo. Každý krok vyžaduje masivní výpočetní výkon. Un-0 spíš vypadá jako pěstitel krystalů. Zasadí „zárodek“ a nechá fyzikální zákony, aby odvedly zbytek práce.
Výsledky? Na benchmarku ImageNet 64x64 dosáhl Un-0 FID skóre 6.74. To sice není absolutní špička, ale je to srovnatelné s prvními generacemi difuzních modelů. Je to hlavně důkaz, že tenhle přístup má reálný základ.
Sázka na analogovou budoucnost
Naveen Rao tvrdí, že současný model běží na softwarové simulaci. Pointa ale je, že se dá postavit dedikovaný analogový čip, který bude tyto oscilátory fyzicky obsahovat. Až tehdy se má projevit ten pravý benefit.
Lidský mozek je zhruba o tři řády (1000x) energeticky efektivnější než dnešní GPU. Podle Raa je to proto, že mozek je v podstatě analogový stroj. Un-0 je pokus o návrat k těmto principům a snaha vyřešit blížící se energetickou krizi v AI.
Pokud se podaří vyrobit fyzický čip, spotřeba při inferenci by mohla klesnout až o slibovaný tisícinásobek. Unconventional AI už plánuje zveřejnit schémata pro výrobu. Tohle není jen další model, ale pokus o kompletní přepsání pravidel hry.