OpenAI má vlastní čip Jalapeño. Cílí na achillovu patu Nvidie

Nvidia má problém. Možná ne dnes, ale OpenAI a Broadcom právě položili na stůl kartu, která může změnit pravidla hry. Jejich čip Jalapeño není jen další konkurent. Je to specializovaný zabiják, postavený na 3nm procesu od TSMC, jehož jediným cílem je inference.

Zatímco GPU od Nvidie jsou jako švýcarské nože – umí všechno, od tréninku po inferenci – Jalapeño je závodní speciál. Je to ASIC (Application-Specific Integrated Circuit), navržený výhradně pro běh hotových modelů. To mu dává brutální výhodu v efektivitě.

Klíčem je architektura zaměřená na eliminaci úzkých hrdel. Čip využívá paměti HBM3e. Představte si to jako extrémně širokou a rychlou datovou dálnici přímo u výpočetního jádra. Minimalizuje se tak čas, který data stráví na cestě.

Další zásadní optimalizací je obrovská on-chip SRAM paměť pro takzvaný KV cache. Procesor si nemusí neustále sahat do hlavní paměti pro kontext konverzace. Má ho po ruce ve svém ultrarychlém „poznámkovém bloku“, což dramaticky snižuje latenci a zrychluje generování odpovědí.

Největší kouzlo se ale skrývá v hardwarové akceleraci pro řídké matice (Sparse Matrix Acceleration). Většina neuronových sítí je plná nul. Standardní GPU ale zpracovávají i tyto „prázdné“ hodnoty, což je plýtvání energií.

Jalapeño má mechanismus, který tyto nuly jednoduše přeskočí. Je to jako počítat v Excelu a ignorovat všechny prázdné buňky. Výsledkem je masivní úspora energie a vyšší výkon na watt. Tohle je metrika, kde chce OpenAI porazit Blackwell od Nvidie.

Šéf Broadcomu, Hock Tan, tvrdí, že první vzorky dosahují výkonu srovnatelného s Blackwell a Google TPU. Cílem je snížit náklady na inferenci až o 50 %. To by znamenalo tektonický posun v ekonomice provozu AI služeb.

Celý čip byl údajně navržen za pouhých devět měsíců, částečně díky využití vlastních AI modelů pro automatizaci designu. Je to první krok OpenAI k plné kontrole nad celým stackem – od křemíku až po software. A to je pro Nvidii ta nejhorší zpráva.