Konec kamer v autonomii? Ouster integruje barevný obraz přímo do lidaru

Dnešní autonomní systémy, ať už v autech nebo průmyslových robotech, se spoléhají na slepenec senzorů. Lidar pro 3D data, kamera pro barevný obraz. Problém? Tato data se musí složitě a výpočetně draze synchronizovat.

Každá milisekunda zpoždění nebo drobná chyba v kalibraci mezi kamerou a lidarem je potenciální riziko. Ouster teď tvrdí, že tenhle problém vyřešil. Přímo v hardwaru.

Fúze na úrovni fyziky

Jejich nová architektura REV8 přichází s tím, co nazývají nativní barevný lidar. Není to jen kamera přilepená k lidaru. Jde o jediný senzor, který sbírá hloubku i barvu současně. Srdcem všeho je jejich vlastní čip L4 Ouster Silicon.

Ten využívá detektory SPAD (Single Photon Avalanche Diode). Představte si to zjednodušeně tak, že senzor nevysílá jen laserový paprsek, ale rovnou miliardy barevně „označených“ fotonů. Když se foton vrátí, detektor zaznamená nejen dobu letu (tedy vzdálenost), ale i jeho původní barvu.

Výsledkem je dokonale srovnaný 3D bodový mrak (point cloud), kde každý jednotlivý bod v prostoru má od samého začátku přiřazenou svou reálnou barvu. Odpadá tak nutnost mapovat 2D obraz z kamery na 3D data z lidaru.

Co to znamená v praxi

Specifikace jsou působivé. 48bitová barevná hloubka a dynamický rozsah 116 dB překonávají řadu průmyslových kamer. Senzor tak dokáže vidět detaily ve velmi tmavých stínech i na přímém slunci zároveň, což je kritické třeba při výjezdu z tunelu.

Ohromný je i výpočetní výkon na čipu – 42.9 GMACs. To znamená, že senzor sám provádí veškeré zpracování a fúzi dat. Do hlavního počítače vozidla nebo robota už posílá hotový, barevný 3D model reality.

To dramaticky snižuje latenci a zjednodušuje celý softwarový stack. Vývojáři už nemusí řešit komplexní kalibraci a synchronizaci, ale mohou pracovat s jedním čistým datovým proudem. Je to přesun od řešení fúze v softwaru k jejímu vyřešení na úrovni fyziky a křemíku.