Zkreslení, které nevidíte: Proč selhávají kamery ADAS v praxi a jak fyzikou informované strojové učení to mění

Co dělám, je jako předpovídat, jak vám brýle zkřiví zrak, ještě předtím, než si je nasadíte — jenže následky chyby nejsou jen bolest hlavy. Jsou to selhání nouzového brzdění při 110 km/h.

Bylo to pozdě v cyklu Design Verification, když se selhání objevilo — výrazné radiální a tangenciální zkreslení objektivu v přední kameře ADAS, zachycené až po uzamčení tolerancí optického sestavení u dodavatele. Oprava vyžadovala ruční nastavení offsetu mezi snímačem a držákem objektivu, opětovné provedení testů MTF a mřížkového zkreslení a řízení kaskádového rizika milníků programu, které následuje po jakémkoli pozdním selhání DV. Příčina nebyla izolovaně výrobní vada ani designová chyba. Šlo o něco strukturovanějšího: charakterizace zkreslení kamery byla zcela reaktivní. Když už existovaly fyzické prototypy, bylo už příliš pozdě na levnou opravu optického stacku.

Ta událost mě přímo vtáhla do strojového učení. Kdyby CNN trénovaná na GAN‑syntetizovaných mapách zkreslení dokázala detekovat riziko barelového, polštářového a vousového zkreslení z parametrů optického návrhu ještě před výrobou jakéhokoli objektivu, překvapení DV by mohlo být zcela eliminováno. To je problém, na který jsem posledních několik let pracoval: využít fyzikální simulaci a AI k předpovědi, jak teplo a mechanické napětí deformují optiku kamery během provozní životnosti vozidla, aby se selhání opravila ve fázi konceptu místo toho, aby byla objevena na výrobní bráně.

Následující text shrnuje, co jsem se naučil — o architektuře, datech, režimech selhání a rozdílu mezi tím, jak tento průmysl mluví o AI, a tím, jak se AI ve skutečnosti chová v produkčních systémech.

Architektura: Hardware potkává strojové učení

Systém, který znám nejhlouběji, je platforma přední kamery ADAS nasazená v několika programech OEM — bezpečnostně kritický modul, kde jsou fyzika optického sestavení a výkonnost percepčního ML pipeline neoddělitelné.

Hardwarový stack začíná vícestupňovým objektivovým tělem (design 6–8 elementů v závislosti na variantě FOV) namontovaným na CMOS snímač přes precizní mechanický pouzdro. Shoda úhlu hlavního paprsku mezi výstupní pupilou objektivu a mikro‑objektivovým polem snímače je kritickým zarovnávacím omezením — nesoulad je hlavní příčinou stínování v rozích a zkreslení závislého na poli. Snímač vystavuje surové snímky v Bayerově vzoru ISP, který provádí demosaicing, redukci šumu a korekci stínování objektivu, před percepčním SoC.

Detekční pipeline ML pro zkreslení se nachází před fyzickým prototypováním. Datový tok:

• Syntetický optický parametrický prostor (poloměry zakřivení objektivu, rozestupy elementů tolerance, úhly náklonu snímače, odchylka úhlu hlavního paprsku)
• Fyzikou podmíněný cGAN s generátorem U‑Net syntetizující realistické zkreslené snímky po celé FOV
• ResNet-50 Klasifikátor CNN trénovaný na obrazech gradientové velikosti pro detekci barelových, polštářových a vousových vzorů zkresnění
• Zkreslení skóre rizika a výstup prostorové tepelné mapy — označující vysoce rizikové oblasti FOV před výrobou jakéhokoli fyzického objektivu

Proč fyzikou podmíněný cGAN místo vanilla DC‑GAN? DC‑GAN generuje obrazy z náhodných latentních vektorů — učí se marginální distribuci trénovacích obrazů, nikoli podmíněnou distribuci danou konkrétním stavem deformace FEA. Pro syntézu mapy zkreslení je tento rozdíl rozhodující. Fyzikou podmíněný cGAN s generátorem U‑Net podmiňuje jak generátor, tak diskriminátor vstupním polem deformace FEA, čímž nutí model naučit se mapování od fyzického stavu deformace k optickému vzoru zkreslení. Skip‑spojení U‑Net zachovávají subpixelové gradienty zkreslení v rozích FOV, které standardní encoder‑decoder ztrácí při postupném downsamplingu — a tyto gradienty v rozích jsou hlavním signálem pro předpověď selhání DV.

Proč ne čistý regresní CNN? Regresní modely minimalizují střední kvadratickou chybu napříč trénovací sadou, systematicky podceňují špičkové zkreslení v rozích. Adversariální cíl GAN tlačí generátor k vytváření ostrých, vysokokontrastních map zkreslení — což náhodně zachovává špičkové hodnoty, které regresní model vyhlazuje. Když je prah selhání DV tvrdou hranicí (rohový MTF50 < 25 % nebo zkreslení > 3 px lokálně), podcenění špiček není konzervativní chyba. Je to zmeškaná předpověď selhání.

Metriky, které jsou skutečně důležité

Metriky výkonnosti optiky a ML jsou sledovány společně, protože jedna bez druhé je neúplná.

Kvalita optického vnímání

• MTF50: Cíl ≥45–50 % ve středu obrazu, ≥30 % v rozích. Selhání DV vyvoláno, když rohový MTF50 <25 % nebo pokles středu k rohu přesahuje 40 % — bod, kdy podřadné percepční algoritmy ztrácejí spolehlivé detekování hran na periferii FOV.
• Geometrické zkreslení: Cíl ≤2 px RMS po celém zorném poli. Selhání DV při 3 px lokálním zkreslení nebo ≥1,5–2 % odchylkou od ideálního projekčního modelu — kde odchylky v odbočování jízdního pruhu a odhadu vzdálenosti objektu se stávají bezpečnostně relevantními.
• Termální stabilita: Provozní rozsah −40 °C až +85 °C. Přijatelný posun obrazu ≤1–2 px (≈5–10 µm v rovině senzoru). Selhání DV při posunu 3 px nebo vzniku nelineárního zkreslení. Nelinearita je kritickým signálem: lineární posun lze opravit firmwarem; nelineární drift zcela ruší intrinzikální kalibrační matici.

Výkon modelu ML

• Detekce: Cílové mAP ≥0.90, IoU ≥0.75–0.80. Dosažené mAP 0.92–0.95, IoU 0.78–0.85 na oddělených syntetických validačních sadách.
• Míry chyb: Cíl FPR ≤5 %, cíl FNR ≤3 %. Dosažené FPR 3–5 %, FNR 2–3 %. Asymetrie je úmyslná — vynechané selhání zkreslení (FN) v kritickém kamerovém programu je kategoricky horší než falešný poplach, který spouští zbytečnou technickou revizi.
• Stav tréninku: Rovnováha ztrát generátoru/discriminátoru sledována během celého tréninku GAN pomocí TensorBoardu. Kolabující discriminátor je nejnebezpečnější selhání tréninku — zachytí se včas sledováním důvěry discriminátoru napříč mini-batchi.

Nejtěžší problém, který jsem vyřešil

Nejkomplexnější selhání, které jsem diagnostikoval, nebyla jediná vada — šlo o tepelně‑mechanicko‑optické spínací selhání, které trvalo 6–8 týdnů, aby se plně rozložilo napříč čtyřmi týmy a nakonec vyžadovalo přezkoumání předpokladů zakotvených v programu od fáze konceptu.

Příznak byl jednoduchý: MTF50 v rohu klesl pod 25 % práh selhání DV během tepelném namáčení při +85 °C, a se objevil nelineární vzor zkreslení, který při pokojové teplotě chyběl. Nelinearita byla kritickým červeným signálem — lineární termicky‑indukovaný posun lze opravit v intrinzikální kalibrační matici, ale nelineární zkreslení kalibraci zcela ruší a nelze jej opravit firmwarem v produkci.

Diagnostická sekvence

• IR termografie odhalila nejednotný teplotní gradient napříč tělem objektivu — asymetrické zahřívání kvůli rozdílné tepelně vodivosti mezi materiálem pouzdra a lepidlovou vrstvou spoje.
• FEA modelování termické roztažnosti předpovědělo 12–15 µm decentraci objektivu při +85 °C, způsobené nesouladem CTE mezi UV‑tvrdnou epoxidovou pryskyřicí a hliníkovým pouzdrem. Kriticky, lepidlo vykazovalo proudění při trvalém tepelném zatížení — časově závislou, neobnovitelnou deformaci.
• Toleranční analýza skládání odhalila, že tato decentrace, spojená s nominální tolerancí výšky umístění snímače (±8 µm), posunula kombinovanou odchylku hlavního paprsku mimo akceptační kužel mikroobjektivu snímače. Žádný jednotlivý přispěvatel neuspěl izolovaně.

Řešení vyžadovalo tři koordinované změny: upravený předpis objektivu pro redistribuci kompenzace zakřivení pole, upravená geometrie spoje pro snížení páky CTE a menší přepracování dodavatelem pouzdra spoje. Jeden další termální cyklus DV potvrdil obnovu. Dopad na program: zpoždění milníku o 2–3 týdny, jeden další testovací cyklus DV/PV.

Selhávací režimy, které dorazí do výroby, jsou téměř nikdy ty, které jsou ve vaší analýze nominálního případu. Jsou to ty na hranici vašich předpokladů — kde váš model systému přestává být přesný.

Toto selhání přímo formovalo pipeline detekce ML. Kdyby byly předpovědi termické deformace FEA korelovány s trénovaným modelem zkreslení v CV, riziko proudění lepidla by bylo označeno jako vysoce riziková oblast FOV ještě před tím, než byl postaven jediný prototyp.

Datový problém, o kterém se nikdo nezmiňuje

Nejnepořádanější datový problém, který jsem vyřešil, byl nekonzistentní a chybějící štítky v syntetické tréninkové sadě GAN — a co ho činilo skutečně obtížným, bylo to, že štítky byly odvozeny z fyziky, ne lidsky anotované. Toto rozlišení mění vše ohledně chování chyb štítků.

Datová sada obsahovala 180 FEA simulací generujících 18 000 syntetických párů obrázků — termální a deformace pole jako .npy pole, spárované s .png mapami zkreslení a hlavním souborem labels.csv. Tři režimy selhání vyžadovaly explicitní zásah do pipeline:

• FEA nesoulad rozlišení mřížky: Nejednotná hustota sítě vytvořila prostorové nespojitosti při rasterizaci na jednotnou vstupní mřížku CNN. Oprava: scipy griddata s kubickou interpolací místo bilineárního přeskupování.
• Neúplné exporty simulací: běhy FEA byly předčasně ukončeny a zapsaly částečné soubory .npy s NaN poli nebo polemi nulové deformace — fyzicky nemožné výstupy, které by model naučily, že žádná deformace není správná pro extrémní termální vstupy. Oprava: po‑generace skenování a vyřazení NaN podílu >0,1 % a případů nulových polí.
• Chybná zarovnání transformace: Chyba o jeden index v transformaci z FEA na obrazovou souřadnici ovlivnila přibližně 6–8 % vzorků — zachyceno při vizuální kontrole překryvů mapy zkreslení, neviditelné pro automatické kontroly.

Nevyváženost rozdělení byla stejně významná: datová sada byla přeplněná středními termálními případy (20 °C–60 °C) a kriticky podreprezentovaná v extrémech (−40 °C a +85 °C) — přesně ty provozní podmínky, které určují úspěšnost DV. Bylo manuálně vygenerováno dalších 800 vzorků krajních případů, aby se podíl extrémních případů zvýšil ze 2,2 % na 6,8 % celkového počtu vzorků.

Klíčová myšlenka: štítky odvozené z fyziky nejsou automaticky důvěryhodné. Numerická nestabilita, nesoulad rozlišení a chyby souřadnicových systémů vytvářejí šum štítků, který je korelován se specifickými vstupními podmínkami — což model zkresluje právě v scénářích, kde jsou spolehlivé předpovědi nejvíce potřeba.

Riziko, které odvětví přehlíží

Mimo dobře zdokumentovaná rizika posunu rozdělení, algoritmické zaujatosti a adversariálních útoků, odvětví ADAS systematicky podceňuje posun kalibrace během provozu způsobený termickým cyklením a mechanickým stárnutím.

Kamery jsou ověřovány za podmínek SOP — definované sady termických, mechanických a environmentálních stavů, které kamera musí přežít při schválení výroby. Toto ověření je přísné. Nepokrývá však kumulativní dopad opakovaného termického cyklování, křehnutí materiálu, uvolňování napětí v montáži a zatížení vibracemi silnice během 100 000 kilometrů a deseti let provozu vozidla.

Mechanismus je dobře pochopen: křehnutí lepidla a nesoulad koeficientu teplotní roztažnosti (CTE) mezi různými materiály způsobují pomalé, časově závislé posuny relativní polohy objektivu k snímači. Po třech letech cyklování teplot mezi −30 °C a +70 °C může pouzdro objektivu posunout o 8–12 µm vůči snímači. Vnitřní kalibrační matice uložená v ECU již přesně neodráží fyzickou optiku. Odhady vzdálenosti objektu jsou systematicky zkreslené — dostatečně malé, aby byly neviditelné v jednotlivých snímcích, ale dostatečně velké, aby ovlivnily prahové hodnoty aktivace automatického nouzového brzdění při rychlostech na dálnici.

Odpověď odvětví je nedostatečná ve dvou konkrétních ohledech: periodické překalibrace nejsou standardizovány (neexistuje naplánovaný interval překalibrace kamer, přestože jsou dobře pochopeny časově závislé mechanismy degradace), a monitorování během provozu není vyžadováno (SOTIF řeší funkční nedostatečnost při SOP; neřeší funkční degradaci během provozní životnosti).

Výsledkem je skrytá populace selhávajících režimů: vozidla v terénu s percepčními systémy pracujícími na zastaralých kalibračních maticích, degradovaných o hodnoty, které jsou jednotlivě pod prahem, ale kolektivně významné napříč velkým vozovým parkem.

Mýtus, který může vést k úmrtí lidí

Nejrozšířenějším a nejnebezpečnějším mýtem v autonomních systémech je, že vyšší celková přesnost modelu přímo vede k bezpečnějším systémům.

mAP je průměr přes rozdělení tříd a scénářů evaluačního datového souboru. Každý vzorek váží stejně. Produkční systém ADAS nečelí scénářům se stejnou četností — setkává se s udržováním jízdního pruhu na dálnici deset tisíckrát častěji než s částečně zakrytým dítětem běžícím na silnici za zaparkovaným vozidlem. Model, který zlepší mAP o 0,02 tím, že se mírně zlepší v častých nominálních scénářích, zatímco zůstane nezměněn u vzácných kritických scénářů, podstatně nezvýšil bezpečnost. Zlepšil pouze metriku.

Toto jsem pozoroval přímo. Model dosahující mAP 0,95 na standardním benchmarku může stále generovat jistý, vysoce pravděpodobný falešný negativ při konkrétní kombinaci úhlu slunečního oslnění, degradace značení jízdních pruhů a geometrie vozidla, kterou tréninková data dostatečně neodrážela. Tento falešný negativ při 110 km/h představuje bezpečnostní událost. mAP 0,95 to nezabránilo.

Co ve skutečnosti určuje důvěryhodnost v kritické percepci, jsou jiné vlastnosti:

• Vážnost detekovatelnost selhávajících režimů — selže model tiše nebo vytvoří výstup s nízkou důvěrou, který spustí záložní režim?
• Chování v krajních případech na hranicích operačního designového prostoru
• Systémová redundance která zachytí selhání percepce dříve, než se rozšíří do řídicích výstupů
• Kalibrovaná nejistota — zda model ví, co neví

Průmysl potřebuje nahradit mAP jako hlavní metriku bezpečnostní komunikace scénářově stratifikovaným reportováním výkonu — samostatnými metrikami pro nominální podmínky, degradované podmínky senzorů, vzácné třídy objektů a scénáře na hranicích ODD — v kombinaci s explicitní analýzou selhání. Dokud k této změně nedojde, programy budou i nadále dodávat systémy, které jsou statisticky působivé a občas nebezpečné právě v těch scénářích, na kterých nejvíce záleží.

Co bych zítra řekl juniornímu inženýrovi

Nejdůležitější lekce, kterou žádný magisterský kurz výslovně nevyučuje: modely neselžou izolovaně. Systémy ano.

Můžete strávit šest měsíců budováním percepčního modelu, který dosahuje mAP 0.93 s čistými křivkami ztráty a solidními hodnotami IoU. Pak jej nasadíte na skutečný kamerový hardware a selže způsoby, které nemají nic společného s architekturou modelu. Kalibrace vnitřních parametrů kamery byla naposledy aktualizována při teplotě o 15 °C odlišné od vaší provozní teploty. Datová pipeline má transformaci souřadnic, která zavádí posun o 1 pixel v rozích zorného pole. Skript pro předzpracování obrazu používá mírně odlišnou normalizaci než tréninková pipeline. Žádná z těchto věcí není problém modelu. Všechny narušují výkon systému.

Prakticky: pro každý nový projekt, předtím než se dotknete modelu, sledovat celý datový tok od výstupu senzoru po tréninkový štítek a na každém kroku se ptát — jaký předpoklad tento krok dělá a kdy tento předpoklad selže? Odpověď vám řekne víc o tom, kde systém selže v produkci, než jakékoli množství experimentování s architekturou.

Skutečný inženýrský dopad pochází ze střetu fyziky, dat a systémových omezení — ne z výkonu modelu v izolaci. To je část, kterou neuvidíte v životopisu, ale právě zde se děje skutečné inženýrství.

Kam směřuje toto odvětví

Za tři roky, syntetická generace dat a integrace digitálních dvojčat se stanou standardní praxí v pipeline vývoje ADAS kamer, nikoli výzkumnou schopností. Modely strojového učení informované fyzikou, které vkládají optické a mechanické základní principy jako architektonická omezení, nahradí čistě datově řízené přístupy pro predikci kvality percepce. Samokalibrace na zařízení — využívající výstup percepce kamery k detekci a kompenzaci vnitřního posunu — přejde z výzkumného prototypu na produkční funkci.

Co nebude vyřešeno je problém dlouhého ocasu okrajových případů. Kombinatorický prostor složených selhávacích scénářů — degradace senzoru v kombinaci s neobvyklou geometrií silnice, vzácným počasím a atypickým chováním účastníků silničního provozu — se nezmenšuje lineárně s velikostí datové sady. Zmenšuje se nejlépe jako mocninný zákon a ocas je v podstatě nekonečný. Předpoklad, že měřítko tento problém eliminuje, je podle mě nejnebezpečnější na současné myšlení v průmyslu. Inženýrská reakce není jen více dat; jde o konzervativní definici operačního designového domény, robustní detekci selhání a upřímnou komunikaci koncovým uživatelům o tom, co tyto systémy spolehlivě nezvládnou.

Tato upřímná komunikace je část, kterou průmysl nejvíce váhá poskytnout.