Forvrengningen du ikke kan se: Hvorfor ADAS-kamerasystemer svikter i felten og hvordan fysikk‑informert ML endrer det

Det jeg gjør er som å forutsi hvordan et par briller vil forvrenge synet ditt før du noen gang setter dem på — bortsett fra at konsekvensene av å ta feil ikke er et hodepine. Det er en mislykket nødbremsesituasjon ved 110 km/t.

Det var sent i en Design Verification‑syklus da feilen oppstod — alvorlig radial og tangentiell linseforvrengning i et ADAS‑frontkamera, oppdaget først etter at toleranser for optisk montering var låst med leverandøren. Løsningen krevde manuell justering av avstanden mellom bildesensor og linsefeste, ny kjøring av MTF‑ og rutenett‑forvrengningstester, og håndtering av den kaskaderende program‑milepælsrisikoen som følger enhver sen‑fase DV‑feil. Rotårsaken var verken en produksjonsdefekt eller en designfeil i isolasjon. Det var noe mer strukturelt: karakterisering av kameraforvrengning var helt reaktiv. Da fysiske prototyper eksisterte, var det for sent å billig korrigere den optiske stabelen.

Den hendelsen trakk meg direkte inn i maskinlæring. Hvis et CNN trent på GAN‑syntetiserte forvrengningskart kunne oppdage risiko for tønne‑, puteknapp‑ og moustasje‑forvrengning fra optiske designparametere før noen linse ble produsert, kunne DV‑overraskelsen elimineres helt. Det er problemet jeg har brukt de siste flere årene på å bygge mot: å bruke fysikksimulering og AI for å forutsi hvordan varme og mekanisk stress vil deformere en kameras optikk gjennom kjøretøyets operative levetid, slik at feil rettes i konseptfasen i stedet for å bli oppdaget ved produksjonsporten.

Det som følger er det jeg har lært — om arkitektur, data, feilmoduser, og gapet mellom hvordan denne industrien snakker om AI og hvordan AI faktisk oppfører seg i produksjonssystemer.

Arkitekturen: Maskinvare møter ML

Systemet jeg kjenner best er ADAS‑frontkameraplattformen som er distribuert i flere OEM‑programmer — en sikkerhetskritisk modul hvor fysikken i den optiske samlingen og ytelsen til persepsjons‑ML‑pipeline er uadskillelige.

Den maskinvare‑stabelen starter med en fler‑element linsehus (6–8 element design avhengig av FOV‑variant) montert på en CMOS‑sensor via et presist mekanisk hus.Matching av hovedstrålevinkel mellom linsens utgangspupill og sensorens mikrolinse‑array er den kritiske justeringsbegrensningen — en mismatch er den primære kilden til kant‑skyggelegging og felt‑avhengig forvrengning. Sensoren leverer rå Bayer‑mønster‑rammer til en ISP som håndterer demosaicing, støydemping og korrigering av linseskjerming før persepsjons‑SoC.

ML‑forvrengningsdeteksjons‑pipeline ligger oppstrøms for fysisk prototyping. Dataprosessen:

• Syntetisk optisk parameterrom (linsekurveradius, elementavstand toleranser, sensorens helningsvinkler, avvik i hovedstrålevinkel)
• Fysikk‑betinget cGAN med U‑Net‑generator som syntetiserer realistiske forvrengte rammer over hele FOV
• ResNet-50 CNN‑klassifikator trent på gradient‑magnitudebilder for å oppdage tønne‑, puteknapp‑ og moustasje‑forvrengningsmønstre
• Forvrengnings risikoscore og romlig varmekart‑utdata — flagger høy‑risiko FOV‑områder før noen fysisk linse produseres

Hvorfor en fysikk‑betinget cGAN i stedet for en vanilla DC‑GAN? DC‑GAN genererer bilder fra tilfeldige latente vektorer — den lærer den marginale fordelingen av treningsbilder, ikke den betingede fordelingen gitt en spesifikk FEA‑deformasjons‑tilstand. For syntese av forvrengningskart er den forskjellen avgjørende. Den fysikk‑betingede cGAN‑en med U‑Net‑generator betinger både generator og diskriminator på det innkommende FEA‑deformasjonsfeltet, og tvinger modellen til å lære kartleggingen fra fysisk deformasjons‑tilstand til optisk forvrengningsmønster. U‑Net‑ens skip‑koblinger bevarer sub‑pixel‑forvrengningsgradienter i hjørne‑FOV‑områder som en standard encoder‑decoder mister gjennom påfølgende ned‑sampling — og disse hjørnegradientene er det primære signalet for DV‑feilprediksjon.

Hvorfor ikke en ren regresjons‑CNN? Regresjonsmodeller minimerer gjennomsnittlig kvadratisk feil over treningssettet, og systematisk undervurderer topp‑forvrengning i hjørnene. GAN‑ens adversarielle mål presser generatoren til å produsere skarpe, høy‑kontrast forvrengningskart — noe som utilsiktet bevarer topp‑magnitudene som en regresjonsmodell jevner ut. Når DV‑feilterskelen er en hard grense (hjørne‑MTF50 < 25 % eller forvrengning > 3 px lokalt), er undervurdering av topper ikke en konservativ feil. Det er en savnet feilprediksjon.

Målingene som faktisk betyr noe

Optiske og ML‑ytelsesmålinger følges sammen, fordi den ene uten den andre er ufullstendig.

Optisk persepsjonskvalitet

• MTF50: Mål ≥45–50 % i bildesenter, ≥30 % i hjørnene. DV‑feil utløses ved hjørne‑MTF50 <25 % eller et fall fra sentrum til hjørne over 40 % — punktet hvor nedstrøms persepsjonsalgoritmer mister pålitelig kantgjenkjenning i FOV‑periferien.
• Geometrisk forvrengning: Mål ≤2 px RMS over hele FOV. DV-feil ved 3 px lokal forvrengning eller ≥1,5–2 % avvik fra den ideelle projeksjonsmodellen — hvor avvik fra kjørefelt og feil i estimering av objektdistanse blir sikkerhetskritisk.
• Termisk stabilitet: Driftsområde −40 °C til +85 °C. Akseptabel bildeskift ≤1–2 px (≈5–10 µm i sensorsplan). DV-feil ved 3 px skift eller innsettelse av ikke‑lineær forvrengning. Ikke‑lineæritet er den kritiske indikatoren: en lineær forskyvning kan korrigeres via fastvaren; ikke‑lineær drift ugyldiggjør den intrinsiske kalibreringsmatrisen fullstendig.

ML-modellens ytelse

• Deteksjon: Mål mAP ≥0,90, IoU ≥0,75–0,80. Oppnådd mAP 0,92–0,95, IoU 0,78–0,85 på hold‑out syntetiske valideringssett.
• Feil rater: FPR-mål ≤5 %, FNR-mål ≤3 %. Oppnådd FPR 3–5 %, FNR 2–3 %. Asymmetrien er bevisst — en savnet forvrengningsfeil (FN) i et sikkerhetskritisk kameraprogram er kategorisk verre enn en falsk alarm som utløser en unødvendig ingeniøroversikt.
• Trenings helse: Generator-/discriminator‑tapbalansen ble fulgt gjennom GAN‑treningen via TensorBoard. En kollapsende discriminator er den mest farlige treningsfeilen — oppdaget tidlig ved å overvåke discriminator tillit over mini‑batcher.

Det vanskeligste problemet jeg har løst

Den mest komplekse feilen jeg diagnostiserte var ikke en enkelt defekt — det var en termisk‑mekanisk‑optisk koblingsfeil som tok 6–8 uker å fullt ut dekomponere over fire team og til slutt krevde en revurdering av antakelser som var innebygd i programmet siden konseptfasen.

Symptomet var enkelt: hjørne‑MTF50 falt under 25 % DV‑feilgrensen under termisk soaking ved +85 °C, og en ikke‑lineær forvrengningsmønster dukket opp som var fraværende ved romtemperatur. Ikke‑lineæritet var den kritiske røde flagget — en lineær termisk‑indusert forskyvning kan korrigeres i den intrinsiske kalibreringsmatrisen, men ikke‑lineær forvrengning ugyldiggjør kalibreringen fullstendig og kan ikke patches via fastvare i produksjon.

Diagnostisk sekvens

• IR termografi avdekket et ikke‑uniformt termisk gradient over linsens skall — asymmetrisk oppvarming på grunn av differensiell termisk ledningsevne mellom husmaterialet og limbindingslaget.
• FEA termisk ekspansjonsmodellering forutså 12–15 µm linsens de‑sentering ved +85 °C, drevet av CTE‑ mismatch mellom UV‑herdende epoxy og aluminiumshuset. Kritisk var at limet viste kryp under vedvarende termisk belastning — tidsavhengig, ikke‑gjenopprettelig deformasjon.
• Toleranse stack‑up analyse avdekket at denne de‑senteringen, kombinert med den nominelle bildesensorens monteringshøyde‑toleranse (±8 µm), skjøv den kombinerte hovedstråle‑ vinkelavviket utenfor bildesensorens mikrolinses akseptkonus. Ingen enkeltbidragsyter feilet i isolasjon.

Løsningen krevde tre koordinerte endringer: revidert linsepreskripsjon for å redistribuere feltkurvaturkompensasjon, revidert bindekoblingsgeometri for å redusere CTE‑armen, og mindre omarbeiding hos leverandør av husets bindelomme. En ekstra DV‑termisk syklus bekreftet gjenoppretting. Programpåvirkning: 2–3 ukers milepælsforsinkelse, én ekstra DV/PV‑testsyklus.

Feilmodusene som når produksjon er nesten aldri de som finnes i din nominelle kasus‑analyse. Det er de som ligger på grensene av dine antakelser — hvor din modell av systemet slutter å være nøyaktig.

Denne feilen formet direkte ML‑deteksjons‑pipeline. Hvis FEA‑termisk deformasjons‑prediksjoner hadde blitt korrelert med en trent forvrengningsmodell ved CV, ville risikoen for limkryp blitt flagget som et høy‑risikoområde i FOV før en eneste prototype ble bygget.

Dataproblemet ingen snakker om

Det mest rotete dataproblemet jeg løste var inkonsistente og manglende etiketter i det syntetiske GAN‑treningsdatasettet — og det som gjorde det genuint vanskelig var at etikettene var fysikk‑avledet, ikke menneskelig annotert. Denne distinksjonen endrer alt om hvordan etikettfeil oppfører seg.

Datasettet bestod av 180 FEA‑simuleringer som genererte 18 000 syntetiske bildepaar — termiske og deformasjonsfelt som .npy‑arrayer, paret med .png‑forvrengningskart og en master‑labels.csv. Tre feilmodus krevde eksplisitt pipeline‑intervensjon:

• FEA gitter‑oppløsnings‑mismatch: Ujevn nett‑tetthet skapte romlige diskontinuiteter når rasterisert til den uniforme CNN‑inndata‑grid’en. Løsning: scipy griddata med kubisk interpolasjon som erstatter bilineær resampling.
• Ufullstendig simuleringseksporter: FEA‑kjøringer som ble avbrutt tidlig skrev delvise .npy‑filer med NaN‑felter eller null‑deformasjons‑arrayer — fysisk umulige utdata som ville lære modellen at ingen forvrengning er korrekt for ekstreme termiske innganger. Løsning: ettergenereringsskanning som forkaster NaN‑fraksjon >0,1% og null‑felt‑tilfeller.
• Koordinat transformasjons‑misjustering: En én‑indeks‑feil i FEA‑til‑bilde‑koordinat transform påvirket ~6–8% av prøvene — oppdaget under visuell inspeksjon av forvrengningskart‑overlegg, usynlig for automatiserte kontroller.

Ubalansen i fordelingen var like betydelig: datasettet var overrepresentert i moderate termiske tilfeller (20°C–60°C) og kritisk underrepresentert i ekstreme tilfeller (−40°C og +85°C) — akkurat de driftsforholdene som styrer DV‑pass/fail. 800 ekstra kant‑tilfelle‑prøver ble manuelt regenerert for å øke representasjonen av ekstreme tilfeller fra 2,2% til 6,8% av totalt antall prøver.

Hovedpoenget: fysikk‑baserte etiketter er ikke automatisk pålitelige. Numerisk ustabilitet, oppløsnings‑mismatch og koordinatsystem‑feil genererer etikettstøy som korrelerer med spesifikke inngangsforhold — noe som skjevfordeler modellen akkurat i de scenariene hvor du trenger pålitelige prediksjoner mest.

Risikoen bransjen ignorerer

Utover de godt dokumenterte risikoene ved distribusjons‑skifte, algoritmisk skjevhet og adversarielle angrep, undervurderer ADAS‑bransjen systematisk kalibreringsdrift i drift som drives av termisk syklusing og mekanisk aldring.

Kamerasystemer valideres under SOP‑forhold — et definert sett av termiske, mekaniske og miljømessige tilstander kameraet må overleve ved produksjonsgodkjenning. Den valideringen er grundig. Det som ikke dekkes, er den kumulative effekten av gjentatt termisk syklusing, material‑creep, avspenning av monteringsstress og veivibrasjonsbelastning over 100 000 kilometer og ti år med kjøretøybruk.

Mekanismen er godt forstått: adhesiv creep og CTE‑mismatch mellom ulike materialer forårsaker langsomme, tidsavhengige forskyvninger i den relative posisjonen mellom linse og bildesensor. Etter tre år med temperatur‑syklusing mellom −30°C og +70°C kan et linsehus ha forskjøvet seg 8–12 µm i forhold til bildesensoren. Den innebygde kalibreringsmatrisen lagret i ECU representerer ikke lenger nøyaktig de fysiske optikkene. Estimater av objektavstand er systematisk skjeve — små nok til å være usynlige i et enkelt bilde, men store nok til å påvirke aktiveringsgrenser for automatisk nødbremsing ved motorveishastigheter.

Industrisvaret er utilstrekkelig på to spesifikke måter: periodisk rekalibrering er ikke standardisert (ingen planlagt intervall for kamera‑rekalibrering finnes, til tross for velkjente tidsavhengige degraderingsmekanismer), og overvåkning i drift er ikke påkrevd (SOTIF tar for seg funksjonell utilstrekkelighet ved SOP; den tar ikke for seg funksjonell degradering over den operative levetiden).

Resultatet er en skjult populasjon av feilmoduser: kjøretøy i felten med persepsjonssystemer som opererer på utdaterte kalibreringsmatriser, degradert med mengder som hver for seg er under terskelen, men samlet sett betydningsfulle over en stor flåte.

Myten som kan føre til dødsfall

Den mest gjennomgripende og farlige myten i autonome systemer er at høyere samlet modellnøyaktighet direkte oversettes til tryggere systemer.

mAP er et gjennomsnitt over evalueringsdatasettets klasse‑ og scenariedistribusjon. Den vekter hver prøve likt. Et produksjons‑ADAS‑system møter ikke scenarier med lik hyppighet — det møter motorveiskjøring med filholdning ti tusen ganger oftere enn det møter et delvis skjult barn som løper inn i veien bak et parkert kjøretøy. En modell som forbedrer mAP med 0,02 ved å bli marginalt bedre i høy‑frekvente nominale scenarier, men forblir uendret i sjeldne sikkerhetskritiske, har ikke betydelig forbedret sikkerheten. Den har kun forbedret målet.

Jeg observerte dette direkte. En modell som oppnår mAP 0,95 på en standard benchmark kan fortsatt generere et selvsikkert, høy‑sannsynlig falskt negativt resultat på en spesifikk kombinasjon av solglare‑vinkel, forringelse av veiskilt og kjøretøygeometri som treningsdataene ikke representerte tilstrekkelig. Dette falske negative ved 110 km/t er en sikkerhetshendelse. 0,95‑mAP hindret det ikke.

Det som faktisk bestemmer pålitelighet i sikkerhetskritisk persepsjon er et annet sett av egenskaper:

• Alvorlighetsgrad og påvisbarhet av feilmoduser — feiler modellen stille eller produserer et lav‑tillit‑output som utløser en fallback?
• Kant‑tilfelle‑ atferd ved grensene av det operasjonelle design‑domenet
• System‑nivå redundans som fanger persepsjonsfeil før de sprer seg til kontroll utganger
• Kalibrert usikkerhet — om modellen vet hva den ikke vet

Bransjen må erstatte mAP som den primære sikkerhetskommunikasjonsmålingen med scenario‑stratifisert ytelsesrapportering — separate målinger for nominale forhold, degradert sensorsituasjon, sjeldne objektklasser og ODD‑grensesnittscenarioer — kombinert med eksplisitt feilmodusanalyse. Inntil dette skiftet skjer, vil programmer fortsette å levere systemer som er statistisk imponerende og av og til farlige i akkurat de scenarioene som betyr mest.

Hva jeg ville fortalt en junioringeniør i morgen

Den viktigste leksjonen som ingen mastergradskurs lærer eksplisitt: modeller feiler ikke isolert. Systemer gjør det.

Du kan bruke seks måneder på å bygge en persepsjonsmodell som oppnår mAP 0,93 med rene tapskurver og solide IoU‑tall. Så distribuerer du den på ekte kamerahardware, og den feiler på måter som ikke har noe med modellarkitekturen å gjøre. kameraens intrinsiske kalibrering ble sist oppdatert ved en termisk tilstand 15 °C fra din drifts­temperatur. Datapipelinen har en koordinattransformasjon som introduserer en 1‑piksels avvik i hjørne‑FOV‑områdene. Bildet‑forbehandlingsskriptet bruker en litt annen normalisering enn trenings‑pipelinen. Ingen av disse er modellproblemer. Alle bryter systemytelsen.

Praktisk: for hvert nytt prosjekt, før du rører ved modellen, spor hele datapathen fra sensorutgang til treningsetikett og spør på hvert trinn — hvilken antakelse gjør dette trinnet, og når brytes den? Svaret vil fortelle deg mer om hvor systemet vil feile i produksjon enn noen mengde arkitektur‑eksperimentering.

Reell ingeniørpåvirkning kommer fra skjæringspunktet mellom fysikk, data og systembegrensninger — ikke fra modellytelse isolert. Det er delen du ikke ser på et CV, men det er hvor den virkelige ingeniørkunsten skjer.

Hvor dette feltet er på vei

Om tre år, syntetisk datagenerering og digital tvilling‑integrasjon vil være standardpraksis i ADAS‑kamerautviklings‑pipelines, ikke en forskningskapasitet. Fysikk‑informert ML‑modeller som innlemmer optiske og mekaniske første‑prinsipper som arkitektoniske begrensninger vil erstatte rent datadrevne tilnærminger for prediksjon av persepsjonskvalitet. På‑enhet‑selvkalibrering — ved å bruke kameraets egen persepsjonsutdata til å oppdage og kompensere for intrinsisk drift — vil gå fra forskningsprototype til produksjonsfunksjon.

Det som ikke vil bli løst er problemet med langhalede kanttilfeller. Det kombinatoriske rommet av sammensatte feilscenarioer — sensordegenerasjon som krysser uvanlig veggeometri som krysser sjeldent vær som krysser atypisk trafikkbrukeradferd — krymper ikke lineært med datasettstørrelse. Det krymper, i beste fall, som en potenslov, og halen er i praksis uendelig. Antakelsen om at skala eliminerer dette problemet er det jeg finner mest farlig ved dagens bransjetenkning. Ingeniørsvaret er ikke mer data alene; det er konservativ definisjon av operasjonelt design‑domene, robust feil­deteksjon og ærlig kommunikasjon til sluttbrukere om hva disse systemene pålitelig ikke kan håndtere.

Den ærlige kommunikasjonen er den delen bransjen er mest motvillig til å levere.