Görünmeyen Bozulma: ADAS Kamera Sistemleri Sahada Neden Başarısız Oluyor ve Fizik‑Bilgilendirilmiş ML Nasıl Değiştiriyor

Yaptığım şey, bir çift gözlüğün görüşünüzü üzerinizde takmadan önce nasıl bozacağını tahmin etmeye benzer — ancak hatalı olmanın sonuçları bir baş ağrısı değildir. Sonuç, 110 km/s hızda başarısız bir acil frenleme olayıdır.

Tasarım Doğrulama döngüsünün ilerleyen bir aşamasında, arıza ortaya çıktı — ADAS ön kamerasında şiddetli radyal ve tanjant lens bozulması, yalnızca optik montaj toleransları tedarikçiyle kilitlendiğinde fark edildi. Düzeltme, imajör‑lens montaj ofsetinin manuel olarak ayarlanmasını, MTF ve ızgara bozulma testlerinin yeniden çalıştırılmasını ve geç aşama DV arızasını takiben gelen kademeli program kilometre taşı riskinin yönetilmesini gerektirdi. Temel neden, yalnızca bir üretim hatası ya da tasarım hatası değildi. Daha yapısal bir şeydi: kamera bozulma karakterizasyonu tamamen reaktiftir. Fiziksel prototipler ortaya çıktığında, optik yığını ucuz bir şekilde düzeltmek artık çok geçti.

O olay beni doğrudan makine öğrenimine çekti. GAN‑sentezli bozulma haritalarıyla eğitilmiş bir CNN, herhangi bir lens üretilmeden önce optik tasarım parametrelerinden varil, iğne iğne ve bıyık bozulma riskini tespit edebilseydi, DV sürprizi tamamen ortadan kaldırılabilirdi. Bu, son birkaç yıldır üzerine çalıştığım sorundur: fizik simülasyonu ve AI kullanarak ısı ve mekanik stresin bir kameranın optiğini araç ömrü boyunca nasıl deforme edeceğini tahmin etmek, böylece arızalar kavram aşamasında düzeltilir, üretim kapısında keşfedilmez.

Aşağıdakiler, öğrendiklerimdir — mimari, veri, arıza modları ve bu sektörün AI hakkında konuşma şekli ile AI’nın üretim sistemlerinde gerçekte nasıl davrandığı arasındaki boşluk.

Mimari: Donanım ML ile Buluşuyor

En derin bildiğim sistem, birden fazla OEM programında kullanılan ADAS ön kamera platformudur — optik montajın fiziği ile algılama ML hattının performansının ayrılmaz olduğu güvenlik‑kritik bir modül.

Donanım yığını, FOV varyantına bağlı olarak 6–8 elemanlı tasarım olan çok elemanlı bir lens gövdesiyle başlar ve hassas mekanik bir muhafaza aracılığıyla bir CMOS imajöre monte edilir. Ana ışın açı eşleşmesi lens çıkış pupili ile imajör mikro lens dizisi arasındaki eşleşme kritik hizalama kısıtlamasıdır — uyumsuzluk köşe gölgelendirmesi ve alan‑bağımlı bozulmanın ana kaynağıdır. İmajör, algılama SoC’dan önce demosaicing, gürültü azaltma ve lens gölgelendirme düzeltmesi yapan bir ISP’ye ham Bayer‑desenli kareler gönderir.

ML bozulma tespit hattı, fiziksel prototiplemenin önünde yer alır. Veri akışı:

• Sentetik optik parametre uzayı (mercek eğrilik yarıçapları, eleman aralıkları toleransları, imajör eğim açıları, ana ışın açı sapması)
• Fizik‑koşullandırılmış U‑Net üreteciyle cGAN, gerçekçi bozulmuş kareler sentezleyerek tam FOV boyunca
• ResNet-50 gradient büyüklüğü görüntülerinde eğitilmiş CNN sınıflandırıcı, tespit etmek için varil, iğne iğne ve bıyık bozulma desenlerini
• Bozulma risk skoru ve uzamsal ısı haritası çıktısı — yüksek riskli FOV bölgelerini, herhangi bir fiziksel lens üretilmeden önce işaretler

Neden sade bir DC-GAN yerine fizik‑koşullandırılmış cGAN?DC-GAN, rastgele latent vektörlerden görüntüler üretir — eğitim görüntülerinin marjinal dağılımını öğrenir, belirli bir FEA deformasyon durumu verildiğinde koşullu dağılımı öğrenmez. Bozulma haritası sentezi için bu ayrım belirleyicidir. U‑Net üreteciyle fizik‑koşullandırılmış cGAN, hem üreteci hem de ayırıcıyı giriş FEA deformasyon alanına koşullandırır, modeli fiziksel deformasyon durumundan optik bozulma desenine haritalamayı öğrenmeye zorlar. U‑Net’in atlama bağlantıları, standart bir encoder‑decoder’ın ardışık aşağı örnekleme yoluyla kaybettiği köşe FOV bölgelerindeki alt‑piksel bozulma gradyanlarını korur — ve bu köşe gradyanları DV arıza tahmini için birincil sinyeldir.

Neden saf bir regresyon CNN değil?Regresyon modelleri, eğitim seti üzerinde ortalama kare hatayı minimize eder, köşelerdeki tepe bozulmayı sistematik olarak küçümser. GAN’ın adversarial hedefi, üreteci keskin, yüksek kontrastlı bozulma haritaları üretmeye iter — bu da tesadüfen bir regresyon modelinin yumuşattığı tepe büyüklüklerini korur. DV arıza eşiği katı bir sınır olduğunda (köşe MTF50 < %25 veya bozulma > 3 px yerel), tepe değerlerini küçümsemek muhafazakar bir hata değildir. Bu, kaçırılan bir arıza tahminidir.

Gerçekten Önemli Ölçütler

Optik ve ML performans ölçütleri birlikte izlenir, çünkü biri olmadan diğeri eksiktir.

Optik Algı Kalitesi

• MTF50: Hedef, görüntü merkezinde ≥%45–50, köşelerde ≥%30. DV arızası köşe MTF50 <25% veya merkez‑köşe düşüşü %40’ı aştığında — aşağı akış algılama algoritmalarının FOV periferisinde güvenilir kenar tespitini kaybettiği noktada.
• Geometrik bozulma: Hedef ≤2 px RMS tam FOV boyunca. DV hatası 3 px yerel bozulmada veya ideal projeksiyon modelinden ≥1.5–2% sapmada — şerit terk etme ve nesne mesafe tahmini hatalarının güvenlik açısından ilgili hâle geldiği durumlarda.
• Termal kararlılık: Çalışma aralığı −40°C ile +85°C. Kabul edilebilir görüntü kayması ≤1–2 px (≈5–10 µm sensör düzleminde). DV hatası 3 px kayma veya doğrusal olmayan bozulmanın başlangıcı. Doğrusallık kaybı kritik bir işarettir: bir lineer kayma firmware ile düzeltilebilir; doğrusal olmayan kayma ise içsel kalibrasyon matrisini tamamen geçersiz kılar.

ML Model Performansı

• Algılama: Hedef mAP ≥0.90, IoU ≥0.75–0.80. Elde edilen mAP 0.92–0.95, IoU 0.78–0.85 tutulan doğrulama setlerinde.
• Hata orânları: FPR hedefi ≤5%, FNR hedefi ≤3%. Elde edilen FPR %3–5, FNR %2–3. Asimetri kasıtlıdır — güvenlik kritik bir kamera programında kaçırılan bir bozulma hatası (FN) gereksiz bir mühendislik incelemesi tetikleyen bir yanlış alarma göre kategorik olarak daha kötüdür.
• Eğitim sağlığı: Üreteç/ayırt edici kayıp dengesinin GAN eğitimi boyunca izlenmesi TensorBoard aracılığıyla. Çöküşte olan ayırt edici en tehlikeli eğitim hatasıdır — ayırt ediciyi izleyerek erken tespit edilir mini‑batch’ler arasındaki güven.

Çözümlediğim En Zor Problem

Tanıdığım en karmaşık arıza tek bir kusur değildi — termal‑mekanik‑optik bir bağlanma arızası olup, dört ekip arasında 6–8 hafta süren bir çözüm süreci gerektirdi ve sonunda konsept aşamasından beri programa gömülü varsayımların yeniden incelenmesini zorunlu kıldı.

Belirti basitti: +85°C termal beklemede köşe MTF50, %25 DV hata eşiğinin altına düştü ve oda sıcaklığında bulunmayan doğrusal olmayan bir bozulma deseni ortaya çıktı. Doğrusal olmayanlık kritik bir kırmızı bayraktı — termal kaynaklı doğrusal bir kayma iç kalibrasyon matrisinde düzeltilebilirken, doğrusal olmayan bozulma kalibrasyonu tamamen geçersiz kılar ve üretimde firmware ile yamalanamaz.

Tanı Dizisi

• IR termografi mercek gövdesi boyunca düzensiz bir termal gradyan ortaya koydu — farklı termal iletkenlik nedeniyle asimetrik ısınma kasa malzemesi ve yapıştırıcı bağ katmanı arasında.
• FEA termal genleşme modellemesi +85°C’de 12–15 µm mercek dekaltesi öngördü, bu UV‑sertleştirici epoksi ile alüminyum konut arasındaki CTE uyumsuzluğundan kaynaklanıyordu. Özellikle, yapıştırıcı akma davranışı gösterdi sürekli termal yük altında — zaman‑bağımlı, geri dönüşü olmayan bir deformasyon.
• Tolerans yığın birikimi analizi bu dekalmanın, nominal görüntüleyici yerleşim yüksekliği toleransı (±8 µm), birleşik ana ışın açısal sapmasını görüntüleyici mikro‑lens kabul konisinin ötesine itti. Hiç tek bir katkı sağlayıcı izole şekilde başarısız olmadı.

Çözüm, üç koordineli değişikliği gerektirdi: alan eğriliği telafisini yeniden dağıtmak için mercek reçetesinin revize edilmesi, CTE kol kolunu azaltmak için bağ eklemi geometrisinin revize edilmesi ve konut bağ yuvasının tedarikçi yeniden araçlandırması. Bir ek DV termal döngüsü iyileşmeyi doğruladı. Program etkisi: 2–3 haftalık kilometre taşı gecikmesi, bir ek DV/PV test döngüsü.

Üretime ulaşan arıza modları, neredeyse hiç bir zaman nominal‑durum analizinizdeki gibi olmaz. Bunlar, varsayımlarınızın sınırında, sistem modelinizin artık doğru olmadığı noktalardır.

Bu arıza doğrudan ML algılama hattını şekillendirdi. Eğer FEA termal deformasyon tahminleri CV’de eğitilmiş bir bozulma modeliyle ilişkilendirilseydi, yapıştırıcı akma riski tek bir prototip üretilmeden önce yüksek riskli bir FOV bölgesi olarak işaretlenebilirdi.

Kimsenin Konuşmadığı Veri Sorunu

Çözdüğüm en karmaşık veri sorunu, sentetik GAN eğitim veri setindeki tutarsız ve eksik etiketler idi — ve bunu gerçekten zor kılan, etiketlerin insan tarafından değil, fizik kurallarına dayalı olarak türetilmiş olmasıydı. Bu ayrım, etiket hatalarının davranışını tamamen değiştirir.

Veri seti, 180 FEA simülasyonu üreten 18.000 sentetik görüntü çifti içeriyordu — termal ve deformasyon alanları .npy dizileri olarak, .png bozulma haritaları ve bir master labels.csv ile eşleştirilmiş. Üç arıza modu açık pipeline müdahalesi gerektirdi:

• FEA ızgara çözünürlüğü uyumsuzluğu: Düzensiz ağ yoğunluğu, uniform CNN giriş ızgarasına rasterleştirildiğinde uzaysal kesintilere yol açtı. Çözüm: scipy griddata ile ikili yerine kübik interpolasyon kullanarak yeniden örnekleme.
• Eksik simülasyon dışa aktarımları: FEA çalışmaları erken sonlandırıldı ve NaN alanları içeren kısmi .npy dosyaları yazdı veya sıfır deformasyon dizileri — fiziksel olarak imkânsız çıktılar ki modeli, aşırı termik girdiler için hiçbir bozulmanın doğru olmadığını öğretecekti. Düzeltme: NaN oranını atarak üretim sonrası tarama >0.1% ve sıfır alan durumları.
• Koordinat dönüşüm hizasızlığı: FEA’dan görüntü koordinatına dönüşümde bir birim eksik indeksleme hatası dönüşümü yaklaşık %6–8 örnek etkiledi — görsel bozulma haritası bindirmelerinin denetimi sırasında yakalandı, otomatik kontrollerde görünmez.

Dağılım dengesizliği aynı derecede önemliydi: veri seti orta sıcaklık durumlarında (20°C–60°C) ağırlıklıydı ve uç noktalarda (−40°C ve +85°C) kritik derecede az temsil ediliyordu — tam da DV geçiş/başarısızlıklarını yöneten çalışma koşulları. 800 ek uç durum örneği manuel olarak yeniden üretildi ve uç durum temsili %2.2’den toplam örneklerin %6.8’ine yükseltildi.

Özet: fizik temelli etiketler otomatik olarak güvenilir değildir.Sayısal istikrarsızlık, çözünürlük uyumsuzlukları ve koordinat sistemi hataları, belirli giriş koşullarıyla ilişkili etiket gürültüsü üretir — bu da modeli, en çok güvenilir tahminlere ihtiyaç duyduğunuz senaryolarda tam olarak yanlılaştırır.

Sektörün Görmezden Geldiği Risk

Dağılım kayması, algoritmik önyargı ve adversarial saldırıların iyi belgelenmiş risklerinin ötesinde, ADAS sektörü sistematik olaraktermik döngüleme ve mekanik yaşlanma kaynaklı hizmet içi kalibrasyon sapmasını.

Kamera sistemleri SOP koşullarında doğrulanır — kameranın üretim onayında dayanması gereken tanımlı bir termik, mekanik ve çevresel durum seti. Bu doğrulama titizdir. Ancak kapsamadığı şey, tekrarlanan termik döngüleme, malzeme kayması, montaj gerilme gevşemesi ve yol titreşimi yüklemesinin 100.000 kilometre ve on yıllık araç kullanımı boyunca birikimli etkisidir.

Mekanizma iyi anlaşılmıştır: farklı malzemeler arasındaki yapışkan kayması ve CTE uyumsuzluğu, lens ile görüntüleyici arasındaki göreli konumda yavaş, zamana bağlı kaymalara neden olur. −30°C ile +70°C arasında üç yıl süren sıcaklık döngülemesinden sonra, bir lens gövdesi görüntüleyiciye göre 8–12 µm kaymış olabilir. ECU’da depolanan içsel kalibrasyon matrisi artık fiziksel optiği doğru temsil etmiyor. Nesne mesafe tahminleri sistematik olarak yanlıdır — tek bir karede görünmez kadar küçük, otoacil fren aktivasyon eşiklerinde otoyol hızlarında etkili olacak kadar büyük.

Endüstri yanıtı iki belirli şekilde yetersiz: periyodik yeniden kalibrasyon standartlaştırılmamış (planlı kamera yeniden kalibrasyon aralığı mevcut değil, iyi anlaşılmış zaman‑bağlı bozulma mekanizmalarına rağmen), ve servis içi izleme gerekli değil (SOTIF SOP’de fonksiyonel yetersizliği ele alır; operasyon ömrü boyunca fonksiyonel bozulmayı ele almaz).

Sonuç, gizli bir arıza modu popülasyonudur: sahadaki araçlar, algı sistemleri eski kalibrasyon matrisleri üzerinde çalışmakta, bireysel olarak eşik altı ancak büyük bir filo genelinde anlamlı miktarlarda bozulmuş durumdadır.

İnsanların Öldürülmesine Neden Olabilecek Efsane

Otonom sistemlerdeki en yaygın ve tehlikeli efsane, daha yüksek toplu model doğruluğunun doğrudan daha güvenli sistemlere dönüşmesidir.

mAP, değerlendirme veri setinin sınıf ve senaryo dağılımı üzerindeki ortalamadır. Her örneği eşit ağırlıkta değerlendirir. Bir üretim ADAS sistemi senaryoları eşit sıklıkta karşılaşmaz — otoyol şerit takibini on bin kat daha sık karşılaşırken, park edilmiş bir aracın arkasından yola koşan kısmen örtülen bir çocuğu çok daha nadir görür. mAP’i 0,02 artıran bir model, yüksek frekanslı nominal senaryolarda hafifçe daha iyi olurken nadir güvenlik kritik senaryolarda değişmemişse, güvenliği anlamlı bir şekilde artırmamıştır. Sadece metriği iyileştirmiştir.

Bunu doğrudan gözlemledim. Standart bir benchmarkta mAP 0.95 üreten bir model, eğitim verisinin yeterince temsil etmediği belirli bir güneş parlaması açısı, şerit işareti bozulması ve araç geometrisi kombinasyonunda hâlâ yüksek olasılıklı, kendinden emin bir yanlış negatif üretebilir. 110 km/s’deki bu yanlış negatif bir güvenlik olayıdır. 0.95 mAP bunu engellemedi.

Güvenilirliği gerçekten belirleyen, güvenlik kritik algılamada farklı bir özellik kümesidir:

• Şiddet ve hata modlarının tespit edilebilirliği — model sessizce mi başarısız oluyor yoksa düşük güvenilirlikli bir çıktı mı üretiyor ve bu bir geri dönüşü tetikliyor mu?
• Uç durum davranışı operasyonel tasarım alanının sınırlarında
• Sistem seviyesinde yedeklilik algı hatalarını kontrol çıktılarına yayılmadan önce yakalayan çıktıları
• Kalibre edilmiş belirsizlik — modelin bilmediğini bilip bilmediği

Endüstri, mAP’yi birincil güvenlik iletişim ölçütü olarak, senaryo tabanlı performans raporlaması — nominal koşullar, bozulmuş sensör koşulları, nadir nesne sınıfları ve ODD sınır senaryoları için ayrı ölçütler — ve açık hata modu analiziyle birleştirilmiş şekilde. Bu değişim gerçekleşene kadar, programlar istatistiksel olarak etkileyici ancak en kritik senaryolarda zaman zaman tehlikeli sistemler göndermeye devam edecektir.

Yarın Bir Yeni Mühendise Söyleyeceklerim

Hiçbir lisansüstü dersin açıkça öğretmediği en önemli ders: modeller yalnız başına başarısız olmaz. Sistemler başarısız olur.

Altı ay boyunca mAP 0.93 elde eden, temiz kayıp eğrileri ve sağlam IoU sayılarıyla bir algılama modeli inşa edebilirsiniz. Ardından bunu gerçek kamera donanımına dağıttığınızda, model mimarisiyle hiçbir ilgisi olmayan şekillerde başarısız olur. kamera içsel kalibrasyonu son olarak işletme sıcaklığınızdan 15°C farklı bir termal koşulda güncellenmişti. Veri hattı, köşe görüş alanı bölgelerinde 1 piksel kaydırma yaratan bir koordinat dönüşümüne sahiptir. Görüntü ön işleme betiği, eğitim hattında kullanılandan biraz farklı bir normalizasyon uygular. Bunların hiçbiri model sorunu değildir. Hepsi sistem performansını bozar.

Pratik olarak: her yeni projede, modele dokunmadan önce, sensör çıktısından eğitim etiketine kadar tam veri yolunu izleyin ve her adımda — bu adım hangi varsayımı yapıyor ve bu varsayım ne zaman kırılıyor? — sorusunu sorun. Yanıt, sistemin üretimde nerede başarısız olacağı konusunda mimari denemelerden çok daha fazla bilgi verir.

Gerçek mühendislik etkisi, fizik, veri ve sistem kısıtlamalarının kesişiminden gelir — yalnızca model performansından değil. Bu, özgeçmişte göremeyeceğiniz kısımdır, ancak gerçek mühendisliğin gerçekleştiği yerdir.

Bu Alanın Gittiği Yön

Üç yıl içinde, sentez veri üretimi ve dijital ikiz entegrasyonu standart uygulama olacak, ADAS kamera geliştirme hatlarında araştırma yeteneği olmayacak. Optik ve mekanik birinci prensipleri mimari kısıtlama olarak gömen fizik‑bilinçli ML modelleri, algılama kalitesi tahmini için tamamen veri odaklı yaklaşımların yerini alacak. Cihaz içi kendi kendine kalibrasyon — kameranın kendi algılama çıktısını kullanarak içsel sapmayı tespit edip telafi etme — araştırma prototipinden üretim özelliğine geçecek.

Ne çözülmeyecek uzun kuyruklu uç durum problemi. Birleşik arıza senaryolarının kombinatoryel uzayı — sensör bozulması, alışılmadık yol geometrisi, nadir hava koşulları ve tipik olmayan yol kullanıcı davranışları kesiştiğinde — veri seti boyutuyla lineer olarak küçülmez. En iyi ihtimalle bir güç yasası gibi küçülür ve kuyruk etkili olarak sonsuzdur. Ölçeğin bu sorunu ortadan kaldırdığı varsayımı, mevcut endüstri düşüncesinde en tehlikeli bulduğum şeydir. Mühendislik yanıtı sadece daha fazla veri değildir; muhafazakar operasyonel tasarım alanı tanımı, sağlam arıza tespiti ve bu sistemlerin güvenilir bir şekilde başa çıkamadığı konularda son kullanıcılara dürüst iletişimdir.

Bu dürüst iletişim, endüstrinin en çok vermekte isteksiz olduğu kısımdır.