Distorsi yang Tidak Terlihat: Mengapa Sistem Kamera ADAS Gagal di Lapangan dan Bagaimana ML Berbasis Fisika Mengubahnya

Apa yang saya lakukan mirip dengan memprediksi bagaimana sepasang kacamata akan melengkungkan penglihatan Anda sebelum Anda memakainya — kecuali konsekuensi kesalahan bukan sakit kepala. Konsekuensinya adalah kegagalan pengereman darurat pada kecepatan 110 km/jam.

Terjadi pada tahap akhir siklus Verifikasi Desain ketika kegagalan muncul — distorsi lensa radial dan tangensial yang parah pada kamera depan ADAS, baru terdeteksi setelah toleransi perakitan optik dikunci dengan pemasok. Perbaikan memerlukan penyesuaian manual offset antara imager dan mount lensa, menjalankan kembali tes MTF dan distorsi grid, serta mengelola risiko tahapan program yang berantai akibat kegagalan DV pada tahap akhir. Penyebab utama bukan cacat manufaktur atau kesalahan desain secara terpisah. Itu sesuatu yang lebih struktural: karakterisasi distorsi kamera sepenuhnya reaktif. Pada saat prototipe fisik sudah ada, sudah terlalu terlambat untuk memperbaiki tumpukan optik secara murah.

Insiden itu langsung menarik saya ke pembelajaran mesin. Jika sebuah CNN yang dilatih pada peta distorsi yang disintesis oleh GAN dapat mendeteksi risiko distorsi barrel, pincushion, dan mustache dari parameter desain optik sebelum lensa diproduksi, kejutan DV dapat dihilangkan sepenuhnya. Itulah masalah yang selama beberapa tahun terakhir saya upayakan solusinya: menggunakan simulasi fisika dan AI untuk memprediksi bagaimana panas dan tegangan mekanis akan mengubah optik kamera selama masa operasional kendaraan, sehingga kegagalan dapat diperbaiki pada fase konsep bukan ditemukan di gerbang produksi.

Berikut ini adalah apa yang telah saya pelajari — tentang arsitektur, data, mode kegagalan, dan kesenjangan antara cara industri berbicara tentang AI dan bagaimana AI sebenarnya berperilaku dalam sistem produksi.

Arsitektur: Perangkat Keras Bertemu ML

Sistem yang paling saya kenal secara mendalam adalah platform kamera depan ADAS yang diterapkan pada berbagai program OEM — modul kritis keselamatan di mana fisika perakitan optik dan kinerja pipeline ML persepsi tidak dapat dipisahkan.

Tumpukan perangkat keras dimulai dengan tabung lensa multi-elemen (desain 6–8 elemen tergantung varian FOV) yang dipasang pada imager CMOS melalui housing mekanik presisi. Pencocokan sudut sinar utama antara pupil keluar lensa dan array mikro-lensa imager adalah kendala penyelarasan kritis — ketidaksesuaian menjadi sumber utama bayangan sudut dan distorsi tergantung bidang. Imager menghasilkan frame mentah pola Bayer ke ISP yang menangani demosaicing, reduksi noise, dan koreksi bayangan lensa sebelum SoC persepsi.

Pipeline deteksi distorsi ML berada di hulu prototipe fisik. Alur data:

• Ruang parameter optik sintetis (jari-jari kelengkungan lensa, toleransi jarak antar elemen, sudut kemiringan sensor gambar, deviasi sudut sinar utama)
• cGAN bersyarat fisika dengan generator U-Net yang mensintesis frame terdistorsi realistis di seluruh FOV
• ResNet-50 klasifier CNN yang dilatih pada citra magnitudo gradien untuk mendeteksi pola distorsi barrel, pincushion, dan mustache
• Skor risiko distorsi dan peta panas spasial — menandai wilayah FOV berisiko tinggi sebelum lensa fisik diproduksi

Mengapa cGAN bersyarat fisika dibandingkan DC-GAN standar? DC-GAN menghasilkan gambar dari vektor laten acak — ia mempelajari distribusi marginal gambar pelatihan, bukan distribusi kondisional yang diberikan keadaan deformasi FEA tertentu. Untuk sintesis peta distorsi, perbedaan ini sangat menentukan. cGAN bersyarat fisika dengan generator U-Net mengkondisikan baik generator maupun discriminator pada bidang deformasi FEA input, memaksa model belajar pemetaan dari keadaan deformasi fisik ke pola distorsi optik. Skip connection pada U-Net mempertahankan gradien distorsi sub-piksel di wilayah sudut FOV yang hilang pada encoder‑decoder standar karena downsampling berulang — dan gradien sudut inilah sinyal utama untuk prediksi kegagalan DV.

Mengapa tidak menggunakan CNN regresi murni? Model regresi meminimalkan mean squared error pada seluruh set pelatihan, secara sistematis meremehkan puncak distorsi di sudut. Tujuan adversarial GAN mendorong generator menghasilkan peta distorsi yang tajam dan kontras tinggi — yang secara kebetulan mempertahankan magnitudo puncak yang dihaluskan oleh model regresi. Ketika ambang kegagalan DV adalah batas keras (MTF50 sudut < 25% atau distorsi > 3 px lokal), meremehkan puncak bukanlah kesalahan konservatif. Itu adalah kegagalan prediksi yang terlewat.

Metrik yang Benar‑Benar Penting

Metrik kinerja optik dan ML dipantau bersama, karena satu tanpa yang lain tidak lengkap.

Kualitas Persepsi Optik

• MTF50: Target ≥45–50% di pusat gambar dan ≥30% di sudut. Kegagalan DV dipicu oleh MTF50 sudut <25% atau penurunan dari pusat ke sudut yang melebihi 40% — titik ketika algoritme persepsi di tahap berikutnya kehilangan kemampuan deteksi tepi yang andal di bagian tepi FOV.
• Distorsi geometris: Target ≤2 px RMS di seluruh FOV. Kegagalan DV terjadi pada distorsi lokal 3 px atau penyimpangan ≥1,5–2% dari model proyeksi ideal — ketika kesalahan deteksi penyimpangan jalur dan estimasi jarak objek mulai berdampak pada keselamatan.
• Stabilitas termal: Rentang operasi −40°C hingga +85°C. Perpindahan gambar yang dapat diterima ≤1–2 px (≈5–10 µm pada bidang sensor). Kegagalan DV pada perpindahan 3 px atau munculnya distorsi nonlinier. Nonlinieritas adalah penanda kritis: sebuah perpindahan linear dapat diperbaiki oleh firmware; drift nonlinier membatalkan seluruh matriks kalibrasi intrinsik.

Kinerja Model ML

• Deteksi: Target mAP ≥0.90, IoU ≥0.75–0.80. Mencapai mAP 0.92–0.95, IoU 0.78–0.85 pada set validasi sintetis yang dipisahkan.
• Tingkat kesalahan: Target FPR ≤5%, target FNR ≤3%. Mencapai FPR 3–5%, FNR 2–3%. Asimetri ini disengaja — kegagalan distorsi yang terlewat (FN) dalam program kamera yang kritis terhadap keselamatan secara kategoris lebih buruk daripada alarm palsu yang memicu tinjauan teknik yang tidak diperlukan.
• Kesehatan pelatihan: Keseimbangan loss generator/discriminator dipantau selama pelatihan GAN melalui TensorBoard. Discriminator yang runtuh adalah kegagalan pelatihan paling berbahaya — terdeteksi lebih awal dengan memantau kepercayaan discriminator di seluruh mini-batch.

Masalah Paling Sulit yang Pernah Saya Selesaikan

Kegagalan paling kompleks yang saya diagnosa bukanlah cacat tunggal — melainkan sebuah kegagalan kopling termal–mekanik–optik yang memakan waktu 6–8 minggu untuk sepenuhnya diurai oleh empat tim dan pada akhirnya memerlukan peninjauan kembali asumsi-asumsi yang tertanam dalam program sejak fase konsep.

Gejalanya sederhana: MTF50 sudut turun di bawah ambang kegagalan DV 25% selama perendaman termal pada +85°C, dan sebuah pola distorsi nonlinier muncul yang tidak ada pada suhu ruang. Nonlinieritas adalah tanda merah kritis — perpindahan linear yang diinduksi termal dapat dikoreksi dalam matriks kalibrasi intrinsik, tetapi distorsi nonlinier membatalkan kalibrasi sepenuhnya dan tidak dapat diperbaiki dengan firmware dalam produksi.

Urutan Diagnostik

• Termografi IR mengungkapkan gradien termal yang tidak seragam pada tabung lensa — pemanasan asimetris akibat perbedaan konduktivitas termal antara bahan rumah lensa dan lapisan ikatan perekat.
• Pemodelan ekspansi termal FEA memprediksi pergeseran lensa dari pusat sebesar 12–15 µm pada +85°C, akibat ketidaksesuaian CTE antara epoksi yang mengeras dengan sinar UV dan rumah aluminium. Hal yang penting, perekat menunjukkan rayapan (creep) di bawah beban termal berkelanjutan — deformasi yang bergantung pada waktu dan tidak dapat pulih kembali.
• Analisis akumulasi toleransi mengungkapkan bahwa pergeseran dari pusat ini, ditambah toleransi nominal ketinggian dudukan sensor gambar (±8 µm), mendorong penyimpangan gabungan sudut sinar utama melewati kerucut penerimaan mikrolensa sensor gambar. Tidak ada satu faktor pun yang gagal jika dinilai secara terpisah.

Penyelesaian memerlukan tiga perubahan terkoordinasi: revisi resep lensa untuk mendistribusikan kembali kompensasi kelengkungan bidang, revisi geometri sambungan ikatan untuk mengurangi lengan tuas CTE, dan penyesuaian kecil oleh pemasok pada saku ikatan housing. Satu siklus termal DV tambahan mengonfirmasi pemulihan. Dampak program: keterlambatan milestone 2–3 minggu, satu siklus uji DV/PV tambahan.

Mode kegagalan yang mencapai produksi hampir tidak pernah menjadi yang ada dalam analisis kasus nominal Anda. Mereka adalah yang berada di batas asumsi Anda — di mana model sistem Anda tidak lagi akurat.

Kegagalan ini secara langsung membentuk alur deteksi ML. Jika prediksi deformasi termal FEA telah dikorelasikan dengan model distorsi terlatih pada CV, risiko creep perekat akan ditandai sebagai wilayah FOV berisiko tinggi sebelum satu prototipe pun dibangun.

Masalah Data yang Tidak Pernah Dibicarakan

Masalah data paling berantakan yang saya selesaikan adalah label yang tidak konsisten dan hilang dalam dataset pelatihan GAN sintetis — dan yang membuatnya benar‑benar sulit adalah label tersebut berasal dari fisika, bukan anotasi manusia. Perbedaan itu mengubah segala hal tentang cara kesalahan label berperilaku.

Dataset tersebut terdiri dari 180 simulasi FEA yang menghasilkan 18.000 pasangan gambar sintetis — bidang termal dan deformasi sebagai array .npy, dipasangkan dengan peta distorsi .png dan master labels.csv. Tiga mode kegagalan memerlukan intervensi pipeline yang eksplisit:

• Ketidaksesuaian resolusi grid FEA: Kepadatan mesh tidak seragam menghasilkan diskontinuitas spasial ketika dirasterkan ke grid input CNN yang seragam. Perbaikan: scipy griddata dengan interpolasi kubik menggantikan resampling bilinear.
• Ekspor simulasi yang tidak lengkap: Simulasi FEA yang berhenti lebih awal menghasilkan berkas .npy parsial dengan medan NaN atau larik deformasi nol — keluaran yang mustahil secara fisik dan akan mengajarkan model bahwa ketiadaan distorsi merupakan hasil yang benar untuk masukan termal ekstrem. Perbaikan: pemindaian setelah pembuatan data untuk membuang kasus dengan fraksi NaN >0,1% serta kasus medan nol.
• Ketidakselarasan transformasi koordinat: Kesalahan pengindeksan yang meleset satu posisi pada transformasi koordinat FEA-ke-gambar memengaruhi ~6–8% sampel — terdeteksi saat pemeriksaan visual lapisan peta distorsi yang ditumpangtindihkan, tetapi tidak terdeteksi oleh pemeriksaan otomatis.

Kesenjangan distribusi juga signifikan: dataset terlalu banyak kasus termal sedang (20°C–60°C) dan sangat kurang terwakili pada ekstrim (−40°C dan +85°C) — tepat pada kondisi operasi yang menentukan kelulusan DV. 800 sampel kasus tepi tambahan dibuat ulang secara manual untuk meningkatkan representasi kasus ekstrim dari 2,2% menjadi 6,8% total sampel.

Intinya: label yang dihasilkan dari fisika tidak otomatis dapat dipercaya. Ketidakstabilan numerik, ketidaksesuaian resolusi, dan kesalahan sistem koordinat menghasilkan kebisingan label yang berkorelasi dengan kondisi masukan tertentu — yang menimbulkan bias pada model tepat pada skenario di mana Anda paling membutuhkan prediksi yang dapat diandalkan.

Risiko yang Diabaikan Industri

Di luar risiko terdokumentasi tentang pergeseran distribusi, bias algoritma, dan serangan adversarial, industri ADAS secara sistematis meremehkan pergeseran kalibrasi selama layanan yang dipicu oleh siklus termal dan penuaan mekanik.

Sistem kamera divalidasi pada kondisi SOP — seperangkat kondisi termal, mekanik, dan lingkungan yang harus dipenuhi kamera pada saat penandatanganan produksi. Validasi tersebut ketat. Namun yang tidak dicakup adalah efek kumulatif dari siklus termal berulang, rayapan material, relaksasi tegangan pemasangan, dan beban getaran jalan selama 100.000 kilometer dan sepuluh tahun operasi kendaraan.

Mekanismenya sudah dipahami: rayapan perekat dan ketidakcocokan CTE antara material yang berbeda menyebabkan pergeseran lambat dan bergantung waktu pada posisi relatif lensa‑ke‑sensor. Setelah tiga tahun siklus suhu antara −30°C dan +70°C, tabung lensa dapat bergeser 8–12 µm relatif terhadap sensor. Matriks kalibrasi intrinsik yang disimpan di ECU tidak lagi merepresentasikan optik fisik secara akurat. Estimasi jarak objek menjadi bias secara sistematis — cukup kecil agar tidak terlihat pada satu frame, namun cukup besar untuk memengaruhi ambang aktivasi pengereman darurat otomatis pada kecepatan jalan raya.

Respons industri tidak memadai dalam dua cara khusus: kalibrasi periodik tidak distandarisasi (tidak ada interval kalibrasi kamera terjadwal, meskipun mekanisme degradasi waktu‑dependen sudah dipahami), dan pemantauan selama layanan tidak diwajibkan (SOTIF menangani ketidakcukupan fungsional pada SOP; tidak menangani degradasi fungsional selama masa pakai operasional).

Akibatnya muncul populasi mode kegagalan tersembunyi: kendaraan di lapangan dengan sistem persepsi yang beroperasi dengan matriks kalibrasi usang, terdegradasi dalam jumlah yang masing‑masing di bawah ambang tetapi secara kolektif signifikan pada armada besar.

Mitos yang Bisa Membunuh Orang

Mitos paling meluas dan berbahaya dalam sistem otonom adalah bahwa akurasi model agregat yang lebih tinggi secara langsung berarti sistem yang lebih aman.

mAP adalah rata‑rata atas distribusi kelas dan skenario pada dataset evaluasi. Ia memberi bobot yang sama pada setiap sampel. Sistem ADAS produksi tidak menemui skenario dengan frekuensi yang sama — ia menemui lane keeping di jalan raya sepuluh ribu kali lebih sering daripada menemui anak yang sebagian terhalang berlari ke jalan dari belakang kendaraan yang diparkir. Model yang meningkatkan mAP sebesar 0,02 dengan menjadi sedikit lebih baik pada skenario nominal berfrekuensi tinggi sementara tetap tidak berubah pada skenario kritis yang jarang, tidak secara berarti meningkatkan keselamatan. Ia hanya meningkatkan metrik.

Saya mengamati ini secara langsung. Model yang menghasilkan mAP 0,95 pada benchmark standar masih dapat menghasilkan false negative yang yakin dengan probabilitas tinggi pada kombinasi khusus sudut silau matahari, degradasi marka jalur, dan geometri kendaraan yang tidak terwakili secara memadai dalam data pelatihan. False negative pada 110 km/jam itu merupakan peristiwa keselamatan. mAP 0,95 tidak mencegahnya.

Apa yang sebenarnya menentukan kepercayaan dalam persepsi kritis keselamatan adalah seperangkat properti yang berbeda:

• Tingkat keparahan dan keterdeteksian mode kegagalan — apakah model gagal tanpa tanda atau menghasilkan keluaran dengan tingkat keyakinan rendah yang memicu mekanisme cadangan?
• Perilaku pada kasus tepi di batas domain desain operasional
• Redundansi tingkat sistem yang menangkap kegagalan persepsi sebelum kegagalan itu menjalar ke keluaran kendali
• Ketidakpastian terkalibrasi— apakah model mengetahui apa yang tidak diketahuinya

Industri perlu mengganti mAP sebagai metrik komunikasi keselamatan utama dengan pelaporan kinerja yang tersegmentasi per skenario — metrik terpisah untuk kondisi nominal, kondisi sensor yang terdegradasi, kelas objek langka, dan skenario batas ODD — dikombinasikan dengan analisis mode kegagalan yang eksplisit. Sampai perubahan itu terjadi, program akan terus mengirimkan sistem yang secara statistik mengesankan namun kadang-kadang berbahaya tepat pada skenario yang paling penting.

Apa yang Akan Saya Katakan kepada Insinyur Junior Besok

Pelajaran paling penting yang tidak diajarkan secara eksplisit oleh kursus pascasarjana mana pun: model tidak gagal secara terpisah. Sistem yang gagal.

Anda dapat menghabiskan enam bulan membangun model persepsi yang mencapai mAP 0.93 dengan kurva loss bersih dan angka IoU yang solid. Kemudian Anda menerapkannya pada perangkat keras kamera nyata dan ia gagal dengan cara yang tidak ada hubungannya dengan arsitektur model. Kalibrasi intrinsik kamera terakhir diperbarui pada kondisi termal 15°C berbeda dari suhu operasi Anda. Pipeline data memiliki transformasi koordinat yang memperkenalkan offset 1-piksel pada wilayah sudut FOV. Skrip pra-pemrosesan gambar menerapkan normalisasi yang sedikit berbeda dari pipeline pelatihan yang digunakan. Tak satu pun dari hal-hal tersebut merupakan masalah model. Semua itu merusak kinerja sistem.

Secara praktis: untuk setiap proyek baru, sebelum menyentuh model, lacak jalur data lengkap dari output sensor hingga label pelatihan dan tanyakan pada setiap langkah — asumsi apa yang dibuat langkah ini, dan kapan asumsi itu gagal? Jawabannya akan memberi Anda lebih banyak informasi tentang di mana sistem akan gagal di produksi daripada eksperimen arsitektur sebanyak apa pun.

Dampak rekayasa nyata berasal dari pertemuan fisika, data, dan batasan sistem — bukan dari kinerja model secara terpisah. Itu adalah bagian yang tidak akan Anda lihat di resume, tetapi di situlah rekayasa nyata terjadi.

Ke Mana Bidang Ini Menuju

Dalam tiga tahun, pembuatan data sintetis dan integrasi digital twin akan menjadi praktik standar dalam pipeline pengembangan kamera ADAS, bukan kemampuan riset. Model ML berbasis fisika yang menyematkan prinsip pertama optik dan mekanik sebagai batasan arsitektural akan menggantikan pendekatan yang semata-mata berbasis data untuk prediksi kualitas persepsi. Kalibrasi mandiri pada perangkat — menggunakan output persepsi kamera itu sendiri untuk mendeteksi dan mengkompensasi drift intrinsik — akan beralih dari prototipe riset menjadi fitur produksi.

Apa yang tidak akan terpecahkan adalah masalah kasus tepi ekor panjang. Ruang kombinatorial skenario kegagalan majemuk — degradasi sensor yang berpotongan dengan geometri jalan tidak biasa yang berpotongan dengan cuaca langka yang berpotongan dengan perilaku pengguna jalan yang tidak tipikal — tidak menyusut secara linier dengan ukuran dataset. Pada yang terbaik, ia menyusut sebagai hukum pangkat, dan ekornya secara efektif tak terbatas. Asumsi bahwa skala menghilangkan masalah ini adalah hal yang paling berbahaya menurut saya tentang pemikiran industri saat ini. Respons rekayasa bukan sekadar lebih banyak data; melainkan definisi domain desain operasional yang konservatif, deteksi kegagalan yang kuat, dan komunikasi jujur kepada pengguna akhir tentang apa yang tidak dapat ditangani secara andal oleh sistem ini.

Komunikasi jujur itulah bagian yang paling enggan disampaikan oleh industri.