Sự Biến Dạng Bạn Không Thấy: Tại sao Hệ thống Camera ADAS gặp thất bại trên thực địa và cách Machine Learning dựa trên vật lý thay đổi điều này

Công việc của tôi giống như dự đoán cách một cặp kính sẽ làm biến dạng tầm nhìn của bạn trước khi bạn đeo chúng — ngoại trừ hậu quả của việc sai lầm không chỉ là một cơn đau đầu. Đó là một sự kiện phanh khẩn cấp thất bại ở tốc độ 110 km/h.

Vào giai đoạn muộn của chu kỳ Xác Minh Thiết Kế, lỗi đã xuất hiện — biến dạng ống kính theo hướng bán kính và tiếp tuyến nghiêm trọng trên camera trước ADAS, chỉ được phát hiện sau khi các dung sai lắp ráp quang học đã được khóa với nhà cung cấp. Việc khắc phục yêu cầu điều chỉnh thủ công độ lệch giữa cảm biến và giá đỡ ống kính, chạy lại các thử nghiệm MTF và biến dạng lưới, và quản lý rủi ro chuỗi các mốc chương trình phát sinh sau bất kỳ lỗi DV giai đoạn muộn nào. Nguyên nhân gốc không phải là lỗi sản xuất hay lỗi thiết kế riêng lẻ. Đó là một vấn đề mang tính cấu trúc hơn: đặc trưng biến dạng camera hoàn toàn phản ứng. Khi các nguyên mẫu vật lý đã tồn tại, đã quá muộn để sửa chữa ngăn xếp quang học một cách rẻ tiền.

Sự cố đó đã đưa tôi trực tiếp vào lĩnh vực machine learning. Nếu một mạng CNN được huấn luyện trên các bản đồ biến dạng được tổng hợp bởi GAN có thể phát hiện rủi ro biến dạng thùng, nón kim và râu từ các tham số thiết kế quang học trước khi bất kỳ ống kính nào được sản xuất, thì bất ngờ DV có thể được loại bỏ hoàn toàn. Đó là vấn đề mà tôi đã dành vài năm qua để xây dựng: sử dụng mô phỏng vật lý và AI để dự đoán cách nhiệt và ứng suất cơ học sẽ làm biến dạng quang học của camera trong suốt vòng đời hoạt động của xe, để các lỗi được sửa chữa ở giai đoạn khái niệm thay vì được phát hiện tại cổng sản xuất.

Những gì tiếp theo là những gì tôi đã học — về kiến trúc, dữ liệu, các chế độ thất bại, và khoảng cách giữa cách ngành này nói về AI và cách AI thực sự hoạt động trong các hệ thống sản xuất.

Kiến Trúc: Phần Cứng Gặp Machine Learning

Hệ thống mà tôi hiểu sâu nhất là nền tảng camera trước ADAS được triển khai trên nhiều chương trình OEM — một mô-đun quan trọng về an toàn, nơi vật lý của bộ lắp ráp quang học và hiệu suất của pipeline perception ML không thể tách rời.

Ngăn xếp phần cứng bắt đầu với một ống kính đa phần tử (thiết kế 6–8 phần tử tùy thuộc vào biến thể FOV) được gắn vào cảm biến CMOS qua một vỏ cơ học chính xác. Khớp góc tia chính giữa mắt lỗ ra của ống kính và mảng micro-ống kính của cảm biến là ràng buộc căn chỉnh quan trọng — một sự không khớp là nguồn gốc chính của hiện tượng bóng góc và biến dạng phụ thuộc vào trường. Cảm biến xuất các khung hình thô dạng Bayer cho một ISP xử lý demosaicing, giảm nhiễu và hiệu chỉnh bóng ống kính trước khi chuyển sang SoC perception.

Pipeline phát hiện biến dạng ML nằm ở phía trước quá trình tạo mẫu vật lý. Dòng dữ liệu:

• Tổng hợp không gian tham số quang học (bán kính độ cong ống kính, khoảng cách phần tử độ dung sai, góc nghiêng cảm biến, độ lệch góc tia chính)
• Có điều kiện vật lý cGAN với bộ sinh U‑Net tạo ra các khung hình biến dạng thực tế trên toàn bộ FOV
• ResNet-50 bộ phân loại CNN được huấn luyện trên các ảnh độ lớn gradient để phát hiện các mẫu biến dạng thùng, nón kim và râu
• Biến dạng điểm rủi ro và bản đồ nhiệt không gian — đánh dấu các vùng FOV có rủi ro cao trước khi bất kỳ ống kính vật lý nào được sản xuất

Tại sao lại dùng cGAN có điều kiện vật lý thay vì DC-GAN thuần túy? DC-GAN tạo ra hình ảnh từ các vector tiềm ẩn ngẫu nhiên — nó học phân phối biên của các hình ảnh huấn luyện, không phải phân phối có điều kiện dựa trên trạng thái biến dạng FEA cụ thể. Đối với việc tổng hợp bản đồ biến dạng, sự khác biệt này là quyết định. cGAN có điều kiện vật lý với bộ sinh U‑Net đặt cả bộ sinh và bộ phân biệt dựa trên trường biến dạng FEA đầu vào, buộc mô hình học cách ánh xạ từ trạng thái biến dạng vật lý sang mẫu biến dạng quang học. Các kết nối skip của U‑Net bảo tồn các gradient biến dạng dưới pixel tại các vùng góc FOV mà bộ mã hoá‑giải mã tiêu chuẩn mất đi qua việc giảm mẫu liên tiếp — và những gradient góc này là tín hiệu chính cho việc dự đoán thất bại DV.

Tại sao không dùng CNN hồi quy thuần túy? Các mô hình hồi quy giảm thiểu sai số bình phương trung bình trên toàn bộ tập huấn luyện, liên tục đánh giá thấp độ biến dạng đỉnh ở các góc. Mục tiêu đối kháng của GAN đẩy bộ sinh tạo ra các bản đồ biến dạng sắc nét, độ tương phản cao — đồng thời vô tình bảo tồn các giá trị đỉnh mà mô hình hồi quy làm mờ đi. Khi ngưỡng thất bại DV là một ranh giới cứng (MTF50 góc < 25% hoặc biến dạng > 3 px local), việc đánh giá thấp các đỉnh không phải là lỗi thận trọng. Đó là một dự đoán thất bại bị bỏ lỡ.

Các Chỉ Số Thực Sự Quan Trọng

Các chỉ số hiệu suất quang học và ML được theo dõi đồng thời, vì một trong hai thiếu còn lại sẽ không đầy đủ.

Chất Lượng Nhận Thức Quang Học

• MTF50: Mục tiêu ≥45–50% tại trung tâm ảnh, ≥30% tại các góc. Lỗi DV kích hoạt khi MTF50 góc <25% hoặc giảm từ trung tâm đến góc vượt quá 40% — là thời điểm mà các thuật toán nhận thức hạ nguồn mất khả năng phát hiện cạnh đáng tin cậy ở ngoại vi FOV.
• Biến dạng hình học: Mục tiêu ≤2 px RMS trên toàn bộ trường nhìn. Lỗi DV xảy ra khi biến dạng cục bộ 3 px hoặc lệch ≥1,5–2% so với mô hình chiếu lý tưởng — nơi mà lỗi lệch làn đường và ước lượng khoảng cách vật thể trở nên có liên quan đến an toàn.
• Ổn định nhiệt: Phạm vi hoạt động −40°C đến +85°C. Dịch chuyển hình ảnh chấp nhận được ≤1–2 px (≈5–10 µm tại mặt phẳng cảm biến). Lỗi DV xảy ra khi dịch chuyển 3 px hoặc xuất hiện biến dạng phi tuyến. Phi tuyến là dấu hiệu quan trọng: một dịch chuyển tuyến tính có thể được sửa bằng firmware; độ trôi phi tuyến làm mất hiệu lực hoàn toàn ma trận hiệu chuẩn nội tại.

Hiệu suất Mô hình ML

• Phát hiện: Mục tiêu mAP ≥0.90, IoU ≥0.75–0.80. Đạt được mAP 0.92–0.95, IoU 0.78–0.85 trên các tập hợp xác thực tổng hợp chưa dùng.
• Tỷ lệ lỗi: Mục tiêu FPR ≤5%, FNR ≤3%. Đạt được FPR 3–5%, FNR 2–3%. Sự bất đối xứng là có chủ đích — một lỗi biến dạng bị bỏ lỡ (FN) trong một chương trình camera có tính an toàn cao là tệ hơn rõ rệt so với một cảnh báo sai gây ra việc xem xét kỹ thuật không cần thiết.
• Sức khỏe đào tạo: Cân bằng mất mát bộ sinh/đối kháng được theo dõi suốt quá trình đào tạo GAN qua TensorBoard. Một bộ đối kháng sụp đổ là lỗi đào tạo nguy hiểm nhất — được phát hiện sớm bằng cách giám sát độ tin cậy của bộ đối kháng trong các mini-batch.

Vấn đề Khó Nhất Mình Đã Giải Quyết

Trường hợp lỗi phức tạp nhất tôi chẩn đoán không phải là một khuyết tật đơn lẻ — mà là một lỗi liên kết nhiệt‑cơ‑quang mất 6–8 tuần để phân tích hoàn toàn qua bốn đội và cuối cùng yêu cầu xem xét lại các giả định đã được nhúng vào chương trình kể từ giai đoạn ý tưởng.

Triệu chứng rất rõ ràng: MTF50 góc giảm xuống dưới ngưỡng lỗi DV 25% trong quá trình ngâm nhiệt ở +85°C, và một mẫu biến dạng phi tuyến xuất hiện mà không có ở nhiệt độ phòng. Phi tuyến là dấu hiệu cảnh báo quan trọng — một dịch chuyển tuyến tính do nhiệt có thể được sửa trong ma trận hiệu chuẩn nội tại, nhưng biến dạng phi tuyến làm mất hoàn toàn hiệu chuẩn và không thể vá bằng firmware trong sản xuất.

Chuỗi Chẩn đoán

• IR nhiệt ảnh tiết lộ một gradient nhiệt không đồng đều trên thân ống kính — sự gia nhiệt bất đối xứng do độ dẫn nhiệt khác nhau giữa vật liệu vỏ và lớp keo dán.
• FEA mô hình giãn nở nhiệt dự đoán lệch trục ống kính 12–15 µm ở +85°C, do CTE không khớp giữa keo epoxy UV-cure và vỏ nhôm. Điểm quan trọng, keo dính đã biểu hiện trượt chậm dưới tải nhiệt kéo dài — phụ thuộc vào thời gian, không thể phục hồi biến dạng.
• Dung sai phân tích chồng chập phát hiện rằng lệch trục này, cộng với dung sai chiều cao ghế đặt cảm biến danh định (±8 µm), đã đẩy độ lệch góc tia chính tổng hợp vượt ra ngoài góc chấp nhận của microlens cảm biến. Không có thành phần nào đơn lẻ thất bại độc lập.

Độ phân giải yêu cầu ba thay đổi phối hợp: sửa lại công thức ống kính để phân phối lại bù cong trường, sửa lại hình học khớp dán để giảm đòn bẩy CTE, và điều chỉnh nhẹ nhàng quy trình gia công của nhà cung cấp cho khoá dán vỏ. Một chu kỳ nhiệt DV bổ sung đã xác nhận khả năng phục hồi. Tác động tới chương trình: trễ mốc 2–3 tuần, thêm một chu kỳ kiểm tra DV/PV.

Các chế độ lỗi đến sản xuất hầu như không phải là những gì bạn phân tích trong trường hợp chuẩn. Chúng là những lỗi nằm ở ranh giới của các giả định — nơi mô hình hệ thống của bạn không còn chính xác.

Lỗi này đã định hình trực tiếp quy trình phát hiện ML. Nếu dự đoán biến dạng nhiệt của FEA đã được so sánh với mô hình biến dạng đã được huấn luyện tại CV, rủi ro trượt keo dính sẽ được đánh dấu là vùng FOV có rủi ro cao trước khi một nguyên mẫu duy nhất được chế tạo.

Vấn đề Dữ liệu Không Ai Nói Đến

Vấn đề dữ liệu rối rắm nhất tôi giải quyết là nhãn không đồng nhất và thiếu trong bộ dữ liệu đào tạo GAN tổng hợp — và điều khiến nó thực sự khó khăn là các nhãn này được suy ra từ vật lý, không phải do con người gán nhãn. Sự khác biệt này thay đổi hoàn toàn cách lỗi nhãn hoạt động.

Bộ dữ liệu bao gồm 180 mô phỏng FEA tạo ra 18.000 cặp ảnh tổng hợp — trường nhiệt và biến dạng dưới dạng mảng .npy, kèm theo bản đồ biến dạng .png và tệp master labels.csv. Ba chế độ lỗi yêu cầu can thiệp rõ ràng vào quy trình:

• FEA không khớp độ phân giải lưới: Mật độ lưới không đồng đều tạo ra các gián đoạn không gian khi được raster hoá lên lưới đầu vào CNN đồng nhất. Sửa: scipy griddata với nội suy bậc ba thay thế việc lấy mẫu lại tuyến tính.
• Không đầy đủ xuất mô phỏng: Các lần chạy FEA bị dừng sớm, ghi các tệp .npy một phần với các trường NaN hoặc mảng biến dạng bằng không — các đầu ra vật lý không thể tồn tại mà sẽ dạy mô hình rằng không có biến dạng nào là đúng cho các đầu vào nhiệt độ cực đoan. Sửa: quét sau khi tạo, loại bỏ phần NaN >0.1% và các trường bằng không.
• Chuyển đổi độ lệch: Lỗi chỉ mục lệch một trong quá trình chuyển đổi tọa độ FEA sang hình ảnh đã ảnh hưởng khoảng ~6–8% mẫu — được phát hiện trong quá trình kiểm tra bằng mắt khi kiểm tra lớp phủ bản đồ biến dạng, không thể phát hiện bằng tự động kiểm tra.

Sự mất cân bằng phân bố cũng quan trọng không kém: bộ dữ liệu có quá nhiều trường hợp nhiệt độ trung bình (20°C–60°C) và thiếu hụt nghiêm trọng ở các cực (−40°C và +85°C) — chính là các điều kiện hoạt động quyết định việc vượt/không vượt tiêu chuẩn DV. 800 mẫu trường hợp biên đã được tạo lại thủ công để tăng tỷ lệ đại diện các trường hợp cực từ 2,2% lên 6,8% tổng số mẫu.

Kết luận: nhãn dựa trên vật lý không tự động đáng tin cậy. Sự không ổn định số học, sự không khớp độ phân giải và lỗi hệ thống tọa độ tạo ra tiếng ồn nhãn có liên quan đến các điều kiện đầu vào cụ thể — khiến mô hình bị lệch chính xác ở những kịch bản mà bạn cần dự đoán đáng tin nhất.

Rủi ro mà Ngành Công nghiệp Đang Bỏ Qua

Ngoài những rủi ro đã được ghi chép rộng rãi về sự dịch chuyển phân bố, thiên kiến thuật toán và các cuộc tấn công đối kháng, ngành ADAS đang hệ thốngatically đánh giá thấp độ trễ hiệu chuẩn trong quá trình sử dụng do chu kỳ nhiệt và lão hóa cơ học.

Hệ thống camera được xác nhận ở các điều kiện SOP — một tập hợp xác định các trạng thái nhiệt, cơ học và môi trường mà camera phải chịu được khi ký nghiệm thu sản xuất. Việc xác nhận này rất nghiêm ngặt. Điều mà nó không bao phủ là tác động tích lũy của việc lặp lại chu kỳ nhiệt, hiện tượng trượt vật liệu, giảm căng thẳng khi gắn kết và tải rung động trên đường trong hơn 100.000 km và mười năm vận hành xe.

Cơ chế đã được hiểu rõ: hiện tượng trượt keo dính và sự không khớp hệ số giãn nhiệt (CTE) giữa các vật liệu khác nhau gây ra sự dịch chuyển chậm, phụ thuộc thời gian của vị trí tương đối giữa ống kính và cảm biến hình ảnh. Sau ba năm chu kỳ nhiệt độ từ −30°C đến +70°C, ống kính có thể đã trượt 8–12 µm so với cảm biến. Ma trận hiệu chuẩn nội tại được lưu trong ECU không còn phản ánh chính xác quang học vật lý. Các ước tính khoảng cách vật thể bị lệch hệ thống — đủ nhỏ để không thấy trong một khung hình duy nhất, nhưng đủ lớn để ảnh hưởng đến ngưỡng kích hoạt phanh khẩn cấp tự động ở tốc độ cao trên xa lộ.

Phản ứng của ngành công nghiệp còn thiếu sót ở hai khía cạnh cụ thể: việc hiệu chuẩn lại định kỳ chưa được tiêu chuẩn hoá (không có khoảng thời gian hiệu chuẩn lại camera được lên lịch, mặc dù các cơ chế suy giảm phụ thuộc thời gian đã được hiểu rõ), và việc giám sát trong quá trình sử dụng không bắt buộc (SOTIF giải quyết sự không đầy đủ chức năng ở SOP; nó không giải quyết sự suy giảm chức năng trong suốt vòng đời vận hành).

Kết quả là một nhóm lỗi ẩn: các phương tiện trên thực địa có hệ thống cảm nhận hoạt động dựa trên các ma trận hiệu chuẩn đã lỗi thời, bị suy giảm ở mức độ mỗi cá nhân chưa vượt ngưỡng, nhưng tổng hợp lại lại có ý nghĩa đáng kể trên một đội xe lớn.

Những Lầm Tưởng Có Thể Gây Chết Người

Niềm tin phổ biến và nguy hiểm nhất trong các hệ thống tự động là rằng độ chính xác tổng thể cao hơn của mô hình trực tiếp dẫn đến hệ thống an toàn hơn.

mAP là trung bình trên phân bố lớp và kịch bản của bộ dữ liệu đánh giá. Nó cân nhắc mỗi mẫu một cách đồng đều. Một hệ thống ADAS sản xuất không gặp các kịch bản với tần suất bằng nhau — nó gặp việc duy trì làn đường trên cao tốc hơn mười nghìn lần so với việc gặp một đứa trẻ bị che khuất một phần chạy vào đường từ phía sau một xe đậu. Một mô hình cải thiện mAP lên 0,02 bằng cách chỉ tốt hơn nhẹ trong các kịch bản tần suất cao mà không thay đổi gì trong các trường hợp hiếm gặp nhưng quan trọng về an toàn, thực chất không cải thiện đáng kể độ an toàn. Nó chỉ cải thiện chỉ số.

Tôi đã quan sát trực tiếp. Một mô hình đạt mAP 0,95 trên một bộ chuẩn tiêu chuẩn vẫn có thể tạo ra một kết quả âm tính giả có xác suất cao, tự tin, trong một tổ hợp cụ thể của góc chói sáng mặt trời, độ suy giảm vạch kẻ làn và hình học xe mà dữ liệu huấn luyện không đại diện đầy đủ. Kết quả âm tính giả ở tốc độ 110 km/h là một sự kiện an toàn. mAP 0,95 đã không ngăn chặn nó.

Điều thực sự quyết định độ tin cậy trong nhận thức quan trọng về an toàn là một tập hợp các thuộc tính khác:

• Mức độ nghiêm trọng và khả năng phát hiện các chế độ lỗi — mô hình có ngừng hoạt động im lặng hay tạo ra đầu ra độ tin cậy thấp để kích hoạt chế độ dự phòng?
• Hành vi trường hợp biên tại các ranh giới của miền thiết kế hoạt động
• Mức hệ thống dự phòng phát hiện lỗi nhận thức trước khi chúng lan truyền tới đầu ra điều khiển
• Độ không chắc chắn đã được hiệu chuẩn — liệu mô hình có biết mình không biết gì không

Ngành công nghiệp cần thay thế mAP làm chỉ số truyền thông an toàn chính bằng báo cáo hiệu năng phân lớp theo kịch bản — các chỉ số riêng cho điều kiện bình thường, điều kiện cảm biến suy giảm, các lớp đối tượng hiếm, và các kịch bản biên ODD — kết hợp với phân tích chế độ lỗi rõ ràng. Cho đến khi sự chuyển đổi này xảy ra, các chương trình sẽ tiếp tục giao hệ thống mà thống kê ấn tượng nhưng đôi khi nguy hiểm trong chính những kịch bản quan trọng nhất.

Những Điều Tôi Sẽ Nói Với Kỹ Sư Trẻ Ngày Mai

Bài học quan trọng nhất mà không khóa học sau đại học nào dạy một cách rõ ràng: các mô hình không thất bại một mình. Hệ thống mới là người thất bại.

Bạn có thể dành sáu tháng để xây dựng một mô hình nhận thức đạt mAP 0.93 với các đường mất mát sạch sẽ và số liệu IoU vững chắc. Sau đó bạn triển khai nó trên phần cứng camera thực tế và nó thất bại theo những cách không liên quan đến kiến trúc mô hình. camera intrinsic calibration đã được cập nhật lần cuối ở điều kiện nhiệt 15°C cách nhiệt độ hoạt động của bạn. Quy trình dữ liệu có một phép biến đổi tọa độ gây ra độ lệch 1 pixel ở các vùng góc của trường nhìn. Kịch bản tiền xử lý ảnh áp dụng chuẩn hoá hơi khác so với quy trình đào tạo đã dùng. Không có gì trong số này là vấn đề của mô hình. Tất cả đều làm giảm hiệu năng hệ thống.

Thực tế: đối với mỗi dự án mới, trước khi chạm vào mô hình, theo dõi toàn bộ đường dữ liệu từ đầu ra cảm biến đến nhãn đào tạo và hỏi ở mỗi bước — giả định nào đang được đưa ra, và khi nào giả định đó bị phá vỡ? Câu trả lời sẽ cho bạn biết nhiều hơn về nơi hệ thống sẽ thất bại trong sản xuất hơn bất kỳ lượng thí nghiệm kiến trúc nào.

Tác động thực tế của kỹ thuật đến từ giao điểm của vật lý, dữ liệu và các ràng buộc hệ thống — không phải từ hiệu năng mô hình riêng lẻ. Đó là phần bạn sẽ không thấy trên hồ sơ, nhưng chính ở đó công việc kỹ thuật thực sự diễn ra.

Hướng Đi Của Lĩnh Vực Này

Trong ba năm tới, synthetic data generation và việc tích hợp bản sao kỹ thuật số sẽ trở thành thực tiễn tiêu chuẩn trong các quy trình phát triển camera ADAS, không còn là khả năng nghiên cứu. Các mô hình ML dựa trên vật lý nhúng các nguyên tắc cơ bản quang học và cơ học làm ràng buộc kiến trúc sẽ thay thế các phương pháp thuần dữ liệu cho việc dự đoán chất lượng nhận thức. Tự hiệu chỉnh trên thiết bị — sử dụng đầu ra nhận thức của camera để phát hiện và bù đắp độ trôi nội tại — sẽ chuyển từ nguyên mẫu nghiên cứu sang tính năng sản xuất.

Điều không thể giải quyết là vấn đề các trường hợp biên dài. Không gian tổ hợp của các kịch bản lỗi phức hợp — suy giảm cảm biến giao nhau với địa hình đường bất thường giao nhau với thời tiết hiếm gặp giao nhau với hành vi người dùng đường atypical — không thu nhỏ tuyến tính theo kích thước tập dữ liệu. Nó chỉ thu nhỏ, trong trường hợp tốt nhất, theo luật luỹ thừa, và phần đuôi thực chất là vô hạn. Giả định rằng quy mô sẽ loại bỏ vấn đề này là điều tôi thấy nguy hiểm nhất trong suy nghĩ hiện tại của ngành. Phản ứng kỹ thuật không phải chỉ thêm dữ liệu; mà là định nghĩa miền thiết kế vận hành bảo thủ, phát hiện lỗi mạnh mẽ, và giao tiếp trung thực với người dùng cuối về những gì các hệ thống này không thể xử lý một cách đáng tin cậy.

Việc giao tiếp trung thực đó là phần mà ngành công nghiệp vẫn ngần ngại nhất cung cấp.