Искажение, которое вы не видите: почему системы камер ADAS дают сбой в эксплуатации и как физически‑информированное машинное обучение меняет ситуацию

То, чем я занимаюсь, похоже на предсказание того, как пара очков исказит ваше зрение ещё до того, как вы их наденете, — только последствия ошибки здесь не головная боль, а провалившееся экстренное торможение на скорости 110 км/ч.

Это случилось поздно в цикле верификации дизайна, когда возник сбой — сильное радиальное и тангенциальное искажение линзы в передней камере ADAS, обнаруженное только после того, как допуски оптической сборки были зафиксированы у поставщика. Исправление потребовало ручной корректировки смещения между имиджером и креплением линзы, повторного проведения тестов MTF и сеточного искажения, а также управления каскадным риском этапов программы, который следует за любой поздней ошибкой DV. Коренная причина не была ни производственным дефектом, ни ошибкой дизайна в отдельности. Это было что‑то более структурное: характеризация искажения камеры была полностью реактивной. К моменту появления физических прототипов было уже слишком поздно дешево скорректировать оптический стек.

Этот случай сразу же привёл меня к машинному обучению. Если бы CNN, обученная на искажённых картах, синтезированных GAN, могла обнаруживать риск искажений «бочки», «подушки» и «усов» по параметрам оптического дизайна ещё до производства любой линзы, сюрприз DV мог бы быть полностью устранён. Это та задача, над которой я работал последние несколько лет: использование физического моделирования и ИИ для предсказания того, как тепло и механические нагрузки будут деформировать оптику камеры в течение эксплуатационного срока автомобиля, чтобы сбои исправлялись на этапе концепции, а не обнаруживались у ворот производства.

Далее изложено то, что я узнал — об архитектуре, данных, режимах отказов и разрыве между тем, как отрасль говорит об ИИ, и тем, как ИИ действительно ведёт себя в производственных системах.

Архитектура: аппаратное обеспечение встречает машинное обучение

Система, которую я знаю лучше всего, — платформа передней камеры ADAS, используемая в нескольких программах OEM, — критически важный модуль, где физика оптической сборки и производительность конвейера восприятия на основе машинного обучения неразделимы.

Аппаратный стек начинается с многосоставного объектива (дизайн из 6–8 элементов в зависимости от варианта угла обзора), установленного к CMOS‑имиджеру через точный механический корпус. Согласование угла главного луча между выходным зрачком объектива и микролинзовым массивом имиджера является критическим ограничением выравнивания — несоответствие является основной причиной затемнения углов и искажений, зависящих от поля. Имиджер выводит необработанные кадры в шаблоне Байера в ISP, который осуществляет демозаикацию, шумоподавление и коррекцию затемнения линзы до передачи в процессор восприятия.

Конвейер обнаружения искажений на основе МЛ находится выше физического прототипирования. Поток данных:

• Синтетическое пространство оптических параметров (радиусы кривизны линз, расстояния между элементами допуски, углы наклона имиджера, отклонения угла главного луча)
• Физически‑условный cGAN с генератором U‑Net, синтезирующий реалистичные искажённые кадры по всему полю зрения
• ResNet-50 CNN‑классификатор, обученный на изображениях величины градиента для обнаружения паттернов искажений «бочка», «подушка» и «усы»
• Искажение оценка риска и вывод пространственной тепловой карты — помечающих зоны с высоким риском в поле зрения до производства любой физической линзы

Почему использовать физически‑условный cGAN вместо обычного DC‑GAN? DC‑GAN генерирует изображения из случайных скрытых векторов — он изучает маргинальное распределение обучающих изображений, а не условное распределение при заданном состоянии деформации FEA. Для синтеза карт искажений это различие имеет решающее значение. Физически‑условный cGAN с генератором U‑Net условно задаёт как генератор, так и дискриминатор входным полем деформации FEA, заставляя модель изучать отображение от физического состояния деформации к оптическому паттерну искажений. Пропуски (skip‑соединения) U‑Net сохраняют субпиксельные градиенты искажений в угловых областях поля зрения, которые стандартный энкодер‑декодер теряет при последовательных понижающих выборках — и эти угловые градиенты являются основным сигналом для предсказания отказов DV.

Почему не использовать чистый регрессионный CNN? Регрессионные модели минимизируют среднеквадратичную ошибку по всему обучающему набору, систематически недооценивая пиковые искажения в углах. Противоборствующая цель GAN заставляет генератор создавать резкие, высококонтрастные карты искажений — что случайно сохраняет пиковые величины, которые регрессионная модель сглаживает. Когда порог отказа DV представляет собой жёсткую границу (угловой MTF50 < 25 % или искажение > 3 px локально), недооценка пиков не является консервативной ошибкой. Это пропущенное предсказание отказа.

Метрики, которые действительно имеют значение

Метрики оптической и ML‑производительности отслеживаются совместно, потому что одна без другой неполна.

Качество оптического восприятия

• MTF50: Цель ≥45–50 % в центре изображения, ≥30 % в углах. Отказ DV вызван при угловом MTF50 <25 % или падении от центра к углу превышающем 40 % — точке, где нижестоящие алгоритмы восприятия теряют надёжное обнаружение краёв в периферии поля зрения.
• Геометрическое искажение: Цель ≤2 пикс. RMS по всему полю зрения. Сбой DV при 3 пикс. локальном искажении или отклонении ≥1,5–2% от идеальной модели проекции — где отъезд с полосы и ошибки оценки расстояния до объектов становятся критичными для безопасности.
• Термическая стабильность: Рабочий диапазон −40°C до +85°C. Допустимое смещение изображения ≤1–2 пикс (≈5–10 µm на плоскости сенсора). Сбой DV при смещении 3 пикс. или начале нелинейного искажения. Нелинейность — критический индикатор: линейное смещение можно исправить прошивкой; нелинейный дрейф полностью аннулирует внутреннюю калибровочную матрицу.

Производительность модели машинного обучения

• Обнаружение: Целевой mAP ≥0.90, IoU ≥0.75–0.80. Достигнутый mAP 0.92–0.95, IoU 0.78–0.85 на отложенных синтетических валидационных наборах.
• Ошибки уровней: Целевой FPR ≤5%, FNR ≤3%. Достигнутый FPR 3–5%, FNR 2–3%. Асимметрия преднамеренна — пропущенный сбой искажения (FN) в критически важной программе камер является категорически хуже, чем ложная тревога, вызывающая ненужный инженерный обзор.
• Состояние обучения: Баланс потерь генератора/дискриминатора отслеживался в течение обучения GAN с помощью TensorBoard. Схлопывающийся дискриминатор — самая опасная неудача в обучении — обнаруживается ранним мониторингом уверенности дискриминатора по мини‑пакетам.

Самая сложная проблема, которую я решил

Самый сложный сбой, который я диагностировал, не был единичным дефектом — это термо‑механически‑оптический сбой сопряжения, требовавший 6–8 недель полного разбора в четырёх командах и в конечном итоге потребовал переоценки предположений, заложенных в программу с фазы концепции.

Симптом был прост: MTF50 в углах упал ниже порога сбоя DV 25% во время термической выдержки при +85°C, и появилась нелинейная модель искажения, отсутствующая при комнатной температуре. Нелинейность была критическим тревожным сигналом — линейное термически‑индуцированное смещение можно скорректировать во внутренней калибровочной матрице, но нелинейное искажение полностью аннулирует калибровку и не может быть исправлено прошивкой в производстве.

Диагностическая последовательность

• ИК термография выявила неоднородный тепловой градиент по корпусу объектива — асимметричный нагрев из‑за различной теплопроводности между материалом корпуса и клеевым слоем соединения.
• FEA моделирование теплового расширения предсказало смещение объектива на 12–15 µm при +85°C, вызванное несоответствием коэффициентов теплового расширения (CTE) между UV‑отверждаемой эпоксидной смолой и алюминиевым корпусом. Критически, клей проявлял ползучесть под длительной тепловой нагрузкой — зависящую от времени, необратимую деформацию.
• Допуск накопительного анализа показал, что это смещение, в сочетании с номинальной высотой посадки имиджера (±8 µm), привело к отклонению угла главного луча за пределы углового конуса микролинзы имиджера. Ни один фактор не привёл к отказу в изоляции.

Для решения потребовалось три согласованных изменения: пересмотр рецепта объектива для перераспределения компенсации кривизны поля, изменение геометрии соединительного шва для уменьшения рычага CTE, и небольшая переналадка поставщика кармана соединения корпуса. Один дополнительный термический цикл DV подтвердил восстановление. Влияние на программу: задержка вехи на 2–3 недели, один дополнительный цикл тестов DV/PV.

Режимы отказов, попадающие в производство, почти никогда не соответствуют тем, что в вашем анализе номинального случая. Это те, которые находятся на границе ваших допущений — там, где модель системы перестаёт быть точной.

Этот сбой напрямую сформировал конвейер обнаружения ML. Если бы предсказания тепловой деформации FEA были сопоставлены с обученной моделью искажений в CV, риск ползучести клея был бы отмечен как зона высокого риска в поле зрения до создания единственного прототипа.

Проблема данных, о которой никто не говорит

Самая запутанная проблема данных, которую я решил, была несогласованными и отсутствующими метками в синтетическом наборе данных для обучения GAN — и то, что делало её действительно сложной, заключалось в том, что метки были получены из физики, а не аннотированы человеком. Это различие меняет всё в том, как ведут себя ошибки меток.

Набор данных включал 180 симуляций FEA, генерирующих 18 000 синтетических пар изображений — тепловые и деформационные поля в виде массивов .npy, сопоставленные с .png картами искажений и основным файлом labels.csv. Три режима отказа требовали явного вмешательства в конвейер:

• FEA несоответствие разрешения сетки: Неоднородная плотность сетки создавала пространственные разрывы при растеризации до единообразной входной сетки CNN. Исправление: scipy griddata с кубической интерполяцией вместо билинейного пересэмплинга.
• Неполные экспорты симуляций: Запуски FEA завершились преждевременно, записав частичные .npy файлы с полями NaN или массивы нулевых деформаций — физически невозможные результаты, которые обучали бы модель считать, что отсутствие искажений корректно при экстремальных тепловых воздействиях. Исправление: сканирование после генерации с отбрасыванием фракции NaN >0.1% и случаев нулевых полей.
• Несоответствие преобразования координат: Ошибка смещения индекса на один в преобразовании координат FEA‑в‑изображение затронула около 6–8 % образцов — обнаружена при визуальном осмотре наложений карт искажений, невидимом для автоматических проверок.

Неравномерность распределения была столь же значительной: набор данных был переизбыточен в умеренных тепловых случаях (20 °C–60 °C) и критически недопредставлен в экстремальных (−40 °C и +85 °C) — именно в этих условиях эксплуатации определяется прохождение/непрохождение DV. Было вручную сгенерировано 800 дополнительных образцов граничных случаев, чтобы увеличить представительство экстремальных случаев с 2,2 % до 6,8 % от общего числа образцов.

Вывод: метки, полученные из физики, не являются автоматически надёжными. Численная нестабильность, несоответствия разрешения и ошибки системы координат создают шум в метках, коррелирующий с определёнными входными условиями — что искажает модель именно в тех сценариях, где нужны надёжные предсказания.

Риск, который игнорирует отрасль

Помимо хорошо задокументированных рисков смещения распределения, алгоритмического смещения и атак типа adversarial, индустрия ADAS систематически недооценивает дрейф калибровки в эксплуатации, вызванный тепловыми циклами и механическим старением.

Камеры проверяются при условиях SOP — наборе определённых тепловых, механических и экологических состояний, которым камера должна соответствовать при передаче в производство. Эта проверка тщательная. Однако она не учитывает совокупный эффект многократных тепловых циклов, ползучести материалов, релаксации напряжений крепления и вибраций дороги за 100 000 километров и десять лет эксплуатации автомобиля.

Механизм хорошо понят: ползучесть клея и несоответствие коэффициентов теплового расширения (CTE) между разными материалами вызывают медленные, зависящие от времени смещения относительного положения объектива и имиджера. После трёх лет температурных циклов от −30 °C до +70 °C корпус объектива может сдвинуться на 8–12 µм относительно имиджера. Внутренняя калибровочная матрица, хранящаяся в ЭБУ, больше не точно отражает физическую оптику. Оценки расстояния до объектов систематически смещены — настолько мало, что их не видно в отдельном кадре, но достаточно, чтобы влиять на пороги срабатывания автоматического экстренного торможения на скоростях шоссе.

Ответ отрасли недостаточен в двух конкретных аспектах: периодическая перекалибровка не стандартизирована (не существует запланированного интервала перекалибровки камер, несмотря на хорошо понятные механизмы деградации, зависящие от времени), и мониторинг в эксплуатации не обязателен (SOTIF решает проблему функциональной недостаточности при SOP; он не охватывает функциональную деградацию в течение срока эксплуатации).

Результатом является скрытая популяция отказов: автомобили в эксплуатации, у которых системы восприятия работают на устаревших калибровочных матрицах, деградировавших на уровни, которые по отдельности ниже порога, но в совокупности значимы для большого парка.

Миф, который может стоить людям жизни

Самый распространённый и опасный миф в автономных системах состоит в том, что более высокая совокупная точность модели напрямую приводит к более безопасным системам.

mAP — это среднее по распределению классов и сценариев в наборе данных оценки. Он взвешивает каждый образец одинаково. В производственной системе ADAS сценарии встречаются с разной частотой —, например, система сталкивается с удержанием полосы на шоссе в десять тысяч раз чаще, чем с частично скрытым ребёнком, выбегающим на дорогу из‑за припаркованного автомобиля. Модель, которая улучшает mAP на 0.02 за счёт небольшого повышения точности в часто встречающихся номинальных сценариях, оставаясь неизменной в редких, критически важных для безопасности, ситуациях, не повышает реальную безопасность. Она лишь улучшает метрику.

Я наблюдал это непосредственно. Модель, показывающая mAP 0.95 на стандартном бенчмарке, всё ещё может сгенерировать уверенный, с высокой вероятностью ложный отрицательный результат при конкретном сочетании угла солнечного блика, деградации разметки полосы и геометрии автомобиля, которое не было адекватно представлено в обучающих данных. Этот ложный отрицательный результат при 110 km/h является событием безопасности. mAP 0.95 не предотвратил его.

То, что действительно определяет надёжность восприятия в критически важных для безопасности системах, — это иной набор свойств:

• Тяжесть и обнаруживаемость режимов отказа — модель выходит из строя тихо или выдаёт вывод с низкой уверенностью вызывающий переход в резервный режим?
• крайний случай поведение на границах операционного домена проектирования
• Системный избыточность который обнаруживает отказы восприятия до их распространения на управляющие выходы
• Калиброванная неопределённость — знает ли модель то, чего она не знает

Отрасли необходимо заменить mAP в качестве основного метрика безопасности на отчётность о производительности, стратифицированную по сценариям — отдельные метрики для номинальных условий, ухудшенных условий датчиков, редких классов объектов и сценариев на границе ODD — в сочетании с явным анализом режимов отказа. Пока это изменение не произойдёт, программы будут продолжать поставлять системы, которые статистически впечатляющи, но иногда опасны именно в тех сценариях, которые имеют наибольшее значение.

Что я бы сказал младшему инженеру завтра

Самый важный урок, который ни один курс магистратуры не преподаёт явно: модели не выходят из строя в изоляции. Системы — выходят.

Вы можете потратить шесть месяцев на создание модели восприятия, достигающей mAP 0.93 с чистыми кривыми потерь и надёжными показателями IoU. Затем вы развернёте её на реальном аппаратном обеспечении камеры, и она будет отказываться способами, не связанными с архитектурой модели. Калибровка внутренних параметров камеры была обновлена в последний раз при температуре, отличающейся от рабочей на 15°C. В конвейере данных есть преобразование координат, вводящее смещение в 1 пиксель в угловых областях поля зрения. Скрипт предварительной обработки изображений применяет слегка отличающуюся нормализацию от используемой в обучающем конвейере. Ни один из этих факторов не является проблемой модели. Все они ухудшают производительность системы.

Практически: для каждого нового проекта, прежде чем трогать модель, проследите полный путь данных от выхода датчика до метки обучения и задавайте на каждом этапе вопрос — какое предположение делает этот шаг и когда оно ломается? Ответ даст вам больше информации о том, где система потерпит неудачу в продакшене, чем любые эксперименты с архитектурой.

Настоящее инженерное воздействие происходит на стыке физики, данных и системных ограничений — а не от производительности модели в изоляции. Это то, что вы не увидите в резюме, но именно здесь происходит реальная инженерия.

Куда движется эта область

Через три года, генерация синтетических данных и интеграция цифровых двойников станут стандартной практикой в конвейерах разработки камер ADAS, а не исследовательской возможностью. Модели ML, информированные физикой и включающие оптические и механические принципы в качестве архитектурных ограничений, заменят полностью основанные на данных подходы для предсказания качества восприятия. Самокалибровка на устройстве — использование собственного вывода восприятия камеры для обнаружения и компенсации внутреннего дрейфа — перейдёт от исследовательского прототипа к производственной функции.

Что не будет решено — проблема редких граничных случаев. Комбинаторное пространство сложных сценариев отказов — деградация сенсоров, пересекающаяся с необычной геометрией дороги, редкой погодой и атипичным поведением участников дорожного движения — не уменьшается линейно с ростом объёма данных. Оно сокращается, в лучшем случае, по закону степенной зависимости, и хвост практически бесконечен. Предположение, что масштаб устраняет эту проблему, является, по моему мнению, самым опасным в текущем мышлении отрасли. Инженерный ответ — не просто больше данных; это консервативное определение операционной области дизайна, надёжное обнаружение отказов и честное информирование конечных пользователей о том, что эти системы не способны надёжно обрабатывать.

Эта честная коммуникация — та часть, к которой отрасль относится с наибольшей неохотой.