La distorsión que no puedes ver: por qué los sistemas de cámaras ADAS fallan en el campo y cómo el ML informado por la física lo cambia

Lo que hago es como predecir cómo un par de gafas deformará tu visión antes de ponértelas, pero las consecuencias de equivocarse no son un dolor de cabeza. Son un fallo en el frenado de emergencia a 110 km/h.

Era tarde en un ciclo de Verificación de Diseño cuando apareció la falla — una severa distorsión radial y tangencial de la lente en una cámara frontal ADAS, detectada solo después de que se bloquearon las tolerancias del ensamblaje óptico con el proveedor. La solución requirió ajustar manualmente el desplazamiento del montaje del sensor a la lente, volver a ejecutar pruebas de MTF y de distorsión de la cuadrícula, y gestionar el riesgo en cascada de los hitos del programa que sigue a cualquier falla de DV en una etapa tardía. La causa raíz no fue un defecto de fabricación ni un error de diseño aislado. Fue algo más estructural: la caracterización de la distorsión de la cámara era totalmente reactiva. Cuando existieron los prototipos físicos, ya era demasiado tarde para corregir económicamente la pila óptica.

Ese incidente me llevó directamente al aprendizaje automático. Si una CNN entrenada con mapas de distorsión sintetizados por GAN pudiera detectar el riesgo de distorsión de barril, cojín y bigote a partir de los parámetros de diseño óptico antes de que se fabricara cualquier lente, la sorpresa de la DV podría eliminarse por completo. Ese es el problema al que he dedicado los últimos varios años: usar simulación física e IA para predecir cómo el calor y el estrés mecánico deformarán la óptica de una cámara a lo largo de la vida operativa del vehículo, de modo que las fallas se corrijan en la fase conceptual en lugar de descubrirse en la puerta de producción.

Lo que sigue es lo que he aprendido — sobre arquitectura, datos, modos de falla y la brecha entre cómo esta industria habla de la IA y cómo la IA realmente se comporta en sistemas de producción.

La arquitectura: hardware y aprendizaje automático

El sistema que conozco más a fondo es la plataforma de cámara frontal ADAS desplegada en varios programas de OEM — un módulo crítico para la seguridad donde la física del ensamblaje óptico y el rendimiento de la tubería de percepción ML son inseparables.

La pila de hardware comienza con un barril de lentes multi‑elemento (diseño de 6‑8 elementos según la variante de FOV) montado a un sensor CMOS mediante una carcasa mecánica de precisión. La coincidencia del ángulo del rayo principal entre la pupila de salida de la lente y la matriz de microlentes del sensor es la restricción de alineación crítica — una descoordinación es la principal fuente de sombreado en las esquinas y de distorsión dependiente del campo. El sensor produce cuadros sin procesar con patrón Bayer a un ISP que maneja la demosaización, reducción de ruido y corrección de sombreado de lente antes del SoC de percepción.

La tubería de detección de distorsión ML se sitúa antes del prototipado físico. El flujo de datos:

• Sintético espacio de parámetros ópticos (radios de curvatura de la lente, espaciamiento de elementos tolerancias, ángulos de inclinación del sensor, desviación del ángulo del rayo principal)
• Condicionado por la física cGAN con generador U‑Net que sintetiza cuadros distorsionados realistas en todo el FOV
• ResNet-50 clasificador CNN entrenado con imágenes de magnitud de gradiente para detectar patrones de distorsión de barril, cojín y bigote
• Distorsión puntuación de riesgo y salida de mapa de calor espacial — señalando regiones de FOV de alto riesgo antes de que se fabrique cualquier lente física

¿Por qué un cGAN condicionado por la física en lugar de un DC‑GAN convencional? DC‑GAN genera imágenes a partir de vectores latentes aleatorios — aprende la distribución marginal de las imágenes de entrenamiento, no la distribución condicional dada un estado de deformación FEA específico. Para la síntesis de mapas de distorsión, esa distinción es decisiva. El cGAN condicionado por la física con generador U‑Net condiciona tanto al generador como al discriminador con el campo de deformación FEA de entrada, obligando al modelo a aprender la correspondencia entre el estado de deformación física y el patrón de distorsión óptica. Las conexiones de salto del U‑Net conservan los gradientes de distorsión subpíxel en las regiones de esquina del FOV que un codificador‑decodificador estándar pierde mediante muestreos sucesivos — y esos gradientes de esquina son la señal principal para la predicción de fallas de DV.

¿Por qué no una CNN de regresión pura? Los modelos de regresión minimizan el error cuadrático medio en todo el conjunto de entrenamiento, subestimando sistemáticamente la distorsión máxima en las esquinas. El objetivo adversarial del GAN impulsa al generador a producir mapas de distorsión nítidos y de alto contraste — lo que incidentalmente conserva las magnitudes pico que un modelo de regresión suaviza. Cuando el umbral de falla de DV es un límite rígido (MTF50 de esquina < 25 % o distorsión > 3 px local), subestimar los picos no es un error conservador. Es una predicción de falla perdida.

Las métricas que realmente importan

Las métricas de rendimiento óptico y de ML se rastrean juntas, porque una sin la otra está incompleta.

Calidad de percepción óptica

• MTF50: Objetivo ≥45–50 % en el centro de la imagen, ≥30 % en las esquinas. Falla de DV activada cuando MTF50 de esquina <25 % o una caída centro‑a‑esquina que supera el 40 % — el punto en que los algoritmos de percepción posteriores pierden la detección fiable de bordes en la periferia del FOV.
• Distorsión geométrica: Objetivo ≤2 px RMS en todo el FOV. Falla DV a 3 px de distorsión local o ≥1,5–2 % de desviación del modelo de proyección ideal — donde los errores de salida de carril y de estimación de distancia de objetos se vuelven relevantes para la seguridad.
• Estabilidad térmica: Rango operativo −40 °C a +85 °C. Desplazamiento de imagen aceptable ≤1–2 px (≈5–10 µm en el plano del sensor). Falla DV a 3 px de desplazamiento o inicio de distorsión no lineal. La no linealidad es la señal crítica: un desplazamiento lineal es corregible mediante firmware; la deriva no lineal invalida por completo la matriz de calibración intrínseca.

Rendimiento del Modelo de ML

• Detección: Objetivo mAP ≥0,90, IoU ≥0,75–0,80. mAP alcanzado 0,92–0,95, IoU 0,78–0,85 en conjuntos de validación sintéticos reservados.
• Tasas de error: Objetivo FPR ≤5 %, objetivo FNR ≤3 %. FPR alcanzado 3–5 %, FNR 2–3 %. La asimetría es intencional — una falla de distorsión no detectada (FN) en un programa de cámara crítico para la seguridad es categóricamente peor que una alarma falsa que desencadena una revisión de ingeniería innecesaria.
• Salud del entrenamiento: Equilibrio de pérdida generador/discriminador monitorizado durante el entrenamiento GAN a través de TensorBoard. Un discriminador colapsado es la falla de entrenamiento más peligrosa — detectada temprano mediante el seguimiento de la confianza del discriminador en mini-lotes.

El Problema Más Difícil que He Resuelto

El fallo más complejo que diagnosticé no fue un defecto aislado — fue una falla de acoplamiento térmico‑mecánico‑óptico que tomó de 6 a 8 semanas para descomponerse completamente entre cuatro equipos y, en última instancia, requirió reexaminar los supuestos incorporados en el programa desde la fase conceptual.

El síntoma fue sencillo: el MTF50 de esquina cayó por debajo del umbral de falla DV del 25 % durante el remojo térmico a +85 °C, y una patrón de distorsión no lineal surgió que estaba ausente a temperatura ambiente. La no linealidad fue la señal roja crítica — un desplazamiento lineal inducido térmicamente es corregible en la matriz de calibración intrínseca, pero la distorsión no lineal invalida la calibración por completo y no puede parchearse mediante firmware en producción.

La Secuencia de Diagnóstico

• Termografía infrarroja reveló un gradiente térmico no uniforme a lo largo del barril de la lente — calentamiento asimétrico debido a la conductividad térmica diferencial entre el material de la carcasa y la capa de unión adhesiva.
• Modelado de expansión térmica FEA predijo un decentrado de lente de 12–15 µm a +85 °C, impulsado por la descoordinación de CTE entre la resina epoxi de curado UV y la carcasa de aluminio. Críticamente, el adhesivo mostró fluencia bajo carga térmica sostenida — deformación dependiente del tiempo, no recuperable de forma permanente.
• Tolerancia análisis de apilamiento reveló que este descencentrado, combinado con la tolerancia nominal de altura de asiento del sensor (±8 µm), empujó la desviación angular del rayo principal combinado más allá del cono de aceptación de la micro‑lente del sensor. No un único contribuyente falló de forma aislada.

La resolución requirió tres cambios coordinados: revisión de la prescripción de la lente para redistribuir la compensación de curvatura de campo, revisión de la geometría de la unión de la unión para reducir la palanca de CTE, y una ligera re‑herramientación del proveedor del bolsillo de unión de la carcasa. Un ciclo térmico DV adicional confirmó la recuperación. Impacto en el programa: retraso de hito de 2–3 semanas, un ciclo de prueba DV/PV adicional.

Los modos de falla que llegan a producción casi nunca son los que aparecen en tu análisis de caso nominal. Son los que están en el límite de tus suposiciones — donde tu modelo del sistema deja de ser preciso.

Esta falla moldeó directamente la cadena de detección de ML. Si las predicciones de deformación térmica FEA se hubieran correlacionado con un modelo de distorsión entrenado en CV, el riesgo de fluencia del adhesivo se habría señalado como una región de FOV de alto riesgo antes de que se construyera un solo prototipo.

El Problema de Datos del que Nadie Habla

El problema de datos más desordenado que resolví fue etiquetas inconsistentes y ausentes en el conjunto de datos sintético de entrenamiento GAN — y lo que lo hizo genuinamente difícil fue que las etiquetas se derivaban de la física, no estaban anotadas por humanos. Esa distinción lo cambia todo respecto a cómo se comportan los errores de etiqueta.

El conjunto de datos comprendía 180 simulaciones FEA que generaban 18 000 pares de imágenes sintéticas — campos térmicos y de deformación como matrices .npy, emparejados con mapas de distorsión .png y un archivo maestro labels.csv. Tres modos de falla requirieron intervención explícita en la canalización:

• Desajuste de resolución de la malla FEA: Una densidad de malla no uniforme produjo discontinuidades espaciales cuando se rasterizó a la cuadrícula de entrada uniforme de la CNN. Solución: scipy griddata con interpolación cúbica reemplazando el remuestreo bilineal.
• Incompleto exportaciones de simulación: las ejecuciones de FEA terminadas prematuramente escribieron archivos .npy parciales con campos NaN o matrices de deformación cero — salidas físicamente imposibles que enseñarían al modelo que ninguna distorsión es correcta para entradas térmicas extremas. Corrección: escaneo posterior a la generación descartando la fracción de NaN >0.1% y casos de campo cero.
• Coordenada desalineación de la transformación: Un error de indexado de un desplazamiento en la coordenada FEA‑a‑imagen transformación afectó ~6–8 % de las muestras — detectado durante la inspección visual de superposiciones del mapa de distorsión, invisible a los controles automatizados verificaciones.

El desequilibrio de distribución fue igualmente significativo: el conjunto de datos estaba sobrerrepresentado en casos térmicos moderados (20 °C–60 °C) y críticamente subrepresentado en los extremos (−40 °C y +85 °C) — exactamente las condiciones operativas que determinan el pase/fallo de DV. Se generaron manualmente 800 muestras de casos límite adicionales para elevar la representación de casos extremos del 2,2 % al 6,8 % del total de muestras.

La conclusión: las etiquetas derivadas de la física no son automáticamente confiables. La inestabilidad numérica, los desajustes de resolución y los errores de sistemas de coordenadas generan ruido en las etiquetas que está correlacionado con condiciones de entrada específicas — lo que sesga al modelo precisamente en los escenarios donde más se necesita predicciones fiables.

El riesgo que la industria está ignorando

Más allá de los riesgos bien documentados de desplazamiento de distribución, sesgo algorítmico y ataques adversarios, la industria ADAS está subestimando sistemáticamente la deriva de calibración en servicio provocada por ciclos térmicos y envejecimiento mecánico.

Los sistemas de cámaras se validan en condiciones SOP — un conjunto definido de estados térmicos, mecánicos y ambientales que la cámara debe soportar al aprobar la producción. Esa validación es rigurosa. Lo que no cubre es el efecto acumulativo del ciclo térmico repetido, el fluido del material, la relajación del estrés de montaje y la carga de vibración de la carretera durante 100 000 kilómetros y diez años de operación del vehículo.

El mecanismo se comprende bien: el flujo adhesivo y la descoordinación de coeficiente de expansión térmica (CTE) entre materiales disímiles impulsan desplazamientos lentos y dependientes del tiempo en la posición relativa lente‑sensor. Tras tres años de ciclos de temperatura entre −30 °C y +70 °C, el barril de la lente puede haber avanzado 8–12 µm respecto al sensor. La matriz de calibración intrínseca almacenada en la ECU ya no representa con precisión la óptica física. Las estimaciones de distancia de objetos están sistemáticamente sesgadas — lo suficientemente pequeñas como para ser invisibles en cualquier cuadro individual, pero lo bastante grandes como para influir en los umbrales de activación del frenado de emergencia automático a velocidades de autopista.

La respuesta de la industria es insuficiente en dos aspectos específicos: la recalibración periódica no está estandarizada (no existe un intervalo programado de recalibración de cámaras, a pesar de que los mecanismos de degradación dependientes del tiempo están bien comprendidos), y la monitorización en servicio no es obligatoria (SOTIF aborda la insuficiencia funcional en SOP; no aborda la degradación funcional a lo largo de la vida operativa).

El resultado es una población oculta de modos de falla: vehículos en el campo con sistemas de percepción que operan con matrices de calibración obsoletas, degradadas en cantidades individualmente por debajo del umbral pero colectivamente significativas en una flota grande.

El mito que podría matar a la gente

El mito más extendido y peligroso en los sistemas autónomos es que una mayor precisión agregada del modelo se traduce directamente en sistemas más seguros.

mAP es una media sobre la distribución de clases y escenarios del conjunto de datos de evaluación. Pondera cada muestra por igual. Un sistema ADAS de producción no encuentra escenarios con la misma frecuencia — encuentra el mantenimiento de carril en autopista diez mil veces más a menudo que un niño parcialmente oculto que corre a la carretera desde detrás de un vehículo estacionado. Un modelo que mejora mAP en 0,02 al ser marginalmente mejor en escenarios nominales de alta frecuencia mientras permanece sin cambios en los raros críticos para la seguridad no ha mejorado significativamente la seguridad. Ha mejorado la métrica.

Lo observé directamente. Un modelo que produce mAP 0,95 en un benchmark estándar aún puede generar un falso negativo confiable y de alta probabilidad en una combinación específica de ángulo de deslumbramiento solar, degradación de marcas viales y geometría del vehículo que los datos de entrenamiento no representaron adecuadamente. Ese falso negativo a 110 km/h es un evento de seguridad. El mAP de 0,95 no lo evitó.

Lo que realmente determina la confiabilidad en la percepción crítica para la seguridad es un conjunto diferente de propiedades:

• La severidad y detectabilidad de los modos de falla — ¿el modelo falla silenciosamente o produce una salida de baja confianza que activa una medida de respaldo?
• caso límite comportamiento en los límites del dominio de diseño operativo
• Nivel de sistema redundancia que detecta fallas de percepción antes de que se propaguen a los salidas
• Calibrada incertidumbre — si el modelo sabe lo que no sabe

La industria necesita reemplazar mAP como la métrica principal de comunicación de seguridad por informes de rendimiento estratificados por escenario — métricas separadas para condiciones nominales, condiciones de sensor degradado, clases de objetos raros y escenarios límite del ODD — combinados con un análisis explícito de modos de falla. Hasta que ocurra ese cambio, los programas seguirán entregando sistemas que son estadísticamente impresionantes y ocasionalmente peligrosos en exactamente los escenarios que más importan.

Lo que le diría a un ingeniero junior mañana

La lección más importante que ningún curso de posgrado enseña explícitamente: los modelos no fallan de forma aislada. Los sistemas sí.

Puedes dedicar seis meses a construir un modelo de percepción que alcance mAP 0.93 con curvas de pérdida limpias y números de IoU sólidos. Luego lo despliegas en hardware de cámara real y falla de maneras que no tienen nada que ver con la arquitectura del modelo. La calibración intrínseca de la cámara se actualizó por última vez a una condición térmica 15 °C alejada de tu temperatura de operación. La canalización de datos tiene una transformación de coordenadas que introduce un desplazamiento de 1 píxel en las regiones de campo de visión de las esquinas. El script de preprocesamiento de imágenes aplica una normalización ligeramente diferente a la utilizada en la canalización de entrenamiento. Ninguno de estos es un problema del modelo. Todos ellos degradan el rendimiento del sistema.

Prácticamente: para cada nuevo proyecto, antes de tocar el modelo, traza la ruta completa de datos desde la salida del sensor hasta la etiqueta de entrenamiento y pregunta en cada paso — ¿qué suposición está haciendo este paso y cuándo se rompe esa suposición? La respuesta te dirá más sobre dónde fallará el sistema en producción que cualquier cantidad de experimentación arquitectónica.

El impacto real de la ingeniería proviene de la intersección de la física, los datos y las limitaciones del sistema — no del rendimiento del modelo de forma aislada. Esa es la parte que no verás en un currículum, pero es donde ocurre la verdadera ingeniería.

Hacia dónde se dirige este campo

En tres años, generación de datos sintéticos y la integración de gemelos digitales será una práctica estándar en las canalizaciones de desarrollo de cámaras ADAS, no una capacidad de investigación. Los modelos de ML informados por la física que incorporan principios ópticos y mecánicos como restricciones arquitectónicas reemplazarán los enfoques puramente basados en datos para la predicción de la calidad de percepción. La auto-calibración en el dispositivo — usando la propia salida de percepción de la cámara para detectar y compensar la deriva intrínseca — pasará de prototipo de investigación a característica de producción.

Lo que no se resolverá es el problema de los casos límite de la cola larga. El espacio combinatorio de escenarios de fallas compuestas — degradación del sensor intersectando geometría vial inusual intersectando clima raro intersectando comportamiento atípico de los usuarios de la vía — no se reduce linealmente con el tamaño del conjunto de datos. Se reduce, en el mejor de los casos, como una ley de potencias, y la cola es efectivamente infinita. La suposición de que la escala elimina este problema es lo que encuentro más peligroso en el pensamiento actual de la industria. La respuesta de ingeniería no es simplemente más datos; es la definición conservadora del dominio operativo de diseño, la detección robusta de fallas y una comunicación honesta a los usuarios finales sobre lo que estos sistemas no pueden manejar de manera fiable.

Esa comunicación honesta es la parte que la industria sigue siendo más reacia a ofrecer.