La distorsion que vous ne voyez pas : pourquoi les systèmes de caméras ADAS échouent sur le terrain et comment le ML informé par la physique change cela

Ce que je fais, c’est comme prédire comment une paire de lunettes déformera votre vision avant même de les mettre — sauf que les conséquences d’une erreur ne sont pas un simple mal de tête. Elles se traduisent par un échec du freinage d’urgence à 110 km/h.

Il était tard dans un cycle de vérification de conception lorsque la défaillance est apparue — une distorsion sévère radiale et tangentielle de la lentille d’une caméra frontale ADAS, détectée seulement après que les tolérances d’assemblage optique aient été verrouillées avec le fournisseur. La correction a nécessité d’ajuster manuellement le décalage entre le capteur et le montage de la lentille, de relancer les tests MTF et de distorsion de grille, et de gérer le risque en cascade sur les jalons du programme qui suit toute défaillance DV en phase tardive. La cause profonde n’était ni un défaut de fabrication ni une erreur de conception isolée. C’était quelque chose de plus structurel : la caractérisation de la distorsion de la caméra était entièrement réactive. Au moment où les prototypes physiques existaient, il était trop tard pour corriger à moindre coût la pile optique.

Cet incident m’a directement conduit au machine learning. Si un CNN entraîné sur des cartes de distorsion synthétisées par GAN pouvait détecter le risque de distorsion en barillet, en coussinet ou en moustache à partir des paramètres de conception optique avant la fabrication de toute lentille, la surprise DV pourrait être éliminée entièrement. C’est le problème sur lequel j’ai passé ces dernières années à travailler : utiliser la simulation physique et l’IA pour prédire comment la chaleur et le stress mécanique déformeront l’optique d’une caméra tout au long de la durée de vie opérationnelle d’un véhicule, afin que les défaillances soient corrigées à la phase de conception plutôt que découvertes à la porte de production.

Ce qui suit est ce que j’ai appris — sur l’architecture, les données, les modes de défaillance, et l’écart entre la façon dont cette industrie parle de l’IA et la manière dont l’IA se comporte réellement dans les systèmes de production.

L’architecture : le matériel rencontre le ML

Le système que je connais le mieux est la plateforme de caméra frontale ADAS déployée dans plusieurs programmes OEM — un module critique pour la sécurité où la physique de l’assemblage optique et la performance du pipeline ML de perception sont indissociables.

La pile matérielle débute avec un barillet à lentilles multi-éléments (conception de 6 à 8 éléments selon la variante de FOV) monté sur un capteur CMOS via un boîtier mécanique de précision. Correspondance de l’angle du rayon principal entre la pupille de sortie de la lentille et la matrice de microlentilles du capteur constitue la contrainte d’alignement critique — un désalignement est la principale source d’ombrage des coins et de distorsion dépendante du champ. Le capteur délivre des trames brutes au format Bayer à un ISP qui gère le démosaïquage, la réduction du bruit et la correction de l’ombrage de la lentille avant le SoC de perception.

Le pipeline de détection de distorsion ML se situe en amont du prototypage physique. Le flux de données :

• Synthétique espace des paramètres optiques (rayons de courbure des lentilles, espacement des éléments tolérances, angles d’inclinaison du capteur, déviation de l’angle du rayon principal)
• Conditionné par la physique cGAN avec générateur U‑Net synthétisant des trames distordues réalistes sur l’ensemble du FOV
• ResNet-50 classificateur CNN entraîné sur des images de magnitude de gradient pour détecter les motifs de distorsion en barillet, en coussinet et en moustache
• Distorsion score de risque et sortie de carte thermique spatiale — signalant les zones du FOV à haut risque avant que toute lentille physique ne soit fabriquée

Pourquoi un cGAN conditionné par la physique plutôt qu’un DC‑GAN classique ? DC‑GAN génère des images à partir de vecteurs latents aléatoires — il apprend la distribution marginale des images d’entraînement, pas la distribution conditionnelle donnée un état de déformation FEA spécifique. Pour la synthèse de cartes de distorsion, cette distinction est décisive. Le cGAN conditionné par la physique avec générateur U‑Net conditionne à la fois le générateur et le discriminateur sur le champ de déformation FEA d’entrée, contraignant le modèle à apprendre la correspondance entre l’état de déformation physique et le motif de distorsion optique. Les connexions de saut du U‑Net préservent les gradients de distorsion sous‑pixel aux zones de coins du FOV qu’un encodeur‑décodeur standard perd lors de l’échantillonnage descendant successif — et ces gradients de coin sont le signal principal pour la prédiction de défaillance DV.

Pourquoi pas un CNN de régression pure ? Les modèles de régression minimisent l’erreur quadratique moyenne sur l’ensemble d’entraînement, sous‑estimant systématiquement les pics de distorsion aux coins. L’objectif antagoniste du GAN pousse le générateur à produire des cartes de distorsion nettes et à fort contraste — ce qui préserve incidentellement les amplitudes de pic qu’un modèle de régression lisse. Lorsque le seuil de défaillance DV est une limite stricte (MTF50 de coin < 25 % ou distorsion > 3 px local), sous‑estimer les pics n’est pas une erreur conservatrice. C’est une prédiction de défaillance manquée.

Les métriques qui comptent réellement

Les métriques de performance optique et ML sont suivies conjointement, car l’une sans l’autre est incomplète.

Qualité de perception optique

• MTF50: Cible ≥45–50 % au centre de l’image, ≥30 % aux coins. Défaillance DV déclenchée lorsque le MTF50 du coin <25 % ou une chute centre‑vers‑coin dépassant 40 % — le point où les algorithmes de perception en aval perdent une détection fiable des contours dans la périphérie du FOV.
• Géométrique distorsion : Cible ≤2 px RMS sur l’ensemble du champ de vision. Défaillance DV à 3 px de distorsion locale ou déviation ≥1,5–2 % du modèle de projection idéal — où les erreurs de sortie de voie et d’estimation de distance d’objet deviennent critiques pour la sécurité.
• Thermique stabilité : Plage de fonctionnement −40°C à +85°C. Décalage d’image acceptable ≤1–2 px (≈5–10 µm au plan du capteur). Échec DV à un décalage de 3 px ou apparition d’une distorsion non linéaire. La non‑linéarité est le drapeau critique : un décalage linéaire est corrigible par firmware ; la dérive non linéaire invalide la matrice de calibration intrinsèque entièrement.

Performance du modèle ML

• Détection : Cible mAP ≥0,90, IoU ≥0,75–0,80. mAP atteint 0,92–0,95, IoU 0,78–0,85 sur des jeux de validation synthétiques réservés.
• Taux d’erreurs : Cible FPR ≤5 %, cible FNR ≤3 %. FPR atteint 3–5 %, FNR 2–3 %. L’asymétrie est intentionnelle — un échec de distorsion manqué (FN) dans un programme de caméra critique pour la sécurité est catégoriquement pire qu’une fausse alarme déclenchant une révision d’ingénierie inutile.
• État de l’entraînement : Équilibre perte générateur/discriminateur suivi tout au long de l’entraînement GAN via TensorBoard. Un discriminateur qui s’effondre est la défaillance d’entraînement la plus dangereuse — détectée tôt grâce à la surveillance de la confiance du discriminateur à travers les mini‑lots.

Le problème le plus difficile que j’ai résolu

Le défaut le plus complexe que j’ai diagnostiqué n’était pas un défaut isolé — c’était une défaillance d’accouplement thermique‑mécanique‑optique qui a nécessité 6–8 semaines pour être entièrement décomposée par quatre équipes et a finalement exigé de reconsidérer les hypothèses intégrées au programme depuis la phase de concept.

Le symptôme était simple : le MTF50 en coin est tombé sous le seuil de défaillance DV de 25 % lors d’un bain thermique à +85°C, et un schéma de distorsion non linéaire est apparu, absent à température ambiante. La non‑linéarité était le drapeau rouge critique — un décalage linéaire induit thermiquement est corrigeable dans la matrice de calibration intrinsèque, mais une distorsion non linéaire invalide totalement la calibration et ne peut être corrigée par micrologiciel en production.

La séquence de diagnostic

• Thermographie IR a révélé un gradient thermique non uniforme à travers le corps de la lentille — chauffage asymétrique dû à une conductivité thermique différentielle entre le matériau du boîtier et la couche d’adhésif.
• FEA modélisation de l’expansion thermique prédit un décentrage de l’objectif de 12–15 µm à +85°C, entraîné par le CTE désaccord entre l’époxy à durcissement UV et le boîtier en aluminium. De façon critique, l’adhésif a présenté fluage sous charge thermique soutenue — dépendant du temps, non récupérable déformation.
• Tolérance analyse d’empilement a révélé que ce décentrage, combiné avec la tolérance nominale de hauteur de montage de l’imager (±8 µm), poussait la déviation combinée du rayon principal au‑delà du cône d’acceptation du micro‑objectif de l’imager. Aucun contributeur unique n’a échoué isolément.

La résolution a nécessité trois changements coordonnés : révision de la prescription de la lentille pour redistribuer la compensation de courbure de champ, révision de la géométrie du joint d’adhérence pour réduire le bras de levier du CTE, et un léger re‑outillage du fournisseur du logement de la poche d’adhérence. Un cycle thermique DV supplémentaire a confirmé la récupération. Impact sur le programme : glissement du jalon de 2–3 semaines, un cycle de test DV/PV supplémentaire.

Les modes de défaillance qui atteignent la production sont presque jamais ceux de votre analyse de cas nominal. Ce sont ceux à la frontière de vos hypothèses — là où votre modèle du système cesse d’être précis.

Cette défaillance a directement façonné le pipeline de détection ML. Si les prédictions de déformation thermique FEA avaient été corrélées à un modèle de distorsion entraîné en CV, le risque de fluage de l’adhésif aurait été signalé comme une zone FOV à haut risque avant même la construction d’un seul prototype.

Le problème de données dont personne ne parle

Le problème de données le plus désordonné que j’ai résolu était des étiquettes incohérentes et manquantes dans le jeu de données d’entraînement GAN synthétique — et ce qui le rendait réellement difficile était que les étiquettes étaient dérivées de la physique, pas annotées par des humains. Cette distinction change tout quant au comportement des erreurs d’étiquetage.

Le jeu de données comprenait 180 simulations FEA générant 18 000 paires d’images synthétiques — champs thermiques et de déformation sous forme de tableaux .npy, associés à des cartes de distorsion .png et un fichier maître labels.csv. Trois modes de défaillance ont nécessité une intervention explicite du pipeline :

• FAE mismatch de résolution de grille : Une densité de maillage non uniforme a produit des discontinuités spatiales lors du rasterisation sur la grille d’entrée CNN uniforme. Correction : scipy griddata avec interpolation cubique remplaçant le rééchantillonnage bilinéaire.
• Exportations de simulation incomplètes : Les exécutions FEA se sont arrêtées prématurément et ont écrit des fichiers .npy partiels contenant des champs NaN ou des tableaux de déformation nulle — des sorties physiquement impossibles qui apprendraient au modèle qu’aucune distorsion n’est correcte pour des entrées thermiques extrêmes . Correction : analyse post‑génération éliminant les fractions NaN >0,1 % et les cas de champs nuls.
• Coordonnée désalignement de la transformation : Une erreur d’indexation d’un pas dans la transformation de coordonnées FEA-vers-image a affecté ~6–8 % des échantillons — détectée lors d’une inspection visuelle des superpositions de cartes de distorsion, invisibles aux contrôles automatisés de vérification.

Le déséquilibre de distribution était tout aussi important : le jeu de données était surreprésenté dans les cas thermiques modérés (20 °C–60 °C) et fortement sous‑représenté aux extrêmes (−40 °C et +85 °C) — exactement les conditions de fonctionnement qui déterminent le résultat DV. 800 échantillons supplémentaires de cas limites ont été recréés manuellement pour porter la représentation des cas extrêmes de 2,2 % à 6,8 % du total des échantillons.

En résumé : les étiquettes dérivées de la physique ne sont pas automatiquement fiables. L’instabilité numérique, les incompatibilités de résolution et les erreurs de système de coordonnées génèrent du bruit d’étiquetage corrélé à des conditions d’entrée spécifiques — ce qui biaise le modèle précisément dans les scénarios où des prédictions fiables sont le plus nécessaires.

Le risque que l’industrie ignore

Au‑delà des risques bien documentés de dérive de distribution, de biais algorithmiques et d’attaques adversariales, l’industrie ADAS sous‑estime systématiquement la dérive de calibration en service induite par le cyclage thermique et le vieillissement mécanique.

Les systèmes de caméras sont validés dans des conditions SOP — un ensemble défini d’états thermiques, mécaniques et environnementaux que la caméra doit supporter lors de la validation de production. Cette validation est rigoureuse. Ce qu’elle ne couvre pas, c’est l’effet cumulé du cyclage thermique répété, du fluage des matériaux, de la relaxation des contraintes de montage et du chargement par vibrations routières sur 100 000 kilomètres et dix ans d’utilisation du véhicule.

Le mécanisme est bien compris : le fluage adhésif et le désalignement du coefficient de dilatation thermique (CTE) entre matériaux différents entraînent des déplacements lents et dépendants du temps de la position relative lentille‑capteur. Après trois ans de cyclage thermique entre −30 °C et +70 °C, le corps de la lentille peut avoir glissé de 8 à 12 µm par rapport au capteur. La matrice de calibration intrinsèque stockée dans l’ECU ne représente plus fidèlement l’optique physique. Les estimations de distance d’objet sont systématiquement biaisées — suffisamment petites pour être invisibles sur une image isolée, mais suffisamment grandes pour affecter les seuils d’activation du freinage d’urgence automatique à vitesse autoroutière.

La réponse de l’industrie est insuffisante de deux manières spécifiques : la recalibration périodique n’est pas normalisée (aucun intervalle de recalibration de la caméra programmé n’existe, malgré des mécanismes de dégradation dépendants du temps bien compris), et la surveillance en service n’est pas exigée (SOTIF traite de l’insuffisance fonctionnelle en SOP ; il ne traite pas de la dégradation fonctionnelle sur la durée de vie opérationnelle).

Le résultat est une population de modes de défaillance cachés : des véhicules en circulation dont les systèmes de perception fonctionnent avec des matrices de calibration obsolètes, dégradées de façon à rester en dessous du seuil individuel mais à devenir significatives collectivement sur une grande flotte.

Le mythe qui peut coûter la vie aux gens

Le mythe le plus répandu et le plus dangereux dans les systèmes autonomes est que une précision globale du modèle plus élevée se traduit directement par des systèmes plus sûrs.

Le mAP est une moyenne calculée sur la distribution des classes et des scénarios du jeu de données d’évaluation. Il pondère chaque échantillon de façon égale. Un système ADAS en production ne rencontre pas les scénarios avec la même fréquence — il rencontre la tenue de voie sur autoroute dix mille fois plus souvent qu’un enfant partiellement occulté traversant la route depuis derrière un véhicule stationné. Un modèle qui améliore le mAP de 0,02 en étant légèrement meilleur sur les scénarios nominaux à haute fréquence tout en restant inchangé sur les rares scénarios critiques pour la sécurité n’a pas réellement amélioré la sécurité. Il n’a fait qu’améliorer la métrique.

Je l’ai observé directement. Un modèle affichant un mAP de 0,95 sur un benchmark standard peut encore générer un faux négatif confiant et à haute probabilité sur une combinaison précise d’angle d’éblouissement solaire, de dégradation du marquage au sol et de géométrie du véhicule que les données d’entraînement ne représentaient pas suffisamment. Ce faux négatif à 110 km/h constitue un événement de sécurité. Le mAP de 0,95 ne l’a pas empêché.

Ce qui détermine réellement la fiabilité dans la perception critique pour la sécurité est un autre ensemble de propriétés :

• La gravité et la détectabilité des modes de défaillance — le modèle échoue-t‑il silencieusement ou produit‑il une sortie à faible confiance qui déclenche un repli ?
• Comportement de cas limite aux frontières du domaine de conception opérationnel
• Redondance au niveau du système qui capte les défaillances de perception avant qu’elles ne se propagent aux sorties de commande
• Incertitude calibrée — savoir si le modèle connaît ce qu’il ignore

L’industrie doit remplacer le mAP comme principale métrique de communication de sécurité par rapport de performance stratifié par scénario — des métriques séparées pour les conditions nominales, les conditions de capteur dégradées, les classes d’objets rares et les scénarios aux limites du ODD — combinées à une analyse explicite des modes de défaillance. Jusqu’à ce que ce changement se produise, les programmes continueront de livrer des systèmes qui sont statistiquement impressionnants et parfois dangereux exactement dans les scénarios qui comptent le plus.

Ce que je dirais à un ingénieur junior demain

La leçon la plus importante que aucun cours de deuxième cycle n’enseigne explicitement : les modèles ne échouent pas isolément. Les systèmes le font.

Vous pouvez passer six mois à construire un modèle de perception qui atteint un mAP de 0,93 avec des courbes de perte propres et des valeurs IoU solides. Ensuite, vous le déployez sur du matériel de caméra réel et il échoue de manières qui n’ont rien à voir avec l’architecture du modèle. La calibration intrinsèque de la caméra a été mise à jour pour la dernière fois dans une condition thermique à 15 °C de votre température de fonctionnement. Le pipeline de données possède une transformation de coordonnées introduisant un décalage d’un pixel dans les zones de champ de vision aux coins. Le script de prétraitement d’image applique une normalisation légèrement différente de celle du pipeline d’entraînement utilisé. Aucun de ces éléments n’est un problème de modèle. Tous compromettent les performances du système.

Concrètement : pour chaque nouveau projet, avant de toucher au modèle, tracez le chemin complet des données depuis la sortie du capteur jusqu’à l’étiquette d’entraînement et demandez à chaque étape — quelle hypothèse cette étape fait‑elle, et quand cette hypothèse se brise ? La réponse vous en dira plus sur les points où le système échouera en production que n’importe quelle expérimentation d’architecture.

L’impact réel de l’ingénierie provient de l’intersection de la physique, des données et des contraintes du système — pas de la performance du modèle isolée. C’est la partie que vous ne verrez pas sur un CV, mais c’est là que l’ingénierie véritable se produit.

Où ce domaine se dirige

Dans trois ans, génération de données synthétiques et l’intégration de jumeaux numériques seront une pratique standard dans les pipelines de développement de caméras ADAS, et non une capacité de recherche. Les modèles d’IA informés par la physique intégrant les principes premiers optiques et mécaniques comme contraintes architecturales remplaceront les approches purement basées sur les données pour la prédiction de la qualité de perception. L’auto‑calibration sur l’appareil — utilisant la propre sortie de perception de la caméra pour détecter et compenser la dérive intrinsèque — passera du prototype de recherche à une fonctionnalité de production.

Ce que ne sera pas résolu est le problème des cas limites de la queue longue. L’espace combinatoire des scénarios d’échec composés — dégradation du capteur intersectant une géométrie routière inhabituelle intersectant des conditions météorologiques rares intersectant des comportements atypiques des usagers de la route — ne se réduit pas linéairement avec la taille du jeu de données. Il se réduit, au mieux, selon une loi de puissance, et la queue est effectivement infinie. L’hypothèse selon laquelle l’échelle élimine ce problème est ce que je trouve le plus dangereux dans la pensée actuelle de l’industrie. La réponse d’ingénierie n’est pas simplement plus de données ; c’est la définition conservatrice du domaine de conception opérationnel, la détection robuste des défaillances, et une communication honnête aux utilisateurs finaux sur ce que ces systèmes ne peuvent pas gérer de manière fiable.

Cette communication honnête est la partie que l’industrie reste la plus réticente à fournir.