見えない歪み：ADAS カメラシステムが現場で失敗する理由と、物理情報を組み込んだ機械学習がそれを変える方法

私がやっていることは、眼鏡をかける前に視界がどのように歪むかを予測するようなものです――ただし、間違った場合の結果は頭痛ではなく、時速110kmでの緊急ブレーキ失敗という事態です。

設計検証サイクルの後期に故障が顕在化しました――ADAS 前方カメラにおける深刻な放射状および接線方向のレンズ歪みで、光学組立公差がサプライヤーと確定した後に初めて発見されました。修正には、イメージャとレンズマウントのオフセットを手動で調整し、MTF とグリッド歪みテストを再実施し、遅い段階での DV 故障に伴うプログラムマイルストーンリスクの連鎖を管理する必要がありました。根本原因は製造欠陥や設計エラーだけではありませんでした。より構造的な問題でした：カメラ歪みの特性評価が完全に受動的だったことです。物理的な試作ができた時点では、光学スタックを安価に修正するには手遅れでした。

その出来事が私を直接機械学習の領域へと導きました。GAN で合成した歪みマップで訓練された CNN が、レンズが製造される前に光学設計パラメータからバレル、ピンチュション、マスタッシュ歪みリスクを検出できれば、DV の予期せぬ失敗は完全に排除できるでしょう。これが私がここ数年取り組んできた課題です――物理シミュレーションと AI を用いて、熱や機械的応力が車両の運用期間を通じてカメラ光学系をどのように変形させるかを予測し、製造段階での発見ではなく概念段階で失敗を是正できるようにすることです。

以下に示すのは、私が学んだことです――アーキテクチャ、データ、故障モード、そしてこの業界が AI について語る姿と、実際のプロダクションシステムで AI がどのように振る舞うかとのギャップについてです。

アーキテクチャ：ハードウェアと機械学習の融合

私が最も深く理解しているシステムは、複数の OEM プログラムで展開されている ADAS 前方カメラプラットフォームです――光学組立の物理と認識機械学習パイプラインの性能が切り離せない、安全性が極めて重要なモジュールです。

ハードウェアスタックは、FOV バリエーションに応じて 6〜8 要素の設計となるマルチエレメントレンズバレルを、精密機械ハウジングを介して CMOS イメージャに取り付けることから始まります。 主光線角度の一致はレンズの出口瞳とイメージャのマイクロレンズアレイ間の重要な整合制約であり、ミスマッチはコーナーシェーディングと視野依存歪みの主要な原因です。イメージャは生のベイヤーパターンフレームを ISP に出力し、デモザイク、ノイズ低減、レンズシェーディング補正を行ってから認識 SoC に渡します。

機械学習による歪み検出パイプラインは、物理的試作の上流に位置します。データフローは次のとおりです：

• 合成 光学パラメータ空間（レンズ曲率半径、エレメント間隔 公差、イメージャ傾斜角、主光線角度偏差）
• 物理条件付けされた U-Net ジェネレータを用いた cGAN が、実際的な歪みフレームを合成 全視野にわたって
• ResNet-50 勾配大きさ画像で訓練された CNN 分類器が検出 バレル、ピンチュション、マスタッシュ歪みパターン
• 歪み リスクスコアと空間ヒートマップ出力 — 高リスク FOV をフラグ付け物理レンズが製造される前の領域

なぜバニラ DC-GAN ではなく、物理条件付けされた cGAN を使用するのか？DC-GAN はランダムな潜在ベクトルから画像を生成します――訓練画像の周辺分布を学習するだけで、特定の FEA 変形状態が与えられた条件付き分布は学習しません。歪みマップの合成において、この違いは決定的です。U-Net ジェネレータを備えた物理条件付け cGAN は、ジェネレータとディスクリミネータの両方を入力 FEA 変形場に条件付けし、物理的変形状態から光学歪みパターンへのマッピングを学習させます。U-Net のスキップ接続は、標準的なエンコーダ‑デコーダが連続的なダウンサンプリングで失う、コーナー視野領域のサブピクセル歪み勾配を保持し、これらのコーナー勾配が DV 故障予測の主要シグナルとなります。

なぜ純粋な回帰 CNN ではないのか？回帰モデルはトレーニングセット全体の平均二乗誤差を最小化するため、コーナーでのピーク歪みを体系的に過小評価します。GAN の敵対的目的はジェネレータに鋭く高コントラストな歪みマップを生成させる――結果として、回帰モデルが平滑化してしまうピークの大きさを保持します。DV 故障閾値が硬い境界（コーナー MTF50 < 25% または局所歪み > 3 ピクセル）である場合、ピークを過小評価することは保守的な誤りではなく、失敗予測の見逃しとなります。

実際に重要な指標

光学性能指標と機械学習性能指標は共に追跡されます。どちらか一方だけでは不完全だからです。

光学的認識品質

• MTF50： 目標は画像中心で ≥45–50%、コーナーで ≥30%。DV 故障は コーナー MTF50 が <25% または中心からコーナーへの低下が 40% を超える時に発生します — 下流の認識アルゴリズムが 視野周辺で信頼できるエッジ検出を失うポイントです。
• 幾何的 歪み: 目標は全視野で RMS ≤2 ピクセル。局所的に 3 ピクセルの歪みで DV が失敗 または理想投影モデルから 1.5–2% 以上の偏差 — ここで車線逸脱や物体距離推定エラーが 安全上の問題となる。
• 熱 安定性: 動作範囲 −40°C〜+85°C。許容画像シフト ≤1–2 ピクセル（センサ面で約5–10 µm）。DV失敗は3ピクセルシフトまたは 非線形歪みの発生時。非線形性は重要なフラグであり、 線形シフトはファームウェアで補正可能だが、非線形ドリフトは 固有較正行列を完全に無効化する。

ML モデル性能

• 検出: 目標 mAP ≥0.90、IoU ≥0.75–0.80。実測 mAP 0.92–0.95、 IoU 0.78–0.85（保持された合成検証セット上）。
• エラー 率: FPR 目標 ≤5%、FNR 目標 ≤3%。実測 FPR 3–5%、FNR 2–3%。 この非対称性は意図的であり、 安全クリティカルなカメラプログラムでの歪み失敗（FN）は、 不要なエンジニアリングレビューを引き起こす誤警報（FP）よりも決定的に重大である。
• トレーニング 状態: GAN トレーニング全体でジェネレータ／ディスクリミネータの損失バランスを TensorBoard で追跡し、 崩壊するディスクリミネータは最も危険な トレーニング失敗 — ディスクリミネータの ミニバッチ間の信頼度を監視することで早期に検出できる。

私が解決した最も難しい問題

診断した最も複雑な失敗は単一の欠陥ではなく、 熱‑機械‑光学結合の失敗であり、4 つのチームにまたがって 6–8 週間かけて完全に分解され、概念段階からプログラムに組み込まれた前提を再検討する必要があった。

症状は単純だった：コーナー MTF50 が +85°C の熱浸漬中に 25% の DV 失敗閾値を下回り、 室温では見られなかった非線形歪みパターンが出現した。非線形性が重要なレッドフラッグであり、線形の熱誘起シフトは固有較正マトリックスで補正可能だが、非線形歪みは較正を完全に無効化し、製造時にファームウェアで修正できない。

診断シーケンス

• IR サーモグラフィー レンズバレル全体に非均一な熱勾配が明らかになった — ハウジング材料と接着層の熱伝導率の差による非対称加熱 ハウジング材料と接着結合層。
• FEA 熱膨張モデリング は+85°Cで12–15 µmのレンズデセンターを予測し、CTE の不一致が原因である UV硬化エポキシとアルミハウジング間の不一致。 重要なのは、接着剤が クリープ を持続的な熱負荷下で示したこと——時間依存で回復不可能な 変形。
• 公差 スタックアップ解析 は、このデセンターが公称イメージャの 取り付け高さ公差（±8 µm）と組み合わさり、合成主光線の 角度偏差がイメージャのマイクロレンズ受容円錐を超えた。 単一の要因が単独で失敗したわけではない。

解像度向上には 3 つの協調的変更が必要だった：フィールド曲率補償を再配分するためのレンズ処方の改訂、CTE レバーアームを削減するための接合部形状の改訂、そしてハウジング接合ポケットのサプライヤーによる小規模な再工具化。追加の DV 熱サイクルで回復が確認された。プログラムへの影響は 2–3 週間のマイルストーン遅延と、追加の DV/PV テストサイクル 1 回である。

実際に量産に至る失敗モードは、ほとんどの場合、名目上のケース分析に現れないものだ。これらは前提の境界に位置し、システムモデルが正確さを失うポイントである。

この失敗は ML 検出パイプラインに直接影響を与えた。もし FEA の熱変形予測が CV で訓練された歪みモデルと相関付けられていれば、接着剤のクリープリスクはプロトタイプが一つも作られる前に高リスク FOV 領域としてフラグ付けされていただろう。

誰も語らないデータ問題

私が解決した最も混沌としたデータ問題は、 合成 GAN 訓練データセットにおける一貫性のない欠落ラベルであり、難しさの本質はラベルが人手で付与されたものではなく、物理に基づいて生成された点にあった。その違いがラベルエラーの振る舞いを根本的に変える。

データセットは 180 件の FEA シミュレーションから構成され、18,000 ペアの合成画像（熱場と変形場を .npy 配列で、.png 歪みマップと master labels.csv とペアにしたもの）を生成した。3 つの失敗モードが明示的なパイプライン介入を必要とした：

• FEA グリッド解像度不一致: 非均一なメッシュ密度が空間的な不連続を生み、 CNN 入力の均一グリッドにラスタライズした際に問題となった。対策：scipy の griddata を用いて 二次補間で置き換え、双一次リサンプリングを廃止。
• 不完全 シミュレーションエクスポート： FEA 実行が早期に終了し、NaN フィールドを含む部分的な .npy ファイルを書き出した またはゼロ変形配列 — 物理的に不可能な出力で、 モデルに極端な 熱入力に対して歪みが正しくないことを学習させてしまう。対策: 生成後スキャンで NaN の割合を除去 >0.1% およびゼロフィールドケース。
• 座標 変換の不整合： FEA から画像への座標変換におけるオフバイワンインデックスエラーが サンプルの約6〜8%に影響し — 視覚的に 歪みマップオーバーレイの検査中に検出され、自動 チェックでは見えなかった。

分布の不均衡も同様に重要だった：データセットは中程度の熱条件（20°C〜60°C）に偏り、極端な条件（−40°C および +85°C）では極端に不足していた — これらは DV の合否を左右する運用条件そのものだ。800 件のエッジケースサンプルを手動で再生成し、極端ケースの表現率を全体の 2.2% から 6.8% に増やした。

要点は： 物理に基づくラベルは自動的に信頼できるわけではない。数値的不安定性、解像度の不一致、座標系エラーが特定の入力条件と相関するラベルノイズを生み、信頼できる予測が最も必要なシナリオでモデルにバイアスをかける。

業界が無視しているリスク

分布シフト、アルゴリズムバイアス、敵対的攻撃といった十分に文書化されたリスクを超えて、ADAS 業界は体系的に過小評価している 熱サイクルと機械的老化によって引き起こされる稼働中のキャリブレーションドリフトを。

カメラシステムは SOP 条件下で検証される — これは、製造サインオフ時にカメラが耐えるべき熱、機械、環境状態の定義されたセットである。この検証は厳格である。カバーしていないのは、繰り返しの熱サイクル、材料クリープ、取り付け応力緩和、道路振動荷重が 100,000 km と 10 年間の車両運用で蓄積する累積効果である。

メカニズムは十分に理解されている：異種材料間の接着剤クリープと熱膨張係数（CTE）不一致が、レンズとイメージャの相対位置を時間依存的にゆっくりとシフトさせる。−30°C から +70°C の温度サイクルを 3 年間行うと、レンズバレルはイメージャに対して 8〜12 µm 移動している可能性がある。ECU に保存された固有のキャリブレーション行列は、もはや物理光学を正確に表していない。物体距離推定は体系的にバイアスがかかっており、単一フレームでは見えないほど小さいが、高速道路での自動緊急ブレーキ作動閾値に影響するほど大きい。

業界の対応は以下の 2 つの点で不十分である： 定期的な再キャリブレーションが標準化されていない（時間依存的な劣化メカニズムが十分に理解されているにもかかわらず、カメラの再キャリブレーション間隔が設定されていない）、そして 稼働中のモニタリングが義務付けられていない（SOTIF は SOP での機能不足に対処するが、運用寿命全体にわたる機能劣化には対処しない）。

結果として、隠れた故障モードの集団が生まれる：現場の車両で、認識システムが古いキャリブレーション行列上で動作し、個々には閾値未満だが、全体として大規模フリートで意味のある程度に劣化している。

人命を危険にさらす神話

自律システムにおいて最も広範かつ危険な神話は、モデル全体の精度が高いほど、システムが直接的に安全になると考えることだ。

mAP は評価データセットのクラスとシナリオ分布の平均である。すべてのサンプルに同等の重みを付ける。実際の ADAS システムはシナリオが同等の頻度で現れるわけではなく、例えば高速道路でのレーンキーピングは、駐車車両の後ろから道路に走り出す部分的に遮蔽された子供というシナリオの 1 万倍の頻度で遭遇する。高頻度の名目シナリオでわずかに改善し、稀な安全クリティカルシナリオでは変わらないことで mAP を 0.02 向上させたモデルは、安全性を実質的に向上させたわけではない。指標が改善されただけである。

私はこれを直接観測した。標準ベンチマークで mAP 0.95 を出すモデルでも、太陽光のグレア角度、車線マーキングの劣化、車両形状という特定の組み合わせで、訓練データが十分にカバーしていない場合、高い確信度と高確率の偽陰性を生成し得る。その 110 km/h での偽陰性は安全上の事象である。0.95 の mAP はそれを防げなかった。

安全クリティカルな認識において実際に信頼性を決定するのは、別の特性群である：

• 失敗モードの重大度 と検出可能性 — モデルは黙って失敗するのか、低信頼度の出力を生成し フォールバックをトリガーするか？
• エッジケース 挙動 運用設計領域の境界で
• システムレベルの 冗長性 認識の失敗が制御へ伝搬する前に捕捉する 出力
• 較正された 不確実性 — モデルが何を知らないかを認識しているかどうか

業界は mAP を主要な安全性コミュニケーション指標から シナリオ別性能報告へ置き換える必要がある——標準条件、劣化したセンサー条件、稀少オブジェクトクラス、ODD境界シナリオごとの個別指標と、明示的な故障モード分析を組み合わせること。これが実現するまで、プログラムは統計的に優れたが、最も重要なシナリオで時折危険なシステムを出荷し続けるだろう。

明日、ジュニアエンジニアに伝えたいこと

大学院の講義では明示的に教えられない、最も重要な教訓は次のとおりです: モデルは単独で失敗しない。システム全体が失敗する。

6か月かけて、クリーンな損失曲線と堅実な IoU 値で mAP 0.93 を達成する認識モデルを構築できる。しかし、実際のカメラハードウェアに展開すると、モデルアーキテクチャとは無関係な方法で失敗する。カメラの内部較正は、動作温度から 15°C 離れた熱条件で最後に更新された。データパイプラインは、コーナー視野領域で 1 ピクセルのオフセットを導入する座標変換を持っている。画像前処理スクリプトは、使用されたトレーニングパイプラインとは若干異なる正規化を適用している。これらはどれもモデルの問題ではない。すべてがシステム性能を損なう。

実務的には：すべての新規プロジェクトで、モデルに手を付ける前に、センサー出力からトレーニングラベルまでの全データパスを追跡し、各ステップで「このステップはどのような前提をしているか、そしてその前提はいつ崩れるか？」と問いかけることが重要だ。答えは、アーキテクチャ実験のどんな量よりも、システムが本番で失敗する場所を教えてくれるだろう。

実際のエンジニアリングインパクトは、物理、データ、システム制約の交差点から生まれる——モデル性能だけではない。これは履歴書には現れない部分だが、真のエンジニアリングが行われる場所である。

この分野の今後の方向性

3 年後には、合成データ生成 とデジタルツイン統合は標準的な手法となるADAS カメラ開発パイプラインにおいて、研究的な能力ではなくなる。光学および機械的第一原理をアーキテクチャ制約として組み込んだ物理インフォームド ML モデルは、純粋にデータ駆動型の手法に取って代わり、認識品質予測を行う。デバイス上の自己較正 — カメラ自身の認識出力を用いて内部ドリフトを検出・補正する — は、研究プロトタイプから製品機能へと移行するだろう。

何が 解決されないかというと、ロングテールのエッジケース問題である。センサー劣化と異常な道路形状、稀な天候、非典型的な道路利用者行動が交差する複合的失敗シナリオの組み合わせ空間は、データセットサイズとともに線形に縮小しない。最良でもべき乗則的に縮小し、テールは実質的に無限である。スケールがこの問題を解消すると仮定する考え方が、現在の業界思考で最も危険だと私は考える。エンジニアリングの対応は単にデータを増やすことではなく、保守的な運用設計ドメインの定義、堅牢な故障検出、そしてこれらのシステムが信頼して扱えないことについてエンドユーザーへ正直に伝えることである。

その正直なコミュニケーションこそが、業界が最も提供することに消極的な部分である。