シリコンイメージセンサーによる自動運転車の画像処理の高速化と簡素化

ハーバード大学ジョン A. ポールソン工学応用科学大学院の研究者チームは、市販のシリコン イメージング センサー チップに統合できる初のセンサー内プロセッサーを開発しました。 これらのセンサーは相補型金属酸化膜半導体 (CMOS) イメージ センサーとして知られており、視覚情報を捕捉する幅広い商用デバイスで使用されています。 

新しいデバイスは、自動運転車やその他のアプリケーションの処理を高速化し、簡素化します。 

自動運転車と視覚処理

自動運転車では、システムが画像を撮影してから、そのデータが画像処理のためにマイクロプロセッサに配信されるまでの時間が大きな影響を与える可能性があります。 それは、障害物を回避するか事故に巻き込まれるかの違いを意味する可能性がある重要な期間です。 

視覚処理は、別個のマイクロプロセッサではなくイメージ センサー自体によって生データから重要な特徴が抽出されるセンサー内画像処理によって高速化できます。 そうは言っても、センサー内処理は商業システムに組み込むことが難しい新しい研究材料に限定されることがわかっています。 

これが、新規開発を非常に重要なものにしている理由です。 

チームは研究結果を次のように発表しました。 ネイチャーエレクトロニクス. 

センサー内コンピューティング

Donhee Ham は、SEAS の電気工学および応用物理学のゴードン・マッケイ教授であり、この論文の上級著者です。 

「私たちの取り組みは、主流の半導体エレクトロニクス産業を利用して、センサー内コンピューティングを現実世界のさまざまなアプリケーションに迅速に導入することができます」とハム氏は述べています。 

研究チームはシリコンフォトダイオードアレイを開発しました。これは、画像をキャプチャするために市販の画像センシングチップでも使用されています。 しかし、チームのフォトダイオードは静電的にドープされており、入射光に対する個々のフォトダイオードの感度は電圧によって調整できることを意味します。 

アレイで複数の電圧調整可能なフォトダイオードを接続すると、画像処理パイプラインにとって重要なアナログ バージョンの乗算および加算演算を実行できます。 これは、画像をキャプチャしたときに関連する視覚情報を抽出するのに役立ちます。 

Houk Jang は SEAS の博士研究員であり、この論文の筆頭著者です。 

「これらのダイナミックフォトダイオードは、画像をキャプチャするときに同時に画像をフィルタリングできるため、視覚処理の最初の段階をマイクロプロセッサからセンサー自体に移すことができます」とJang氏は述べています。 

さまざまな用途で不必要な詳細やノイズを除去するために、シリコン フォトダイオード アレイはさまざまな画像フィルターにプログラムされています。 自動運転車の画像システムで使用される場合、車線区分線を追跡するハイパス フィルターが必要になります。 

ヘンリー・ヒントンは SEAS の大学院生であり、この論文の共同筆頭著者です。 

「将来を見据えると、このシリコンベースのセンサー内プロセッサーは、マシンビジョンアプリケーションだけでなく、バ​​イオからインスピレーションを得たアプリケーションでも使用されると予想しています。そこでは、初期の情報処理により、センサーとコンピューティングユニットのコロケーションが可能になります。脳だ」とヒントン氏は語った。 

研究チームは今後、フォトダイオードの密度を高め、シリコン集積回路と統合することに取り組む予定だ。 

「市販のシリコン イメージ センサーのプログラム不可能な標準ピクセルを、ここで開発されたプログラム可能なピクセルに置き換えることにより、イメージング デバイスは不要なデータをインテリジェントにトリミングできます。 これにより、エネルギーと帯域幅の両方の効率が向上し、次世代の感覚アプリケーションの需要に対応できる可能性があります」とジャン氏は述べています。