自動運転車の画像処理を高速化・簡素化するシリコンイメージセンサー

ハーバード大学ジョン・A・ポールソン工学・応用科学大学院の研究チームは、商用シリコンイメージングセンサーチップに統合できる最初のインセンサープロセッサを開発しました。これらのセンサーは、補償金属酸化物半導体（CMOS）イメージセンサーとして知られており、視覚情報をキャプチャする幅広い商用デバイスで使用されています。

新しいデバイスは、自動運転車やその他のアプリケーションでの処理を高速化・簡素化します。

自動運転車と視覚処理

自動運転車では、システムが画像を取得してマイクロプロセッサに画像処理のためにデータを提供するまでの時間は重大な影響を及ぼす可能性があります。これは、障害物を回避するか事故に巻き込まれるかという差になる可能性のある重要な時間枠です。

視覚処理は、インセンサ内画像処理によって高速化できます。インセンサ内画像処理では、画像センサー自体によって重要な機能が生のデータから抽出され、別のマイクロプロセッサではありません。ただし、インセンサ内処理は、商用システムに組み込むのが難しい新興研究材料に限定されています。

これが新しい開発が大きなことである理由です。

研究チームは研究を Nature Electronicsに発表しました。

インセンサ内コンピューティング

ドンヒ・ハムはSEASのゴードン・マッケイ電気工学・応用物理学教授であり、論文の責任著者です。

「私たちの研究は、主流の半導体エレクトロニクス業界を利用して、インセンサ内コンピューティングを幅広い実世界のアプリケーションに迅速に導入することができます」とハムは述べました。

研究チームは、商用的に利用可能な画像センシングチップで画像をキャプチャするために使用されるシリコンフォトダイオードアレイを開発しました。しかし、チームのフォトダイオードは電気的にドープされており、個々のフォトダイオードの感度を入ってくる光に対して電圧で調整することができます。

電圧調整可能な複数のフォトダイオードをアレイに接続すると、画像処理パイプラインで重要な乗算と加算演算のアナログ版を実行できます。これにより、画像がキャプチャされたときに関連する視覚情報を抽出することができます。

ホーク・ジャンはSEASのポスドク研究員であり、論文の第一著者です。

「これらのダイナミックフォトダイオードは、画像がキャプチャされる同時に画像をフィルタリングできます。これにより、最初のビジョン処理ステージをマイクロプロセッサからセンサー自体に移動することができます」とジャンは述べました。

さまざまなアプリケーションで不要な詳細やノイズを除去するために、シリコンフォトダイオードアレイはさまざまな画像フィルタにプログラムされています。自律走行車の画像システムで使用される場合、車線マーキングを追跡するためのハイパスフィルタが必要です。

ヘンリー・ヒントンはSEASの大学院生であり、論文の共同第一著者です。

「今後、シリコンベースのインセンサ内プロセッサをマシンビジョンアプリケーションだけでなく、バイオインスパイアアプリケーションにも使用することを予想しています。バイオインスパイアアプリケーションでは、早期情報処理により、センサーとコンピューティングユニットが脳のように同所化することができます」とヒントンは述べました。

研究チームは今後、フォトダイオードの密度を高め、シリコン集積回路と統合することを目指しています。

「商用シリコンイメージセンサーの標準のプログラム不能ピクセルをここで開発したプログラム可能ピクセルに置き換えることで、画像デバイスは不要なデータを知的にトリミングできます。これにより、次世代のセンシングアプリケーションのニーズに対応するために、エネルギーと帯域幅の両方で効率を高めることができます」とジャンは述べました。