シリコンイメージセンサーが画像処理を高速化、自動運転車の処理を簡素化する

ハーバード大学ジョン・A・ポールソン工学・応用科学学校の研究チームは、商用シリコンイメージングセンサーICに統合できる最初のインセンサプロセッサを開発しました。これらのセンサーは、補完型金属酸化物半導体（CMOS）イメージセンサーとして知られており、視覚情報をキャプチャする幅広い商用デバイスで使用されています。

新しいデバイスは、自動運転車や他のアプリケーションでの処理を高速化、簡素化します。

自動運転車と視覚処理

自動運転車では、システムが画像を撮影してから、そのデータが画像処理のためにマイクロプロセッサに渡されるまでの時間は、大きな影響を与えることがあります。これは、障害物を回避するか、事故に巻き込まれるかという違いになる可能性のある、重要な時間帯です。

視覚処理は、インセンサ画像処理によって高速化できます。インセンサ画像処理では、画像センサー自体が生データから重要な特徴を抽出します。別のマイクロプロセッサではなく、画像センサー自体で特徴を抽出します。しかし、インセンサ処理は、商用システムに組み込むのが難しい新興研究材料に限定されていました。

これが、新しい開発が大きな出来事である理由です。

研究チームは、その研究をNature Electronicsに掲載しました。

インセンサコンピューティング

ドンヒ・ハムは、SEASのゴードン・マッケイ電気工学・応用物理学教授であり、論文の責任著者です。

「私たちの研究は、主流の半導体エレクトロニクス業界を利用して、インセンサコンピューティングを幅広い実世界のアプリケーションに迅速に導入することができます」とハムは述べました。

研究チームは、商用的に利用可能な画像センシングチップで画像をキャプチャするために使用されるシリコンフォトダイオードアレイを開発しました。しかし、チームのフォトダイオードは、静電的にドープされており、個々のフォトダイオードの感度を入ってくる光に合わせて電圧で調整できます。

複数の電圧可調整フォトダイオードを接続すると、画像処理パイプラインで重要な乗算と加算演算のアナログ版を実行できます。これにより、画像がキャプチャされたときに、関連する視覚情報を抽出できます。

ホウク・ジャンは、SEASのポスドク研究員であり、論文の第一著者です。

「これらのダイナミックフォトダイオードは、画像をキャプチャする同時に画像をフィルタリングできます。これにより、最初のビジョン処理ステージをマイクロプロセッサからセンサー自体に移行できます」とジャンは述べました。

さまざまなアプリケーションで不要な詳細やノイズを除去するために、シリコンフォトダイオードアレイは、さまざまな画像フィルタにプログラムされています。セルフドライブ車の画像システムで使用される場合、レーンマーキングを追跡するためのハイパスフィルタが必要です。

ヘンリー・ヒントンは、SEASの大学院生であり、論文の共同第一著者です。

「今後、シリコンベースのインセンサプロセッサは、機械ビジョンアプリケーションだけでなく、バイオインスパイアアプリケーションでも使用されることが予想されます。バイオインスパイアアプリケーションでは、早期の情報処理により、センサーとコンピューティングユニットを同所に配置できます。たとえば、脳のような場合です」とヒントンは述べました。

研究チームは、今後、フォトダイオードの密度を高め、シリコン集積回路と統合することを目指しています。

「ここで開発されたプログラム可能なピクセルに代わる、商用シリコンイメージセンサーの標準的な非プログラム可能なピクセルを置き換えることで、画像デバイスは不要なデータを知的にトリミングできます。これにより、エネルギーと帯域幅の両方で効率が向上し、次世代のセンシングアプリケーションの需要に応えることができます」とジャンは述べました。