Sensor Gambar Silikon Mempercepat, Mempermudah Pemrosesan Gambar untuk Kendaraan Otonom

Tim peneliti di Sekolah Teknik dan Ilmu Terapan Harvard John A. Paulson telah mengembangkan prosesor in-sensor pertama yang dapat diintegrasikan ke dalam chip sensor gambar silikon komersial. Sensor ini dikenal sebagai sensor gambar metal-oksida-semikonduktor (CMOS), dan mereka digunakan dalam berbagai perangkat komersial yang menangkap informasi visual.

Perangkat baru ini mempercepat dan mempermudah pemrosesan untuk kendaraan otonom dan aplikasi lainnya.

Kendaraan Otonom dan Pemrosesan Visual

Dalam kendaraan otonom, waktu antara sistem mengambil gambar dan data tersebut disampaikan ke mikroprosesor untuk pemrosesan gambar dapat memiliki implikasi besar. Ini adalah waktu yang kritis yang dapat membedakan antara menghindari hambatan atau terlibat dalam kecelakaan.

Pemrosesan visual dapat dipercepat dengan pemrosesan gambar in-sensor, yang melibatkan fitur penting yang diekstrak dari data mentah oleh sensor gambar itu sendiri, bukan mikroprosesor terpisah. Dengan demikian, pemrosesan in-sensor telah terbukti terbatas pada bahan penelitian yang muncul, yang sulit untuk diintegrasikan ke dalam sistem komersial.

Inilah yang membuat pengembangan baru ini sangat penting.

Tim tersebut menerbitkan penelitian mereka di Nature Electronics.

Pemrosesan In-Sensor

Donhee Ham adalah Profesor Teknik Elektro dan Fisika Terapan Gordon McKay di SEAS dan penulis senior makalah tersebut.

“Karya kami dapat memanfaatkan industri elektronik semikonduktor arus utama untuk dengan cepat membawa pemrosesan in-sensor ke berbagai aplikasi dunia nyata,” kata Ham.

Tim tersebut mengembangkan array fotodioda silikon, yang juga digunakan dalam chip sensor gambar komersial untuk menangkap gambar. Namun, fotodioda tim ini dilengkapi dengan doping elektrostatik, yang berarti sensitivitas fotodioda individual terhadap cahaya masuk dapat disesuaikan dengan tegangan.

Ketika array menghubungkan beberapa fotodioda yang dapat disesuaikan tegangannya, maka dapat melakukan operasi perkalian dan penjumlahan analog yang penting untuk pipa pemrosesan gambar. Ini membantu mengekstrak informasi visual yang relevan saat gambar ditangkap.

Houk Jang adalah rekan postdoktor di SEAS dan penulis pertama makalah tersebut.

“Fotodioda dinamis ini dapat secara bersamaan menyaring gambar saat ditangkap, memungkinkan tahap pertama pemrosesan visi dipindahkan dari mikroprosesor ke sensor itu sendiri,” kata Jang.

Untuk menghilangkan detail atau noise yang tidak perlu untuk berbagai aplikasi, array fotodioda silikon diprogram menjadi filter gambar yang berbeda. Ketika digunakan dalam sistem pengambilan gambar di kendaraan otonom, maka memerlukan filter passthrough yang melacak tanda jalur.

Henry Hinton adalah mahasiswa pascasarjana di SEAS dan penulis pertama makalah tersebut.

“Menghadap ke depan, kami memprediksi penggunaan prosesor in-sensor silikon ini tidak hanya dalam aplikasi visi mesin, tetapi juga dalam aplikasi bio-inspiratif, di mana pemrosesan informasi awal memungkinkan lokasi sensor dan unit komputasi, seperti di otak,” kata Hinton.

Tim tersebut sekarang akan meningkatkan kepadatan fotodioda dan mengintegrasikannya dengan sirkuit terintegrasi silikon.

“Dengan menggantikan piksel non-programmable standar di sensor gambar silikon komersial dengan piksel programmable yang dikembangkan di sini, perangkat pengambilan gambar dapat secara cerdas memotong data yang tidak perlu. Ini dapat dibuat lebih efisien dalam energi dan bandwidth untuk memenuhi permintaan generasi berikutnya aplikasi sensor,” kata Jang.