Czujnik obrazu z silikonu przyspiesza i upraszcza przetwarzanie obrazu dla pojazdów autonomicznych

Zespół badaczy z Harvard John A. Paulson School of Engineering and Applied Sciences opracował pierwszy procesor wewnątrzczujnikowy, który może być zintegrowany z komercyjnymi czujnikami obrazu silikonowymi. Czujniki te są znane jako czujniki obrazu metal-tlenek-półprzewodnik (CMOS) i są stosowane w szerokim zakresie urządzeń komercyjnych, które rejestrują informacje wizualne.

Nowe urządzenie przyspiesza i upraszcza przetwarzanie dla pojazdów autonomicznych i innych aplikacji.

Pojazdy autonomiczne i przetwarzanie wizualne

W pojazdach autonomicznych czas między momentem, gdy system rejestruje obraz, a momentem, gdy dane są dostarczane do mikroprocesora do przetwarzania obrazu, może mieć znaczące konsekwencje. Jest to czas krytyczny, który może oznaczać różnicę między uniknięciem przeszkody a zaangażowaniem w wypadek.

Przetwarzanie wizualne można przyspieszyć dzięki przetwarzaniu obrazu wewnątrzczujnikowemu, które polega na wyodrębnieniu istotnych cech z danych surowych przez sam czujnik obrazu, a nie przez oddzielny mikroprocesor. Jednakże, przetwarzanie wewnątrzczujnikowe okazało się ograniczone do materiałów badawczych, które są trudne do zintegrowania z systemami komercyjnymi.

To sprawia, że nowy rozwój jest tak ważny.

Zespół opublikował swoje badania w Nature Electronics.

Przetwarzanie wewnątrzczujnikowe

Donhee Ham jest profesorem inżynierii elektrycznej i fizyki stosowanej w SEAS i seniorem autorem artykułu.

“Nasza praca może wykorzystać przemysł półprzewodników do szybkiego wprowadzenia przetwarzania wewnątrzczujnikowego do szerokiego zakresu aplikacji rzeczywistych”, powiedział Ham.

Zespół opracował matrycę fotodiodów silikonowych, która jest również stosowana w dostępnych komercyjnie czujnikach obrazu do rejestrowania obrazów. Jednakże, fotodiody zespołu są elektrostatycznie domieszkowane, co oznacza, że czułość poszczególnych fotodiodów na światło może być dostosowana przez napięcia.

Gdy matryca łączy wiele fotodiodów z regulowanym napięciem, może wykonywać analogową wersję operacji mnożenia i dodawania, które są istotne dla przetwarzania obrazu. To pomaga wyodrębnić istotne informacje wizualne bezpośrednio podczas rejestrowania obrazu.

Houk Jang jest stypendystą w SEAS i pierwszym autorem artykułu.

“Te dynamiczne fotodiody mogą jednocześnie filtrować obrazy podczas ich rejestrowania, co pozwala na przeniesienie pierwszego etapu przetwarzania wizualnego z mikroprocesora do samego czujnika”, powiedział Jang.

Aby usunąć niepotrzebne szczegóły lub szumy w różnych aplikacjach, matryca fotodiodów silikonowych jest programowana w różne filtry obrazu. Gdy jest stosowana w systemie obrazu w pojeździe autonomicznym, wymaga filtru pasa górnego, który śledzi oznaczenia pasa.

Henry Hinton jest studentem w SEAS i współautorem artykułu.

“Spójrzmy w przyszłość, przewidujemy użycie tego silikonowego procesora wewnątrzczujnikowego nie tylko w aplikacjach wizji maszynowej, ale także w aplikacjach bio-inspirowanych, w których wczesne przetwarzanie informacji pozwala na współlokację jednostek czujnikowych i obliczeniowych, jak w mózgu”, powiedział Hinton.

Zespół będzie teraz starał się zwiększyć gęstość fotodiodów i zintegrować je z układami scalonymi silikonowymi.

“Poprzez zastąpienie standardowych nieprogramowalnych pikseli w komercyjnych czujnikach obrazu silikonowych programowalnymi pikselami opracowanymi tutaj, urządzenia obrazu mogą inteligentnie obcinać niepotrzebne dane. To może być zrobione w sposób bardziej wydajny zarówno pod względem energii, jak i przepustowości, aby spełnić wymagania następnej generacji aplikacji sensorycznych”, powiedział Jang.