Krzemowy czujnik obrazu przyspiesza i upraszcza przetwarzanie obrazu dla pojazdów autonomicznych

Zespół badaczy z Harvard John A. Paulson School of Engineering and Applied Sciences opracował pierwszy procesor wewnątrzczujnikowy, który może być zintegrowany z komercyjnymi czujnikami obrazu krzemowymi. Czujniki te są znane jako czujniki obrazu metal-tlenek-półprzewodnik (CMOS) i są stosowane w szerokim zakresie urządzeń komercyjnych, które rejestrują informacje wizualne.

Nowe urządzenie przyspiesza i upraszcza przetwarzanie dla pojazdów autonomicznych i innych aplikacji.

Pojazdy autonomiczne i przetwarzanie wizualne

W pojazdach autonomicznych czas między momentem, gdy system rejestruje obraz, a momentem, gdy dane są dostarczane do mikroprocesora do przetwarzania obrazu, może mieć znaczące konsekwencje. Jest to czas krytyczny, który może oznaczać różnicę między uniknięciem przeszkody a zaangażowaniem w wypadek.

Przetwarzanie wizualne można przyspieszyć dzięki przetwarzaniu obrazu wewnątrzczujnikowemu, które polega na wyodrębnieniu istotnych cech z danych surowych przez sam czujnik obrazu, a nie przez oddzielny mikroprocesor. Jednakże, przetwarzanie wewnątrzczujnikowe okazało się ograniczone do materiałów badawczych, które są trudne do zintegrowania z systemami komercyjnymi.

To sprawia, że nowy rozwój jest tak ważny.

Zespół opublikował swoje badania w Nature Electronics.

Przetwarzanie wewnątrzczujnikowe

Donhee Ham jest profesorem im. Gordona McKaya w dziedzinie inżynierii elektrycznej i fizyki stosowanej w SEAS i seniorem autorem artykułu.

“Nasza praca może wykorzystać przemysł półprzewodników do szybkiego wprowadzenia przetwarzania wewnątrzczujnikowego do szerokiego zakresu aplikacji rzeczywistych”, powiedział Ham.

Zespół opracował matrycę fotodiodów krzemowych, która jest również stosowana w dostępnych komercyjnie czujnikach obrazu do rejestrowania obrazów. Jednakże, fotodiody zespołu są elektrostatycznie domieszkowane, co oznacza, że czułość poszczególnych fotodiodów na światło może być dostosowana przez napięcia.

Gdy matryca łączy wiele fotodiodów z regulowanym napięciem, może wykonywać analogową wersję operacji mnożenia i dodawania, które są istotne dla przetwarzania obrazu. To pomaga wyodrębnić istotne informacje wizualne bezpośrednio podczas rejestrowania obrazu.

Houk Jang jest badaczem po doktoracie w SEAS i pierwszym autorem artykułu.

“Te dynamiczne fotodiody mogą jednocześnie filtrować obrazy podczas ich rejestrowania, co pozwala na przeniesienie pierwszego etapu przetwarzania wizualnego z mikroprocesora do samego czujnika”, powiedział Jang.

Aby usunąć niepotrzebne szczegóły lub szumy w różnych aplikacjach, matryca fotodiodów krzemowych jest programowana w różne filtry obrazu. Gdy jest stosowana w systemie obrazu w pojeździe autonomicznym, wymaga filtru górnoprzepustowego, który śledzi oznaczenia pasa.

Henry Hinton jest studentem studiów podyplomowych w SEAS i współpierwszym autorem artykułu.

“Spójrzmy w przyszłość, przewidujemy użycie tego krzemowego procesora wewnątrzczujnikowego nie tylko w aplikacjach wizji maszynowej, ale także w aplikacjach bio-inspirowanych, w których wczesne przetwarzanie informacji pozwala na współlokację jednostek czujnikowych i obliczeniowych, jak w mózgu”, powiedział Hinton.

Zespół będzie teraz starał się zwiększyć gęstość fotodiodów i zintegrować je z układami scalonymi krzemowymi.

“Poprzez zastąpienie standardowych nieprogramowalnych pikseli w komercyjnych czujnikach obrazu krzemowych programowalnymi pikselami opracowanymi tutaj, urządzenia obrazu mogą inteligentnie obcinać niepotrzebne dane. To może być zrobione w sposób bardziej wydajny zarówno pod względem energii, jak i przepustowości, aby spełnić wymagania następnej generacji aplikacji sensorycznych”, powiedział Jang.