Czujnik obrazu Silicon Image przyspiesza i upraszcza przetwarzanie obrazu dla pojazdów autonomicznych

Zespół badaczy z Harvard John A. Paulson School of Engineering and Applied Sciences opracował pierwszy procesor wewnątrzczujnika, który może być zintegrowany z komercyjnymi układami scalonymi czujników obrazu Silicon. Te czujniki są znane jako czujniki obrazu metal-oxide-semiconductor (CMOS) i są stosowane w szerokim zakresie urządzeń komercyjnych, które rejestrują informacje wizualne. 

Nowe urządzenie przyspiesza i upraszcza przetwarzanie dla pojazdów autonomicznych i innych zastosowań. 

Pojazdy autonomiczne i przetwarzanie wizualne

W pojazdach autonomicznych czas między momentem, gdy system rejestruje obraz, a momentem, gdy dane są dostarczane do mikroprocesora do przetwarzania obrazu, może mieć poważne konsekwencje. Jest to krytyczny okres, który może oznaczać różnicę między uniknięciem przeszkody a zaangażowaniem w wypadek. 

Przetwarzanie wizualne można przyspieszyć dzięki przetwarzaniu obrazu wewnątrzczujnikowemu, które polega na wyodrębnieniu istotnych cech z surowych danych przez sam czujnik obrazu, a nie przez oddzielny mikroprocesor. Jak się okazuje, przetwarzanie wewnątrzczujnikowe okazało się ograniczone do materiałów badawczych, które są trudne do wbudowania w systemy komercyjne. 

To sprawia, że nowy rozwój jest tak ważny. 

Zespół opublikował swoje badania w Nature Electronics. 

Obliczenia wewnątrzczujnikowe

Donhee Ham jest profesorem inżynierii elektrycznej i fizyki stosowanej na SEAS i seniorem autorem artykułu. 

“Nasza praca może wykorzystać przemysł półprzewodników, aby szybko wprowadzić obliczenia wewnątrzczujnikowe do szerokiej gamy zastosowań rzeczywistych,” powiedział Ham. 

Zespół opracował matrycę fotodiodów krzemu, która jest również stosowana w dostępnych komercyjnie układach rejestrujących obrazy do rejestrowania obrazów. Ale fotodiody zespołu są elektrostatycznie domieszkowane, co oznacza, że czułość poszczególnych fotodiodów na światło docierające może być dostosowana za pomocą napięć. 

Gdy matryca łączy wiele fotodiodów dostosowanych do napięcia, może wykonywać analogową wersję operacji mnożenia i dodawania, które są ważne dla przetwarzania obrazu. To pomaga wyodrębnić istotne informacje wizualne zaraz po zarejestrowaniu obrazu. 

Houk Jang jest stażystą w SEAS i pierwszym autorem artykułu. 

“Te dynamiczne fotodiody mogą jednocześnie filtrować obrazy podczas ich rejestrowania, co pozwala na przeniesienie pierwszego etapu przetwarzania wizji z mikroprocesora do samego czujnika,” powiedział Jang. 

Aby usunąć niepotrzebne szczegóły lub szumy w różnych zastosowaniach, matryca fotodiodów krzemu jest programowana w różne filtry obrazu. Gdy jest stosowana w systemie obrazowania w pojeździe samochodowym, wymaga filtru pasa górnego, który śledzi oznaczenia pasa ruchu. 

Henry Hinton jest studentem studiów magisterskich na SEAS i współautorem artykułu. 

“Spójrzmy w przyszłość, przewidujemy użycie tego procesora wewnątrzczujnikowego opartego na krzemie nie tylko w aplikacjach maszynowego widzenia, ale także w aplikacjach bioinspirowanych, w których wczesne przetwarzanie informacji pozwala na współlokowanie jednostek czujników i obliczeniowych, jak w mózgu,” powiedział Hinton. 

Zespół będzie teraz starał się zwiększyć gęstość fotodiodów i zintegrować je z układami scalonymi krzemu. 

“Poprzez zastąpienie standardowych, nieprogramowalnych pikseli w komercyjnych czujnikach obrazu krzemu pikselami programowalnymi opracowanymi tutaj, urządzenia rejestrujące obrazy mogą inteligentnie wycinać niepotrzebne dane. To mogłoby być bardziej efektywne zarówno pod względem energii, jak i przepustowości, aby spełnić wymagania dla następnej generacji aplikacji sensorycznych,” powiedział Jang.