硅像传感器加速和简化图像处理用于自动驾驶汽车

哈佛约翰·A·保尔森工程和应用科学学院的一组研究人员开发了第一个可以集成到商用硅成像传感器芯片中的传感器处理器。这些传感器被称为互补金属氧化物半导体（CMOS）图像传感器，它们被广泛应用于各种商业设备中，以捕获视觉信息。

该新设备加速和简化了自动驾驶汽车和其他应用的处理。

自动驾驶汽车和视觉处理

在自动驾驶汽车中，系统拍摄图像和数据被送到微处理器进行图像处理之间的时间可能会产生重大影响。这是一个至关重要的时间段，可以决定是否避免障碍或发生事故。

视觉处理可以通过传感器图像处理来加速，这涉及从原始数据中提取重要特征，由图像传感器本身完成，而不是单独的微处理器。然而，传感器处理一直局限于新兴研究材料，这些材料难以融入商业系统。

这就是为什么这个新发展如此重要。

该团队在 Nature Electronics 上发表了他们的研究。

传感器计算

唐希·哈姆是SEAS的戈登·麦凯教授，电气工程和应用物理学的高级作者。

“我们的工作可以利用主流半导体电子行业快速将传感器计算带到各种实际应用中，”哈姆说。

该团队开发了一种硅光电二极管阵列，它也用于商用图像传感芯片中捕获图像。但是，该团队的光电二极管是电静式掺杂的，这意味着单个光电二极管对入射光的灵敏度可以通过电压调节。

当阵列连接多个电压可调光电二极管时，它可以执行模拟乘法和加法操作，这些操作对于图像处理管道很重要。这有助于在图像捕获时提取相关的视觉信息。

侯克·张是SEAS的博士后研究员，也是论文的第一作者。

“这些动态光电二极管可以同时过滤图像，当图像被捕获时，允许视觉处理的第一阶段从微处理器转移到传感器本身，”张说。

为了去除各种应用中的不必要细节或噪音，硅光电二极管阵列被编程为不同的图像滤镜。当在自动驾驶汽车的成像系统中使用时，它需要一个高通滤波器来跟踪车道标记。

亨利·辛顿是SEAS的研究生，也是论文的共同第一作者。

“展望未来，我们预见这种基于硅的传感器处理器不仅将应用于机器视觉应用，还将应用于生物启发应用，其中早期信息处理允许传感器和计算单元共置，如大脑，”辛顿说。

该团队现在将努力增加光电二极管的密度，并将其与硅集成电路集成。

“通过用开发的可编程像素替换商用硅图像传感器中的标准非可编程像素，成像设备可以智能地剪裁不需要的数据。这可以在能量和带宽方面变得更加高效，以满足下一代感知应用的需求，”张说。