Система камеры, имитирующая человеческий глаз для улучшения роботизированного зрения

Компьютерные ученые Университета Мэриленда разработали инновационную систему камеры, которая может революционизировать то, как роботы воспринимают и взаимодействуют со своей средой. Эта технология, вдохновленная непроизвольными движениями человеческого глаза, направлена на улучшение четкости и стабильности роботизированного зрения.

Исследовательская группа, возглавляемая аспирантом Ботао Хе, опубликовала свои результаты в журнале Science Robotics. Их изобретение, камера с искусственными микросаккадами (AMI-EV), решает критическую проблему в роботизированном зрении и автономных системах.

Проблема с текущими камерами событий

Камеры событий, относительно новая технология в области робототехники, превосходят традиционные камеры в отслеживании движущихся объектов. Однако они сталкиваются с существенными ограничениями при захвате четких, не размытых изображений в сценариях с высокой скоростью движения.

Этот недостаток представляет собой существенную проблему для роботов, самоходных автомобилей и других технологий, которые полагаются на точную и своевременную визуальную информацию для навигации и реагирования на свою среду. Способность поддерживать фокус на движущихся объектах и захватывать точные визуальные данные имеет решающее значение для безопасной и эффективной работы этих систем.

Вдохновение от человеческой биологии

Чтобы решить эту проблему, исследовательская группа обратилась к природе за вдохновением, в частности к человеческому глазу. Они сосредоточились на микросаккадах, которые представляют собой крошечные, непроизвольные движения глаз, происходящие, когда человек пытается сосредоточить свое зрение.

Эти минимальные, но постоянные движения позволяют человеческому глазу поддерживать фокус на объекте и точно воспринимать его визуальные текстуры, такие как цвет, глубина и затенение, во времени. Подражая этому биологическому процессу, команда стремилась создать систему камеры, которая могла бы достичь подобной стабильности и четкости в роботизированном зрении.

UMIACS Computer Vision Laboratory

Камера с искусственными микросаккадами (AMI-EV)

Основная инновация AMI-EV заключается в ее способности реплицировать микросаккады механически. Команда включила вращающийся призм внутри камеры для перенаправления световых лучей, захваченных объективом. Это непрерывное вращательное движение имитирует естественные движения человеческого глаза, позволяя камере стабилизировать текстуры записанных объектов подобно человеческому зрению.

Для дополнения аппаратной инновации команда разработала специализированное программное обеспечение для компенсации движения призмы внутри AMI-EV. Это программное обеспечение консолидирует сдвигающиеся световые узоры в стабильные изображения, эффективно имитируя способность мозга обрабатывать и интерпретировать визуальную информацию из постоянных микродвижений глаза.

Это сочетание аппаратных и программных достижений позволяет AMI-EV захватывать четкие, точные изображения даже в сценариях, включающих значительное движение, решая ключевое ограничение текущей технологии камер событий.

Потенциальные применения

Инновационный подход AMI-EV к захвату изображений открывает широкий спектр потенциальных применений в различных областях:

• Робототехника и автономные транспортные средства: Способность камеры захватывать четкие, стабильные изображения даже в условиях значительного движения может существенно улучшить восприятие и принятие решений роботами и самоходными автомобилями. Это улучшенное зрение может привести к более безопасным и эффективным автономным системам, способным лучше определять и реагировать на свою среду в реальном времени.
• Виртуальная и дополненная реальность: В области иммерсивных технологий низкая задержка и превосходная производительность AMI-EV в экстремальных условиях освещения делают ее идеальной для виртуальной и дополненной реальности. Камера может обеспечить более плавный и реалистичный опыт, быстро вычисляя движения головы и тела, снижая риск кинетозу и улучшая общее качество взаимодействия.
• Безопасность и наблюдение: Продвинутые возможности камеры в обнаружении движения и стабилизации изображений могут революционизировать системы безопасности и наблюдения. Более высокие частоты кадров и более четкие изображения в различных условиях освещения могут привести к более точному обнаружению угроз и улучшению общего мониторинга безопасности.
• Астрономия и космическое изображение: Способность AMI-EV захватывать быстрое движение с беспрецедентной четкостью может оказаться бесценной в астрономических наблюдениях. Эта технология может помочь астрономам захватить более подробные изображения небесных тел и событий, потенциально ведущих к новым открытиям в космических исследованиях.

Производительность и преимущества

Одной из наиболее впечатляющих особенностей AMI-EV является ее способность захватывать движение со скоростью десятков тысяч кадров в секунду. Это далеко превосходит возможности большинства коммерчески доступных камер, которые обычно захватывают между 30 и 1000 кадрами в секунду.

Производительность AMI-EV не только превышает возможности типичных коммерческих камер по частоте кадров, но и по способности поддерживать четкость изображения во время быстрого движения. Это может привести к более плавному и реалистичному изображению движения в различных приложениях.

В отличие от традиционных камер, AMI-EV демонстрирует превосходную производительность в сложных условиях освещения. Это преимущество делает ее особенно полезной в приложениях, где условия освещения переменчивы или непредсказуемы, такие как в самоходных автомобилях или космическом изображении.

Будущие последствия

Разработка AMI-EV имеет потенциал трансформировать множество отраслей за пределами робототехники и автономных систем. Ее применения могут распространиться на области, такие как здравоохранение, где она может помочь в более точной диагностике, или в производстве, где она может улучшить процессы контроля качества.

По мере дальнейшего развития этой технологии она может проложить путь для еще более продвинутых и способных систем. Будущие итерации потенциально могут интегрировать алгоритмы машинного обучения для дальнейшего улучшения обработки изображений и распознавания объектов. Кроме того, миниатюризация технологии может привести к ее включению в более мелкие устройства, расширяя ее потенциальные применения еще дальше.