Камерна система, що імітує людське око для покращення роботизованого зору

Комп’ютерні вчені Університету Меріленду розробили інноваційну камерну систему, яка може революціонізувати спосіб, у який роботизовані системи сприймають і взаємодіють зі своєю навколишнім середовищем. Ця технологія, натхненна невольними рухами людського ока, має на меті покращити ясність і стабільність роботизованого зору.

Дослідницька команда, яку очолює аспірант Ботао Хе, опублікувала свої результати у статті в журналі Science Robotics. Їхнє винахід, Штучна мікросаккадна покращена камера подій (AMI-EV), вирішує критичну проблему у роботизованому зорі та автономних системах.

Проблема з поточними камерами подій

Камери подій, відносно нова технологія у сфері робототехніки, добре справляються з відстежуванням рухомих об’єктів у порівнянні з традиційними камерами. Однак вони мають суттєві обмеження при захопленні чітких, безрозмитих зображень у високорухомих сценаріях.

Ця недолік становить суттєву проблему для роботів, самохідних автомобілів та інших технологій, які залежать від точної та своєчасної візуальної інформації для навігації та реагування на своє середовище. Здатність утримувати фокус на рухомих об’єктах та захоплювати точні візуальні дані є важливою для безпечної та ефективної роботи цих систем.

Натхнення від біології людини

Щоб подолати цю проблему, дослідницька команда звернулася до природи за натхненням, зокрема до людського ока. Вони зосередилися на мікросаккадах, які є малими, невольними рухами очей, що відбуваються, коли людина намагається сфокусувати свій зір.

Ці малі, але безперервні рухи дозволяють людському оку утримувати фокус на об’єкті та точно сприймати його візуальні текстури, такі як колір, глибина та затінення, з часом. Імітуючи цей біологічний процес, команда мала на меті створити камерну систему, яка могла б досягти подібної стабільності та ясності у роботизованому зорі.

UMIACS Computer Vision Laboratory

Штучна мікросаккадна покращена камера подій (AMI-EV)

Основна інновація AMI-EV полягає у її здатності реплікувати мікросаккади механічно. Команда ввела обертовий призм у камеру для перенаправлення світлових променів, захоплених об’єктивом. Це безперервне обертальне рухає імітує природні рухи людського ока, дозволяючи камері стабілізувати текстури записаних об’єктів у спосіб, подібний до людського зору.

Щоб доповнити інновацію у сфері апаратного забезпечення, команда розробила спеціальне програмне забезпечення для компенсації руху призми всередині AMI-EV. Це програмне забезпечення консолідує зміщені світлові патерни у стабільні зображення, ефективно імітуючи здатність мозку обробляти та інтерпретувати візуальну інформацію з постійних мікрорухів ока.

Ця комбінація інновацій у сфері апаратного та програмного забезпечення дозволяє AMI-EV захоплювати чіткі, точні зображення навіть у сценаріях, що включають суттєвий рух, вирішуючи одну з ключових обмежень поточної технології камер подій.

Потенційні застосування

Інноваційний підхід до захоплення зображень AMI-EV відкриває широкий спектр потенційних застосувань у різних галузях:

• Робототехніка та автономні транспортні засоби: Здатність камери захоплювати чіткі, стабільні зображення у рухомих сценаріях могла б суттєво покращити сприйняття та процес прийняття рішень роботами та самохідними автомобілями. Це покращене бачення могло б привести до безпечнішої та більш ефективної роботи автономних систем, здатних краще ідентифікувати та реагувати на своє середовище в реальному часі.
• Віртуальна та доповнена реальність: У сфері іммерсивних технологій низька затримка та висока продуктивність AMI-EV у екстремальних умовах освітлення роблять її ідеальною для віртуальної та доповненої реальності. Камера могла б забезпечити більш безперервний та реалістичний досвід, швидко обчислюючи рух голови та тіла, зменшуючи рухову хворобу та покращуючи загальний досвід користувача.
• Безпека та спостереження: Розширені можливості камери у виявленні руху та стабілізації зображення могли б революціонізувати системи безпеки та спостереження. Вищі частоти кадрів та чіткіші зображення у різних умовах освітлення могли б привести до більш точного виявлення загроз та покращення загального моніторингу безпеки.
• Астрономія та космічна візуалізація: Здатність AMI-EV захоплювати швидкий рух з незрівнянною ясністю могла б бути надзвичайно цінною у астрономічних спостереженнях. Ця технологія могла б допомогти астрономам захоплювати більш детальні зображення небесних тіл та подій, потенційно ведучи до нових відкриттів у космічних дослідженнях.

Продуктивність та переваги

Однією з найбільш вражаючих особливостей AMI-EV є її здатність захоплювати рух з десятків тисяч кадрів на секунду. Це значно перевищує можливості більшості комерційно доступних камер, які зазвичай захоплюють між 30 до 1 000 кадрів на секунду.

Продуктивність AMI-EV не тільки перевершує продуктивність типових комерційних камер за частотою кадрів, але й за здатністю утримувати ясність зображення під час швидкого руху. Це могло б привести до більш плавного та реалістичного відображення руху у різних застосуваннях.

На відміну від традиційних камер, AMI-EV демонструє вищу продуктивність у складних умовах освітлення. Ця перевага робить її особливо корисною у застосуваннях, де умови освітлення змінюються або непередбачувані, наприклад у зовнішніх автономних транспортних засобах чи космічній візуалізації.

Майбутні наслідки

Розробка AMI-EV має потенціал трансформувати кілька галузей за межами робототехніки та автономних систем. Її застосування могли б поширитися на галузі, такі як охорона здоров’я, де вона могла б допомогти у більш точних діагнозах, або у виробництві, де вона могла б покращити процеси контролю якості.

Якщо ця технологія продовжить розвиватися, вона могла б відкрити шлях для ще більш просунутих та здатних систем. Майбутні ітерації могли б потенційно інтегрувати алгоритми машинного навчання для подальшого покращення обробки зображень та розпізнавання об’єктів. Крім того, мініатюризація технології могла б привести до її включення у менші пристрої, розширюючи її потенційні застосування ще далі.