ЭхоСпич: Революционизация Общения с Технологией Распознавания Невысказанных Команд

Исследователи Корнелльского университета разработали ЭхоСпич, интерфейс распознавания невысказанных команд, который использует акустическое датирование и искусственный интеллект для непрерывного распознавания до 31 невысказанных команд на основе движений губ и рта. Этот низкопотребляющий, носимый интерфейс может работать на смартфоне и требует только нескольких минут обучающих данных пользователя для распознавания команд.

Руидонг Чжан, аспирант информационных наук, является основным автором статьи “ЭхоСпич: Непрерывное Распознавание Невысказанных Команд на Минимально-инвазивных Очках, Оснащенных Акустическим Датированием“, которая будет представлена на Конференции Ассоциации вычислительной техники по человеческим факторам в вычислительных системах (CHI) в этом месяце в Гамбурге, Германия.

“Для людей, которые не могут выражать звук, эта технология невысказанных команд может быть отличным входом для синтезатора голоса. Она может вернуть пациентам их голоса”, – сказал Чжан, подчеркивая потенциальные применения технологии с дальнейшим развитием.

Реальные Применения и Преимущества в Защите Приватности

В своей текущей форме ЭхоСпич может быть использован для общения с другими через смартфон в средах, где речь неудобна или неуместна, таких как шумные рестораны или тихие библиотеки. Интерфейс невысказанных команд также может быть объединен со стилусом и использован с программным обеспечением для дизайна, таким как CAD, что значительно снижает необходимость в клавиатуре и мыши.

Оснащенный микрофонами и динамиками размером меньше карандашных стирателей, очки ЭхоСпич функционируют как носимая система акустического датирования, отправляющая и принимающая звуковые волны через лицо и обнаруживающая движения рта. Алгоритм глубокого обучения затем анализирует эти эхо-профили в реальном времени с точностью примерно 95%.

“Мы переносим сонар на тело”, – сказал Чэн Чжан, ассистент профессора информационных наук и директор лаборатории Smart Computer Interfaces for Future Interactions (SciFi) Корнелльского университета.

Существующая технология распознавания невысказанных команд обычно полагается на ограниченный набор предопределенных команд и требует от пользователя обращения к камере или ношения ее. Чэн Чжан объяснил, что это не практично и неосуществимо, и также вызывает значительные проблемы с защитой приватности как для пользователя, так и для тех, с кем он взаимодействует.

Технология акустического датирования ЭхоСпич исключает необходимость в носимых видеокамерах. Кроме того, поскольку аудиоданные меньше, чем изображения или видеоданные, они требуют меньше полосы пропускания для обработки и могут быть переданы на смартфон через Bluetooth в реальном времени, согласно Франсуа Гимбретьеру, профессору информационных наук.

“И поскольку данные обрабатываются локально на вашем смартфоне, а не загружаются в облако”, – сказал он, “информация, чувствительная к приватности, никогда не покидает вашего контроля.”