Адам Гросс, соучредитель и генеральный директор HarmonEyes — серия интервью

Adam Gross, соучредитель и генеральный директор HarmonEyes, является серийным предпринимателем с почти трёхдесятилетним опытом создания и масштабирования технологически‑ориентированных компаний в сфере здравоохранения, финансовых услуг и аналитики данных. Он со‑основал RightEye в 2013 году, разработав платформу технологии отслеживания взгляда, используемую в здравоохранении, профессиональном спорте и военных приложениях, а затем в 2024 году совместно с Dr. Melissa Hunfalvay основал HarmonEyes, чтобы расширить эту экспертизу в область ИИ‑управляемого интеллекта человеческого состояния. Ранее в своей карьере Гросс со‑основал компанию по сокращению расходов в здравоохранении KeyClaims, которую в 2012 году приобрели Stratose/Zelis Healthcare, а также платформу финансовой аналитики Trending123.com, приобретённую InvestorPlace Media в 2007 году. Он также основал финтех‑компанию KeepMore и со‑основал Eastern ATM, которая управляла частной сетью банкоматов вдоль восточного побережья США до её приобретения в 1998 году.

HarmonEyes разрабатывает Theia — фундаментальную модель ИИ, предназначенную для вывода аспектов когнитивного, эмоционального и физического состояния человека из движений глаз в реальном времени. Технология может измерять такие сигналы, как когнитивная нагрузка, внимание, готовность к действиям, усталость, стресс, отвлечение, морскую болезнь и аутентификацию пользователя, с потенциальными применениями в ИИ‑ассистентах, автомобильных системах, расширенной реальности, обороне, здравоохранении, образовании, промышленной безопасности, играх и маркетинговых исследованиях. Theia спроектирована для работы на периферии на обычных устройствах с камерами без необходимости специализированного оборудования для отслеживания взгляда; HarmonEyes заявляет, что видео и персональные данные не сохраняются. Компания прослеживает свои технологии к RightEye и сообщает, что её модели используют более 585 млрд точек данных о движениях глаз из 16,3 млн записей, предоставляя большую собственную базу данных для обучения и совершенствования технологии интеллекта человеческого состояния.

Вы со‑основали RightEye в 2013 году и более десяти лет разрабатывали технологию отслеживания взгляда для здравоохранения, спорта и военных приложений, прежде чем запустить HarmonEyes в 2024 году. Что убедило вас, что эта базовая технология и набор данных могут поддержать более широкую фундаментальную модель интеллекта человеческого состояния, и почему HarmonEyes стал подходящим инструментом для этой идеи?

С более чем десятилетним опытом разработки продуктов отслеживания взгляда для различных областей, мы выделили три изменения, которые подтолкнули наше видение HarmonEyes по предоставлению интеллекта человеческого состояния миллиардам устройств:

1. За последнее десятилетие мы собрали крупнейшую проверенную и размеченную базу данных отслеживания взгляда, включающую более 130 наборов данных, охватывающих демографию (например, возраст, пол), производительность, внимание, эмоции, зрительные и медицинские состояния и т.д.
2. С распространением ИИ методы обучения моделей в реальном времени внезапно стали доступны нам, и у нас были данные для их обучения.
3. Сигналы отслеживания взгляда фиксируются камерами. Недавно, впервые за всю историю, потребительские камеры стали лучше, быстрее, дешевле и достаточно мощными, чтобы извлекать эти сигналы. Благодаря инновациям нашей команды мы теперь можем развертывать модели отслеживания взгляда на любом устройстве с камерой, включая ноутбуки, телефоны, планшеты, автомобили и т.д.

Ofcom различает поведенческое определение возраста, требующее наблюдения за тем, как пользователь взаимодействует с платформой, и проверки возраста, которые могут работать до предоставления доступа. Чем технически и этически отличается оценка возраста по движениям глаз от анализа истории браузера, предпочтений контента, языка или других поведенческих сигналов?

Наша технология требует лишь небольшого образца движений глаз субъекта, чтобы отнести его к возрастному диапазону или подтвердить, что человек моложе/старше определённого возраста. Мы способны собирать данные о движениях глаз пассивно, непрерывно и без вмешательства, не сохраняя и не собирая любую персонально идентифицируемую информацию. Кроме того, все данные отслеживания взгляда уничтожаются сразу после выдачи результатов. Мы также способны выполнять проверку живости и защиту от подделки, гарантируя, что пользователи не смогут обмануть систему.

С этической точки зрения это означает, что мы не создаём профиль поведения, привычек, решений или предпочтений человека — в отличие от поведенческого вывода, который по определению формирует образ человека на основе его действий во времени. Мы предоставляем подтверждение возраста без сбора или хранения такой персональной информации, поэтому пользователи и родители могут быть уверены, что их защищают, а не отслеживают или профилируют.

Опубликованное исследование HarmonEyes проанализировало движения глаз 45 696 человек и сообщило о 94,67 % точности классификации по 12 возрастным группам. Что именно измеряет эта цифра точности и насколько дополнительная валидация необходима, прежде чем модель сможет надёжно определить, превышает ли чей‑то возраст определённый порог, например 16 лет?

Точность измеряется как вероятность того, что добавленные в набор данных данные любого человека будут правильно отнесены к его возрастной группе; в 94,67 % случаев движения глаз этого человека корректно классифицируют его в одну из 12 групп. Определять, находится ли возраст выше или ниже 16 лет, менее требовательно, чем идентифицировать конкретный возрастной диапазон. Однако в исследовании исключались люди с нарушениями зрения или неврологическими расстройствами, поэтому дополнительная валидация должна включать людей с определёнными нефункциональными движениями глаз.

Можете подробно описать, что происходит технически, когда разработчик вызывает функцию оценки возраста Theia: от захвата движений глаз обычной камерой до получения результата в виде возрастного диапазона, и какие этапы выполняются полностью на устройстве пользователя?

Сначала камера вычисляет векторы взгляда, которые помогают определить, куда смотрит пользователь. Эти векторы затем обрабатываются через наш SDK, где они преобразуются в признаки отслеживания взгляда, такие как скорость (как быстро движутся глаза) и фиксации (где сосредоточено внимание глаз).

После генерации этих признаков они передаются нашим алгоритмам машинного и искусственного интеллекта для определения возрастного диапазона пользователя.

Весь этот процесс осуществляется на периферии и может выполняться непосредственно на устройстве пользователя или, в зависимости от стратегии развертывания, в облаке. Сырые данные отслеживания взгляда не сохраняются; они удаляются сразу после генерации каждого результата.

Системы оценки возраста могут работать по‑разному в зависимости от освещения, качества камеры, наличия очков, контактных линз, состояний глаз, инвалидности, этнической принадлежности и расстояния пользователя от устройства. Как вы тестируете Theia с учётом этих переменных и какие доказательства получат разработчики относительно точности для разных популяций и условий?

Верно, что точность оценки возраста варьируется в зависимости от условий. Чтобы предоставить модели подтверждения возраста широкой публике, HarmonEyes тестирует, валидирует и открыто публикует результаты, обеспечивая ответственное использование Theia. Это включает расширение и обобщение наших моделей с использованием более крупных и разнообразных наборов данных.

• Мы предоставляем рекомендации по уровням точности и, например, как низкие частоты выборки данных могут влиять на задержку вывода подтверждения возраста.
• Учитываем и в режиме реального времени контролируем множество аспектов качества данных.

Как Theia будет защищать от попыток обхода, таких как заранее записанное видео, фотографии, синтетические лица, старший брат, проходящий проверку, или пользователь, сознательно изменяющий направление взгляда, и будет ли обнаружение живости встроено непосредственно в набор разработчика?

Все модели подтверждения возраста HarmonEyes будут включать проверку живости и защиту от подделки. Движения глаз уникальны для каждого человека, и HarmonEyes способен определить, совпадают ли движения глаз аккаунта с человеком, создавшим аккаунт, или это другой человек, например старший брат.

Ни одна модель оценки возраста не будет полностью точной, особенно для пользователей, близких к юридическому порогу. Как разработчики должны обращаться с неопределёнными результатами, и предполагаете ли вы, что Theia будет использоваться как основная проверка, сигнал риска или часть многоуровневого процесса, который переводит некоторых пользователей к другой верификации?

Ни одна модель оценки возраста не идеальна. Мы предоставляем уровень уверенности вместе с каждым результатом. Этот уровень точности и уверенности может быть достаточным для подтверждения возраста. Однако, если, например, уровень уверенности для конкретного измерения ниже определённого порога, его можно использовать как триггер для вторичной верификации. Наша модель подтверждения возраста может быть одной из нескольких методик проверки возраста, где требуется пройти несколько методов. В конечном итоге степень риска и требование конкретного возраста, диапазона или даже порогового значения (например, 16 лет и младше) определяют, будет ли решение основной проверкой или частью многоуровневого процесса.

HarmonEyes заявляет, что Theia обрабатывает информацию на периферии и удаляет данные отслеживания взгляда после выдачи результата. Как разработчики, аудиторы или регуляторы могут независимо проверить эту архитектуру, и как компания будет улучшать свои модели без сбора сырых данных отслеживания взгляда из развернутых приложений?

Процесс разработки наших моделей и последующего их улучшения осуществляется в рамках нашей собственнической конвейерной системы отслеживания взгляда. Мы не используем данные клиентов для этого — применяем существующие (и растущие) проверенные данные.

Это позволяет нам предоставлять решения на периферии (без облака), если это необходимо. В таких периферийных средах вычислительные ресурсы и хранилище обычно ограничены, и нет возможности сохранять данные на устройстве. Мы выдаём результаты подтверждения возраста каждую секунду, а наша политика — уничтожать данные отслеживания взгляда каждую секунду (после выдачи каждого результата).

Мы понимаем, что заявления об архитектуре достоверны только в той мере, в какой их можно подтвердить внешне. Мы стремимся к получению сторонних сертификатов и аттестаций, позволяющих разработчикам, аудиторам и регуляторам убедиться, что данные отслеживания взгляда не собираются и не сохраняются в развернутых приложениях.

Великобритания разрабатывает критерии для высокоэффективных проверок, а Европейский союз делает акцент на анонимных системах подтверждения возраста, раскрывающих как можно меньше персональной информации. Как HarmonEyes продемонстрирует, что физиологическая оценка возраста соответствует этим новым требованиям, а не просто вводит новую форму биометрического наблюдения?

Каждая поставляемая нами модель сопровождается white paper, в котором описываются методология разработки, точность модели и известные ограничения, а также мы предоставляем Theia для живого удалённого тестирования, чтобы регуляторы или аудиторы могли непосредственно оценить её работу в реальных условиях.

По мере того как подтверждение возраста переходит от отдельных социальных платформ к операционным системам, магазинам приложений и инфраструктуре уровня устройства, где, по вашему мнению, Theia должна располагаться в этом технологическом стеке, и как будет выглядеть ответственное внедрение в потребительских приложениях, играх, социальных сетях и других сервисах с возрастными ограничениями?

Мы рассматриваем различные варианты интеграции нашей возможности подтверждения возраста. Мы представляем Theia в частном технологическом стеке компании, например, в социальной медиа‑платформе; в инфраструктуре устройства, такой как операционная система; в коммерческой инфраструктуре, например, в платёжной сети; либо непосредственно на уровне приложения.

Для нас ответственное внедрение означает предоставление точной возможности подтверждения возраста с прозрачностью процессов валидации, разнообразием данных в модели и реализацию этого способом, который обеспечивает конфиденциальность и экономичность развертывания.

Спасибо за отличное интервью, читатели, желающие узнать больше, могут посетить HarmonEyes.