Адам Гросс, співзасновник та генеральний директор HarmonEyes — серія інтерв’ю

Adam Gross, співзасновник та генеральний директор HarmonEyes, є серійним підприємцем з майже трьома десятиліттями досвіду у створенні та масштабуванні технологічних компаній у галузях охорони здоров’я, фінансових послуг та аналітики даних. У 2013 році він співавтворив RightEye, розробивши платформу технології відстеження руху очей, що використовується в охороні здоров’я, професійному спорті та військових застосуваннях, а потім у 2024 році співавтворив HarmonEyes разом із Dr. Melissa Hunfalvay для розширення цього досвіду у сфері ШІ‑підтримуваного інтелекту стану людини. Раніше в кар’єрі Гросс співавтворив компанію з контролю витрат у охороні здоров’я KeyClaims, яку у 2012 році придбала Stratose/Zelis Healthcare, та платформу фінансової аналітики Trending123.com, яку у 2007 році придбала InvestorPlace Media. Він також заснував фінтех‑компанію KeepMore та співавтворив Eastern ATM, яка керувала приватною мережею банкоматів уздовж східного узбережжя США, перш ніж була придбана у 1998 році.

HarmonEyes розробляє Theia — фундаментальну модель ШІ, призначену для виведення аспектів когнітивного, емоційного та фізичного стану людини з рухів очей у реальному часі. Технологія може вимірювати сигнали, включаючи когнітивне навантаження, увагу, ментальну готовність, втому, стрес, відволікання, рухову хворобу та автентифікацію користувача, з потенційними застосуваннями у ШІ‑асистентах, автомобільних системах, розширеній реальності, обороні, охороні здоров’я, освіті, промисловій безпеці, іграх та маркетингових дослідженнях. Theia спроектована для роботи на периферії на звичайних пристроях з камерами без потреби у спеціалізованому обладнанні для відстеження очей; HarmonEyes заявляє, що відео та персональні дані не зберігаються. Компанія простежує свою технологію до RightEye і зазначає, що її моделі базуються на більш ніж 585 мільярдах точок даних про рухи очей у 16,3 мільйони записів, що створює великий власний набір даних для навчання та удосконалення технології інтелекту стану людини.

Ви співавтворили RightEye у 2013 році і понад десять років розробляли технологію відстеження очей для охорони здоров’я, спорту та військових застосувань, перш ніж запустити HarmonEyes у 2024 році. Що переконало вас, що ця базова технологія та набір даних можуть підтримати ширшу фундаментальну модель інтелекту стану людини, і чому HarmonEyes був правильним інструментом для цієї візії?

Маючи понад десять років досвіду розробки продуктів відстеження очей для різних галузей, ми виділили три зміни, які спонукали нашу візію щодо HarmonEyes, щоб принести інтелект стану людини мільярдам пристроїв:

1. За останнє десятиліття ми зібрали найбільшу підтверджену та марковану базу даних відстеження очей, яка включає понад 130 наборів даних, що охоплюють демографічні характеристики (наприклад, вік, стать), продуктивність, увагу, емоції, зору та медичні стани тощо.
2. З поширенням ШІ методи навчання моделей у реальному часі раптом стали нам доступними — і у нас були дані, щоб їх навчати.
3. Сигнали відстеження очей захоплюються камерами. Нещодавно, і вперше в історії, споживчі камери стали кращими, швидшими, дешевшими та достатньо потужними, щоб видобувати ці сигнали. Завдяки інноваціям нашої команди ми тепер можемо розгортати моделі відстеження очей на будь‑якому пристрої з камерою, включаючи ноутбуки, телефони, планшети, автомобілі тощо.

Ofcom розрізняє поведінкове визначення віку, яке вимагає спостереження за тим, як користувач взаємодіє з платформою, і перевірки віку, які можуть працювати до надання доступу. Чим технічно та етично відрізняється оцінка віку за допомогою руху очей від аналізу історії переглядів, уподобань контенту, мови чи інших поведінкових сигналів?

Наша технологія потребує лише невеликої вибірки рухів очей від суб’єкта, щоб розмістити його в певному віковому діапазоні або підтвердити, що він молодший/старший за конкретний вік. Ми можемо збирати дані про рухи очей пасивно, безперервно та неінвазивно, не зберігаючи і не збираючи жодної персонально ідентифікованої інформації. Крім того, всі дані відстеження очей знищуються одразу після надання результатів. Ми також маємо можливість виконувати перевірку живості та захист від підробки, гарантуючи, що користувачі не зможуть обдурити систему.

Етично це означає, що ми не створюємо профіль поведінки, звичок, рішень чи вподобань людини — на відміну від поведінкового виведення, яке за визначенням формує уявлення про когось на основі його дій протягом часу. Ми забезпечуємо підтвердження віку без збору чи зберігання такої особистої інформації, тому користувачі та батьки можуть бути впевнені, що їх захищають, а не стежать або профілюють.

Дослідження HarmonEyes, опубліковане у 2024 році, проаналізувало рухи очей 45 696 людей і повідомило про 94,67 % точності класифікації серед 12 вікових груп. Що саме вимірює ця цифра точності і скільки додаткової валідації потрібно, перш ніж модель зможе надійно визначати, чи хтось перевищує або нижче певного порогу, наприклад, 16 років?

Точність вимірює, що будь‑які дані людини, додані до набору, у 94,67 % випадків будуть правильно класифіковані у відповідну вікову групу (з 12 груп). Визначення, чи людина старша або молодша за 16 років, менш вимогливе, ніж ідентифікація конкретного вікового діапазону. Однак у дослідженні не брали участі люди з порушеннями зору або неврологічними станами, тому додаткова валідація має включати осіб з певними нефункціональними рухами очей.

Чи можете ви пояснити, що технічно відбувається, коли розробник викликає функцію оцінки віку Theia, від захоплення руху очей звичайною камерою до повернення результату у вигляді вікового діапазону, і які етапи виконуються повністю на пристрої користувача?

Камера спочатку обчислює вектори погляду, які допомагають визначити, куди дивиться користувач. Ці вектори погляду потім передаються через наш SDK, де вони перетворюються у функції відстеження очей, такі як швидкість (як швидко рухаються очі) та фіксації (де зосереджено погляд).

Після генерації цих функцій вони передаються нашим алгоритмам машинного та штучного інтелекту для визначення вікового діапазону користувача.

Усе це обробляється на периферії і може виконуватись безпосередньо на пристрої користувача або, залежно від стратегії розгортання, у хмарі. Жодні необроблені дані відстеження очей не зберігаються; вони видаляються одразу після генерації кожного результату.

Системи оцінки віку можуть працювати по‑різному залежно від освітлення, якості камери, наявності окулярів, контактних лінз, стану очей, інвалідності, етнічної приналежності та відстані користувача до пристрою. Як ви тестуєте Theia за цих змінних і яку доказову базу отримають розробники щодо точності для різних популяцій та умов?

Правда, що точність оцінки віку варіюється залежно від умов. Щоб надати моделі підтвердження віку широкій аудиторії, HarmonEyes тестує, валідує та прозоро повідомляє результати, щоб Theia використовувалася відповідально. Це включає розширення та узагальнення наших моделей за допомогою більших і різноманітніших наборів даних.

• Ми надаємо рекомендації щодо рівнів точності та, наприклад, впливу низьких частот вибірки даних на затримку виведення результату підтвердження віку.
• Розгляд і моніторинг у реальному часі багатьох аспектів якості даних.

Як Theia захиститься від спроб обходу, таких як заздалегідь записане відео, фотографії, синтетичні обличчя, старший брат, який проходить перевірку, або навмисне зміщення погляду користувачем, і чи буде вбудована перевірка живості безпосередньо у SDK?

Усі моделі підтвердження віку HarmonEyes включатимуть перевірку живості та захист від підробки. Рухи очей унікальні для кожної особи, і HarmonEyes може визначити, чи рухи очей для облікового запису відповідають особі, яка створила обліковий запис, чи це інша особа, наприклад, старший брат.

Жодна модель оцінки віку не буде ідеально точною, особливо для користувачів, що знаходяться біля юридичного порогу. Як розробники мають поводитися з невизначеними результатами, і чи ви бачите Theia як основну перевірку, сигнал ризику або частину багатошарової процедури, що переводить певних користувачів до іншого методу верифікації?

Ніяка модель оцінки віку не є досконалою. Ми надаємо рівень впевненості разом з кожним результатом. Цей рівень точності та впевненості може бути достатнім для підтвердження віку. Однак, якщо, наприклад, рівень впевненості для конкретного вимірювання нижчий за певний поріг, його можна використати як тригер для вторинної верифікації. Наша модель підтвердження віку може слугувати одним із кількох методів валідації віку, коли необхідно пройти кілька перевірок. Нарешті, толерантність до ризику та вимоги конкретного випадку використання — чи потрібен конкретний вік, діапазон віку чи навіть поріг (наприклад, 16 або молодше) — визначатимуть, чи рішення є первинною перевіркою чи частиною багатошарового процесу.

HarmonEyes стверджує, що Theia обробляє інформацію на периферії та видаляє дані відстеження очей після надання результату. Як розробники, аудитори або регулятори можуть самостійно перевірити цю архітектуру, і як компанія планує вдосконалювати свої моделі без збору необроблених даних відстеження очей з розгорнутих застосунків?

Наш процес розробки моделей і подальшого їх удосконалення виконується в межах нашого власного конвеєра відстеження очей. Ми не використовуємо дані клієнтів для цього — ми застосовуємо існуючі (і зростаючі) підтверджені дані.

Це дозволяє нам доставляти рішення на периферії (без хмари), якщо це потрібно. У таких середовищах обчислювальні ресурси та сховище зазвичай обмежені, і немає можливості зберігати дані на пристрої. Ми надаємо результати підтвердження віку щосекунди, і наша політика полягає у знищенні даних відстеження очей кожну секунду (після кожного виведення результату).

Ми розуміємо, що архітектурні заяви є достовірними лише в міру можливості їх зовнішньої верифікації. Ми працюємо над отриманням сторонніх сертифікацій та атестацій, розроблених для того, щоб розробники, аудитори та регулятори могли підтвердити, що дані відстеження очей не збираються і не зберігаються у розгорнутих застосунках.

Сполучене Королівство розробляє критерії для надзвичайно ефективних перевірок, тоді як Європейський Союз підкреслює анонімні системи підтвердження віку, які розкривають якомога менше особистої інформації. Як HarmonEyes продемонструє, що фізіологічна оцінка віку відповідає цим новим вимогам, а не просто впроваджує іншу форму біометричного спостереження?

Кожна модель, яку ми випускаємо, супроводжується білим папером, що документує методологію розробки, точність моделі та відомі обмеження, і ми робимо Theia доступною для живого, віддаленого тестування, щоб регулятори чи аудитори могли безпосередньо оцінювати її реальну продуктивність.

Оскільки підтвердження віку переходить від окремих соціальних платформ до операційних систем, магазинів додатків та інфраструктури на рівні пристрою, де, на вашу думку, Theia повинна розташовуватись у цьому технологічному стеку, і як виглядатиме відповідальне впровадження в споживчих додатках, іграх, соціальних мережах та інших сервісах з обмеженням за віком?

Ми працюємо над різними типами інтеграцій для нашої можливості підтвердження віку. Ми уявляємо Theia у приватному технологічному стеку компанії, наприклад, у соціальній мережі; у інфраструктурі пристрою, такій як операційна система; у комерційній інфраструктурі, наприклад, у платіжній мережі; або безпосередньо на рівні додатку.

Для нас відповідальне впровадження означає надання точної можливості підтвердження віку з прозорістю процесів валідації, різноманітністю даних у моделі та реалізацією цього у спосіб, який є приватним і економічно ефективним у розгортанні.

Дякуємо за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати HarmonEyes.