Adam Gross, cofondateur et PDG de HarmonEyes – Série d’interviews

Adam Gross, cofondateur et PDG de HarmonEyes, est un entrepreneur en série avec près de trois décennies d’expérience dans la création et le développement d’entreprises technologiques dans les secteurs de la santé, des services financiers et de l’analyse de données. Il a cofondé RightEye en 2013, développant une plateforme technologique de suivi oculaire utilisée dans la santé, le sport professionnel et les applications de performance militaire, avant de co-fonder HarmonEyes en 2024 afin d’étendre cette expertise à l’intelligence d’état humain alimentée par l’IA. Au début de sa carrière, Gross a cofondé la société de réduction des coûts de santé KeyClaims, qui a été acquise par Stratose/Zelis Healthcare en 2012, ainsi que la plateforme d’analyse financière Trending123.com, acquise par InvestorPlace Media en 2007. Il a également fondé la fintech KeepMore et cofondé Eastern ATM, qui exploitait un réseau privé de distributeurs automatiques le long de la côte Est des États‑Unis avant d’être acquis en 1998.

HarmonEyes développe Theia, un modèle de base d’IA conçu pour déduire les aspects de l’état cognitif, émotionnel et physique d’une personne à partir des mouvements oculaires en temps réel. La technologie peut mesurer des signaux tels que la charge cognitive, l’attention, la préparation mentale, la fatigue, le stress, la distraction, le mal des transports et l’authentification de l’utilisateur, avec des applications potentielles couvrant les assistants IA, les systèmes automobiles, la réalité étendue, la défense, la santé, l’éducation, la sécurité industrielle, le jeu vidéo et la recherche de marché. Theia est conçue pour fonctionner en périphérie sur des appareils ordinaires équipés de caméras, sans nécessiter de matériel spécialisé de suivi oculaire, HarmonEyes affirmant que les vidéos et les données personnelles ne sont pas stockées. L’entreprise fait remonter sa technologie à RightEye et indique que ses modèles s’appuient sur plus de 585 milliards de points de données de mouvements oculaires issus de 16,3 millions d’enregistrements, fournissant un vaste jeu de données propriétaire pour entraîner et affiner sa technologie d’intelligence d’état humain.

Vous avez cofondé RightEye en 2013 et avez passé plus d’une décennie à développer la technologie de suivi oculaire pour la santé, le sport et les applications militaires avant de lancer HarmonEyes en 2024. Qu’est-ce qui vous a convaincu que cette technologie sous-jacente et cet ensemble de données pouvaient soutenir un modèle de base plus large pour l’intelligence d’état humain, et pourquoi HarmonEyes était-il le véhicule adéquat pour cette vision ?

Fort de plus d’une décennie d’expérience dans le développement de produits de suivi oculaire pour divers domaines, trois changements ont motivé notre vision pour HarmonEyes d’apporter l’intelligence d’état humain à des milliards d’appareils:

1. Au cours de la dernière décennie, nous avons acquis la plus grande base de données de suivi oculaire validée et étiquetée, qui comprend plus de 130 ensembles de données couvrant les données démographiques (par ex., âge, sexe), la performance, l’attention, l’émotion, la vision et les conditions de santé, etc.
2. Avec la prolifération de l’IA, les techniques d’entraînement de modèles en temps réel sont soudainement devenues disponibles pour nous – et nous disposions des données nécessaires pour les entraîner.
3. Les signaux de suivi oculaire sont capturés par des caméras. Récemment, et pour la première fois, les caméras grand public sont devenues meilleures, plus rapides, moins chères et suffisamment puissantes pour extraire ces signaux. Grâce aux innovations de notre équipe, nous pouvons désormais déployer des modèles de suivi oculaire sur tout appareil équipé d’une caméra, y compris les ordinateurs portables, les téléphones, les tablettes, les automobiles, etc.

Ofcom a distingué l’inférence d’âge comportementale, qui nécessite d’observer comment quelqu’un utilise une plateforme, des contrôles d’âge qui peuvent fonctionner avant l’octroi d’accès. En quoi l’estimation de l’âge à partir des mouvements oculaires diffère-t-elle techniquement et éthiquement de l’analyse de l’historique de navigation, des préférences de contenu, de la langue ou d’autres signaux comportementaux ?

Notre technologie ne nécessite qu’un petit échantillon de mouvements oculaires d’un sujet pour placer un individu dans une tranche d’âge ou pour confirmer que quelqu’un est plus jeune/plus âgé qu’un âge spécifique. Nous pouvons collecter les données de mouvements oculaires de manière passive, continue et non invasive sans stocker ni collecter aucune information personnellement identifiable. De plus, toutes les données de suivi oculaire sont détruites une fois les résultats délivrés. Nous disposons également de la capacité de réaliser une détection de vivacité et une protection contre la falsification, garantissant ainsi que les personnes ne peuvent pas manipuler le système.

Éthiquement, cela signifie que nous ne profilons pas le comportement, les habitudes, les décisions ou les préférences d’une personne — contrairement à l’inférence comportementale, qui, par définition, construit une image de quelqu’un à partir de ses actions au fil du temps. Nous fournissons une assurance d’âge sans collecter ni conserver ce type d’information personnelle, de sorte que les utilisateurs et les parents puissent être confiants d’être protégés plutôt que suivis ou profilés.

La recherche publiée par HarmonEyes a analysé les mouvements oculaires de 45 696 personnes et a rapporté une précision de classification de 94,67 % sur 12 groupes d’âge. Que mesure exactement ce chiffre de précision, et quelle validation supplémentaire est nécessaire avant que le modèle puisse déterminer de manière fiable si quelqu’un se situe au-dessus ou en dessous d’un seuil spécifique tel que l’âge de 16 ans ?

La précision mesure que, lorsqu’une personne est ajoutée au jeu de données, 94,67 % du temps ses mouvements oculaires classent correctement le groupe d’âge auquel elle appartient (sur 12 groupes). La capacité de déterminer si l’âge est supérieur ou inférieur à 16 ans est moins exigeante que l’identification d’une fourchette d’âge précise. Cependant, les données utilisées pour l’étude excluaient les personnes atteintes de troubles de la vision ou de conditions neurologiques, de sorte qu’une validation supplémentaire doit inclure des personnes présentant certains mouvements oculaires non fonctionnels.

Pouvez‑vous nous expliquer ce qui se passe techniquement lorsqu’un développeur invoque la fonction d’estimation d’âge de Theia, depuis la capture des mouvements oculaires via une caméra ordinaire jusqu’au retour d’un résultat de tranche d’âge, et préciser quelles étapes se déroulent entièrement sur l’appareil de l’utilisateur ?

La caméra calcule d’abord les vecteurs de regard, qui permettent de déterminer où l’utilisateur regarde. Ces vecteurs de regard sont ensuite traités via notre SDK où ils sont convertis en caractéristiques de suivi oculaire, telles que la vitesse (la rapidité des mouvements des yeux) et les fixations (les points où les yeux se concentrent).

Une fois ces caractéristiques générées, elles sont transmises à nos algorithmes d’apprentissage automatique et d’IA pour déterminer la tranche d’âge de l’utilisateur.

Tout ce traitement est effectué en périphérie et peut être réalisé directement sur l’appareil de l’utilisateur ou, selon la stratégie de déploiement, dans le cloud.. Aucune donnée brute de suivi oculaire n’est conservée ; elle est immédiatement supprimée après chaque génération de résultat.

Les systèmes d’estimation d’âge peuvent fonctionner différemment selon l’éclairage, la qualité de la caméra, le port de lunettes, de lentilles de contact, les conditions oculaires, le handicap, l’ethnicité et la proximité de l’utilisateur par rapport à l’appareil. Comment testez‑vous Theia à travers ces variables, et quelles preuves les développeurs recevront‑ils concernant la précision pour différentes populations et environnements ?

Il est vrai que la précision de l’estimation d’âge varie selon les conditions. Pour fournir des modèles d’assurance d’âge à la population générale, HarmonEyes teste, valide et publie les résultats de manière transparente afin que Theia soit utilisé de façon responsable. Cela inclut l’expansion et la généralisation de nos modèles à l’aide de jeux de données plus grands et plus diversifiés.

• Nous fournissons des directives sur les taux de précision et, par exemple, si les faibles taux d’échantillonnage des données affectent la latence des résultats d’assurance d’âge.
• Prise en compte et surveillance en temps réel de nombreux aspects de la qualité des données.

Comment Theia se défendra‑t‑elle contre les tentatives de contournement telles que des vidéos préenregistrées, des photographies, des visages synthétiques, un frère ou une sœur aîné(e) effectuant le contrôle, ou un utilisateur modifiant délibérément son regard, et la détection de vivacité sera‑t‑elle intégrée directement dans le kit de développement logiciel ?

Tous les modèles d’assurance d’âge de HarmonEyes incluront une détection de vivacité et des contrôles anti‑falsification. Les mouvements oculaires sont uniques à chaque individu et HarmonEyes peut déterminer si le mouvement oculaire d’un compte correspond à la personne qui a créé le compte, ou s’il s’agit d’une autre personne, comme un frère ou une sœur aîné(e).

Aucun modèle d’estimation d’âge ne sera parfaitement précis, notamment pour les utilisateurs proches d’un seuil légal. Comment les développeurs doivent‑ils gérer les résultats incertains, et envisagez‑vous que Theia soit utilisée comme contrôle principal, signal de risque, ou comme partie d’un processus en couches qui escalade certains utilisateurs vers une autre méthode de vérification ?

Aucun modèle d’estimation d’âge n’est parfait. Nous fournissons un niveau de confiance avec chaque résultat.. Ce niveau de précision et de confiance peut suffire à confirmer l’assurance d’âge. Cependant, si, par exemple, le niveau de confiance pour une mesure spécifique est inférieur à un certain seuil, il pourrait être utilisé pour déclencher une vérification secondaire. Notre modèle d’assurance d’âge peut être utilisé comme l’une des nombreuses méthodes pour valider l’âge d’un individu, où plusieurs méthodes doivent être réussies. Enfin, la tolérance au risque et le fait que le cas d’usage nécessite un âge précis, plutôt qu’une fourchette d’âge, ou même un seuil d’âge (par ex., 16 ans ou moins) détermineront si la solution constitue un contrôle principal ou un processus en couches.

HarmonEyes affirme que Theia traite l’information en périphérie et supprime les données de suivi oculaire une fois le résultat délivré. Comment les développeurs, auditeurs ou régulateurs peuvent‑ils vérifier de manière indépendante cette architecture, et comment l’entreprise améliorera‑t‑elle ses modèles sans collecter les données brutes de suivi oculaire provenant des applications déployées ?

Notre processus de développement de modèle, ainsi que l’amélioration ultérieure du modèle, sont réalisés au sein de notre pipeline propriétaire de suivi oculaire. Nous n’utilisons pas les données des clients à cet effet – nous nous appuyons sur des données validées existantes (et en expansion).

Cela nous permet de proposer nos solutions en périphérie (sans cloud) si souhaité. Dans ces environnements en périphérie, la puissance de calcul et le stockage sont généralement limités et il n’est pas possible de stocker des données sur l’appareil. Nous délivrons nos résultats d’assurance d’âge chaque seconde – et notre politique consiste à détruire les données de suivi oculaire chaque seconde (après chaque génération de résultat).

Nous reconnaissons que les affirmations d’architecture ne sont crédibles que dans la mesure où elles peuvent être confirmées de façon externe. Nous poursuivons des certifications et attestations tierces destinées à permettre aux développeurs, auditeurs et régulateurs de vérifier que les données de suivi oculaire ne sont ni collectées ni conservées dans les applications déployées.

Le Royaume‑Uni élabore des critères pour des contrôles hautement efficaces, tandis que l’Union européenne met l’accent sur des systèmes de preuve d’âge anonymes qui divulguent le moins d’informations personnelles possible. Comment HarmonEyes démontrera‑t‑elle que l’estimation physiologique de l’âge répond à ces exigences émergentes plutôt que d’introduire simplement une forme différente de surveillance biométrique ?

Chaque modèle que nous livrons est accompagné d’un livre blanc documentant la méthodologie de développement, la précision du modèle et ses limites connues, et nous rendons Theia disponible pour des tests en direct et à distance afin que les régulateurs ou les auditeurs puissent évaluer directement les performances en conditions réelles.

Alors que l’assurance d’âge passe des plateformes sociales individuelles aux systèmes d’exploitation, aux boutiques d’applications et à l’infrastructure au niveau des appareils, où pensez‑vous que Theia devrait se situer dans cette pile technologique, et à quoi ressemblerait une adoption responsable à travers les applications grand public, les jeux, les réseaux sociaux et les autres services soumis à des restrictions d’âge ?

Nous explorons de nombreux types d’intégrations pour notre capacité d’assurance d’âge. Nous envisageons que Theia fonctionne au sein de la pile technologique privée d’une entreprise, comme une plateforme de réseau social ; au sein de l’infrastructure d’un appareil, comme un système d’exploitation ; au sein de l’infrastructure commerciale, comme un réseau de paiement ; ou directement au niveau de l’application.

Pour nous, une adoption responsable signifie fournir une capacité d’assurance d’âge précise avec une transparence des processus de validation, une diversité des données au sein du modèle, et le faire de manière privée et rentable à déployer.

Merci pour cet excellent entretien, les lecteurs qui souhaitent en savoir plus devraient visiter HarmonEyes.