Adam Gross, mede-oprichter en CEO van HarmonEyes – Interviewreeks

Adam Gross, mede-oprichter en CEO van HarmonEyes, is een seriële ondernemer met bijna drie decennia ervaring in het bouwen en opschalen van technologische bedrijven in de gezondheidszorg, financiële dienstverlening en data‑analytics. Hij richtte in 2013 RightEye op, een oogvolgsysteem‑platform dat wordt gebruikt in de gezondheidszorg, professionele sport en militaire prestatie‑toepassingen, voordat hij in 2024 HarmonEyes mede-oprichtte met Dr. Melissa Hunfalvay om die expertise uit te breiden naar AI‑gestuurde intelligentie over de menselijke staat. Eerder in zijn loopbaan richtte Gross het kostenbeperkende zorgbedrijf KeyClaims op, dat in 2012 werd overgenomen door Stratose/Zelis Healthcare, en het financiële analyseplatform Trending123.com, dat in 2007 werd overgenomen door InvestorPlace Media. Hij heeft ook het fintech‑bedrijf KeepMore opgericht en Eastern ATM mede-opgericht, dat een privénetwerk van geldautomaten langs de Amerikaanse oostkust exploiteerde voordat het in 1998 werd overgenomen.

HarmonEyes ontwikkelt Theia, een AI‑foundation‑model dat aspecten van iemands cognitieve, emotionele en fysieke toestand kan afleiden uit oogbewegingen in realtime. De technologie kan signalen meten zoals cognitieve belasting, aandacht, mentale gereedheid, vermoeidheid, stress, afleiding, bewegingsziekte en gebruikersauthenticatie, met potentiële toepassingen variërend van AI‑assistenten, autosystemen, extended reality, defensie, gezondheidszorg, onderwijs, industriële veiligheid, gaming en marktonderzoek. Theia is ontworpen om aan de edge te draaien op gewone apparaten met een camera, zonder gespecialiseerde oogvolghardware, en HarmonEyes stelt dat video‑ en persoonsgegevens niet worden opgeslagen. Het bedrijf sporen haar technologie terug tot RightEye en zegt dat haar modellen zijn getraind op meer dan 585 miljard oogbewegingsdatapunten uit 16,3 miljoen records, waardoor een grote eigen dataset beschikbaar is voor het trainen en verfijnen van haar intelligentie‑technologie over de menselijke staat.

U hebt RightEye in 2013 mede-opgericht en meer dan een decennium oogvolgtechnologie ontwikkeld voor de gezondheidszorg, sport en militaire toepassingen voordat u in 2024 HarmonEyes lanceerde. Wat overtuigde u dat deze onderliggende technologie en dataset een breder foundation‑model voor menselijke‑staat‑intelligentie konden ondersteunen, en waarom was HarmonEyes het juiste voertuig voor die visie?

Met meer dan een decennium ervaring in het ontwikkelen van oogvolg‑producten voor diverse sectoren, waren er drie veranderingen die onze visie voor HarmonEyes om menselijke‑staat‑intelligentie naar miljarden apparaten te brengen, stimuleerden:

1. In het afgelopen decennium hebben we de grootste gevalideerde en gelabelde oogvolg‑database verworven, die meer dan 130 datasets omvat die demografische gegevens (bijv. leeftijd, geslacht), prestaties, aandacht, emotie, visie‑ en gezondheidscondities, enz. bestrijken.
2. Met de verspreiding van AI werden technieken om realtime‑modellen te trainen plotseling voor ons beschikbaar – en we beschikten over de data om ze te trainen.
3. Oogvolgsignalen worden vastgelegd door camera’s. Recentelijk, en voor het eerst ooit, zijn consumentencamera’s beter, sneller, goedkoper en krachtig genoeg geworden om deze signalen te extraheren. Dankzij de innovaties van ons team kunnen we nu oogvolg‑modellen inzetten op elk apparaat met een camera, waaronder laptops, telefoons, tablets, auto’s, enz.

Ofcom heeft gedragsmatige leeftijdsinferentie onderscheiden, die vereist dat men observeert hoe iemand een platform gebruikt, van leeftijdscontroles die kunnen werken voordat toegang wordt verleend. Hoe verschilt het schatten van leeftijd op basis van oogbewegingen technisch en ethisch van het analyseren van browse‑geschiedenis, contentvoorkeuren, taal of andere gedrags­signalen?

Onze technologie heeft slechts een kleine steekproef van oogbewegingen van een subject nodig om die persoon in een leeftijdscategorie te plaatsen of om te bevestigen dat iemand jonger/oudere is dan een specifieke leeftijd. We kunnen oogbewegingsdata passief, continu en niet‑invasief verzamelen zonder enige persoonlijk identificeerbare informatie op te slaan of te verzamelen. Bovendien wordt alle oogvolgdata vernietigd zodra de resultaten zijn geleverd. We beschikken ook over de mogelijkheid om levendigheid te detecteren en spoof‑bescherming uit te voeren, waardoor mensen het systeem niet kunnen manipuleren.

Ethisch betekent dit dat we geen gedrag, gewoonten, beslissingen of voorkeuren van een persoon profileren – in tegenstelling tot gedragsinferentie, die per definitie een beeld van iemand schetst op basis van hoe die zich over tijd gedraagt. Wij leveren leeftijdszekerheid zonder die soort persoonlijke informatie te verzamelen of te bewaren, zodat gebruikers en ouders erop kunnen vertrouwen dat zij beschermd worden in plaats van gevolgd of geprofileerd.

Het gepubliceerde onderzoek van HarmonEyes analyseerde oogbewegingen van 45.696 personen en rapporteerde een classificatienauwkeurigheid van 94,67 % over 12 leeftijdsgroepen. Wat meet dat nauwkeurigheidscijfer precies, en hoeveel extra validatie is nodig voordat het model betrouwbaar kan bepalen of iemand boven of onder een specifieke drempel zoals leeftijd 16 valt?

De nauwkeurigheid meet dat wanneer de gegevens van een persoon aan de dataset worden toegevoegd, in 94,67 % van de gevallen de oogbewegingen van die persoon de juiste leeftijdsgroep (van de 12 groepen) correct categoriseren. Het bepalen of iemand boven of onder 16 jaar is, is minder belastend dan het identificeren van een specifieke leeftijdscategorie. De voor de studie gebruikte data sloten echter personen met visuele stoornissen of neurologische aandoeningen uit, dus extra validatie moet mensen met bepaalde niet‑functionele oogbewegingen omvatten.

Kunt u ons stap voor stap uitleggen wat er technisch gebeurt wanneer een ontwikkelaar Theia’s leeftijdsschatting aanroept, van het vastleggen van oogbewegingen via een gewone camera tot het retourneren van een leeftijdscategorie‑resultaat, en aangeven welke fasen volledig op het apparaat van de gebruiker plaatsvinden?

De camera berekent eerst de blikvectoren, die helpen bepalen waar de gebruiker kijkt. Deze blikvectoren worden vervolgens verwerkt via onze SDK, waar ze worden omgezet in oogvolg‑features, zoals snelheid (hoe snel de ogen bewegen) en fixaties (waar de ogen zich richten).

Zodra deze features zijn gegenereerd, worden ze gevoed aan onze ML‑ en AI‑algoritmen om de leeftijdscategorie van de gebruiker te bepalen.

Al deze verwerking gebeurt aan de edge en kan direct op het apparaat van de gebruiker worden uitgevoerd of, afhankelijk van de implementatiestrategie, in de cloud. Er wordt geen ruwe oogvolgdata bewaard; deze wordt onmiddellijk verwijderd nadat elk resultaat is gegenereerd.

Leeftijdsschatting kan verschillend presteren afhankelijk van verlichting, camera‑kwaliteit, bril, contactlenzen, oogcondities, beperkingen, etniciteit en de afstand van de gebruiker tot het apparaat. Hoe test u Theia onder deze variabelen, en welk bewijs krijgen ontwikkelaars over de nauwkeurigheid voor verschillende populaties en omgevingen?

Het is waar dat de nauwkeurigheid van leeftijdsschatting varieert afhankelijk van de omstandigheden. Om leeftijdszekerheidsmodellen aan de algemene bevolking te leveren, test, valideert en rapporteert HarmonEyes de resultaten transparant zodat Theia verantwoord wordt gebruikt. Dit omvat het uitbreiden en generaliseren van onze modellen met grotere en meer diverse datasets.

• We bieden richtlijnen over de nauwkeurigheidspercentages en bijvoorbeeld of lage data‑sampling‑rates de latentie van de leeftijdszekerheidsoutput beïnvloeden.
• Overweging en realtime monitoring van tal van aspecten van datakwaliteit.

Hoe zal Theia zich verdedigen tegen omzeilpogingen zoals vooraf opgenomen video, foto’s, synthetische gezichten, een oudere broer/zus die de controle uitvoert, of een gebruiker die bewust zijn blik wijzigt, en zal levendigheidsdetectie direct in de software‑development‑kit worden ingebouwd?

Alle leeftijdszekerheidsmodellen van HarmonEyes zullen levendigheidsdetectie en spoof‑controles bevatten. Oogbewegingen zijn uniek voor een individu en HarmonEyes kan bepalen of de oogbeweging voor een account overeenkomt met de persoon die het account heeft aangemaakt, of dat het een andere persoon betreft, bijvoorbeeld een oudere broer/zus.

Geen enkel leeftijdsschattingmodel zal perfect nauwkeurig zijn, vooral voor gebruikers dicht bij een wettelijke drempel. Hoe moeten ontwikkelaars omgaan met onzekere resultaten, en ziet u Theia als de primaire controle, een risicosignaal, of als onderdeel van een gelaagd proces dat bepaalde gebruikers doorstuurt naar een andere verificatiemethode?

Geen leeftijdsschattingmodel is perfect. Wij leveren bij elk resultaat een vertrouwensniveau. Dit niveau van nauwkeurigheid en vertrouwen kan voldoende zijn om leeftijdszekerheid te bevestigen. Echter, als bijvoorbeeld het vertrouwensniveau voor een specifieke meting onder een bepaalde drempel ligt, kan dit worden gebruikt om een secundaire verificatie te activeren. Ons leeftijdszekerheidsmodel kan worden ingezet als één van meerdere methoden om de leeftijd van een individu te valideren, waarbij meerdere methoden moeten slagen. Ten slotte bepalen risicotolerantie en of de use‑case een specifieke leeftijd vereist, versus een leeftijdscategorie, of zelfs een leeftijdsdrempel (bijv. 16 of jonger), of de oplossing een primaire controle is of een gelaagd proces.

HarmonEyes stelt dat Theia informatie aan de edge verwerkt en oogvolgdata vernietigt zodra een output is geleverd. Hoe kunnen ontwikkelaars, auditors of regelgevende instanties deze architectuur onafhankelijk verifiëren, en hoe zal het bedrijf haar modellen verbeteren zonder ruwe oogvolgdata van geïmplementeerde toepassingen te verzamelen?

Ons modelontwikkelingsproces en de daaropvolgende modelverbetering worden uitgevoerd binnen onze eigen oogvolg‑pipeline. We gebruiken hiervoor geen klantdata – we maken gebruik van bestaande (en groeiende) gevalideerde data.

Dit stelt ons in staat om onze oplossingen aan de edge te leveren (geen cloud) indien gewenst. In deze edge‑omgevingen zijn rekenkracht en opslag meestal beperkt en is er geen mogelijkheid om data op het apparaat op te slaan. Wij leveren onze leeftijdszekerheidsoutputs elke seconde – en ons beleid is om oogvolgdata elke seconde te vernietigen (na elk geleverd resultaat).

We beseffen dat architectuurclaims alleen zo geloofwaardig zijn als ze extern kunnen worden bevestigd. We streven naar certificeringen en attestaties van derden die ontwikkelaars, auditors en regelgevende instanties in staat stellen te verifiëren dat oogvolgdata niet wordt verzameld of bewaard in geïmplementeerde toepassingen.

Het Verenigd Koninkrijk ontwikkelt criteria voor zeer effectieve controles, terwijl de Europese Unie de nadruk legt op anonieme leeftijdsbewijs‑systemen die zo min mogelijk persoonlijke informatie onthullen. Hoe zal HarmonEyes aantonen dat fysiologische leeftijdsinschatting aan deze opkomende eisen voldoet in plaats van simpelweg een andere vorm van biometrische surveillance te introduceren?

Elk model dat wij leveren wordt geleverd met een whitepaper die de ontwikkelingsmethodologie, modelnauwkeurigheid en bekende beperkingen documenteert, en we stellen Theia beschikbaar voor live, remote testing zodat regelgevers of auditors de prestaties in de praktijk direct kunnen evalueren.

Naarmate leeftijdszekerheid verschuift van individuele sociale platformen naar besturingssystemen, app‑stores en infrastructuur op apparaatsniveau, waar zou u denken dat Theia moet worden geplaatst in die technologische stack, en hoe zou verantwoord gebruik eruitzien in consument‑apps, gaming, sociale media en andere leeftijdsbeperkte diensten?

We streven naar verschillende soorten integraties voor onze leeftijdszekerheidsfunctionaliteit. We zien Theia opereren binnen de private tech‑stack van een bedrijf, zoals een sociaal mediaplatform; binnen apparaat‑infrastructuur, zoals een besturingssysteem; binnen handelsinfrastructuur, zoals een betalingsnetwerk; of direct op app‑niveau.

Voor ons betekent verantwoord gebruik het leveren van een nauwkeurige leeftijdszekerheidsfunctie met transparantie over de validatieprocessen, diversiteit van data binnen het model, en dit op een wijze leveren die privé en kosteneffectief is om te implementeren.

Dank u voor het geweldige interview, lezers die meer willen weten, kunnen een bezoek brengen aan HarmonEyes.