Adam Gross, medgrundare och VD för HarmonEyes – Intervjuserie

Adam Gross, medgrundare och VD för HarmonEyes, är en serieentreprenör med nästan tre decennier av erfarenhet av att bygga och skala teknikdrivna företag inom hälso- och sjukvård, finansiella tjänster och dataanalys. Han medgrundade RightEye 2013, utvecklade en ögonspårningsteknologiplattform som används inom hälso- och sjukvård, professionell sport och militära prestationsapplikationer, innan han med Dr. Melissa Hunfalvay grundade HarmonEyes 2024 för att utvidga den expertisen till AI‑driven mänsklig tillståndsintelligens. Tidigare i sin karriär medgrundade Gross hälso‑ och sjukvårdens kostnadskontrollföretag KeyClaims, som förvärvades av Stratose/Zelis Healthcare 2012, och den finansiella analysplattformen Trending123.com, som köptes av InvestorPlace Media 2007. Han grundade också fintech‑företaget KeepMore och medgrundade Eastern ATM, som drev ett privat bankomatsnätverk längs USA:s östkust innan det såldes 1998.

HarmonEyes utvecklar Theia, en AI‑grundmodell avsedd att härleda aspekter av en persons kognitiva, emotionella och fysiska tillstånd från ögonrörelser i realtid. Teknologin kan mäta signaler såsom kognitiv belastning, uppmärksamhet, mental beredskap, trötthet, stress, distraktion, rörelsesjuka och användarautentisering, med potentiella tillämpningar som AI‑assistenter, fordonssystem, utökad verklighet, försvar, hälso‑ och sjukvård, utbildning, industriell säkerhet, spel och marknadsundersökningar. Theia är konstruerad för att köras i kanten på vanliga kamerautrustade enheter utan att kräva specialiserad ögonspårningshårdvara, och HarmonEyes uppger att video och personuppgifter inte lagras. Företaget spårar sin teknik tillbaka till RightEye och säger att deras modeller bygger på mer än 585 miljarder ögonrörelsedatapunkter från 16,3 miljoner poster, vilket ger ett stort proprietärt dataset för träning och förfining av deras mänskliga tillståndsintelligens‑teknik.

Du medgrundade RightEye 2013 och tillbringade mer än ett decennium med att utveckla ögonspårningsteknik för hälso‑ och sjukvård, sport och militära tillämpningar innan du lanserade HarmonEyes 2024. Vad övertygade dig om att denna underliggande teknik och dataset kunde stödja en bredare grundmodell för mänsklig tillståndsintelligens, och varför var HarmonEyes rätt fordon för den visionen?

Med mer än ett decennium av erfarenhet av att utveckla ögonspårningsprodukter för en rad olika områden fanns det tre förändringar som drev vår vision för HarmonEyes att leverera mänsklig tillståndsintelligens till miljarder enheter:

1. Under det senaste decenniet har vi anskaffat den största validerade och märkt ögonspårningsdatabasen, som innehåller över 130 dataset som täcker demografi (t.ex. ålder, kön), prestation, uppmärksamhet, känsla, syn och hälsotillstånd, med mera.
2. Med AI:s spridning blev tekniker för att träna realtidsmodeller plötsligt tillgängliga för oss – och vi hade data för att träna dem.
3. Ögonspårningssignaler fångas av kameror. På senare tid, och för första gången någonsin, har konsumentkameror blivit bättre, snabbare, billigare och tillräckligt kraftfulla för att extrahera dessa signaler. Genom vårt teams innovationer kan vi nu distribuera ögonspårningsmodeller på vilken kamera‑baserad enhet som helst, inklusive bärbara datorer, telefoner, surfplattor, bilar med mera.

Ofcom har särskiljt beteendemässig åldersinferenz, som kräver observation av hur någon använder en plattform, från ålderskontroller som kan fungera innan åtkomst beviljas. Hur skiljer sig åldersestimering från ögonrörelser tekniskt och etiskt från analys av webbläsarhistorik, innehållspreferenser, språk eller andra beteendesignaler?

Vår teknik kräver bara ett litet urval av ögonrörelser från en person för att placera individen i ett åldersintervall eller för att bekräfta att någon är yngre/äldre än en specifik ålder. Vi kan samla in ögonrörelsedata passivt, kontinuerligt och icke‑invasivt utan att lagra eller samla in någon personligt identifierbar information. Dessutom förstörs all ögonspårningsdata så snart resultaten levererats. Vi har också möjlighet att utföra livslängdsdetektion och skydd mot förfalskning, vilket säkerställer att personer inte kan manipulera systemet.

Etiskt innebär detta att vi inte profilerar en persons beteende, vanor, beslut eller preferenser – till skillnad från beteendeinferenz, som per definition bygger en bild av någon utifrån hur de agerar över tid. Vi levererar ålderssäkerhet utan att samla in eller behålla sådan personlig information, så att användare och föräldrar kan vara säkra på att de skyddas snarare än spåras eller profilieras.

HarmonEyes publicerade forskning som analyserade ögonrörelser från 45 696 personer och rapporterade 94,67 % klassificeringsnoggrannhet över 12 åldersgrupper. Vad mäter exakt den siffran, och hur mycket ytterligare validering krävs innan modellen på ett pålitligt sätt kan avgöra om någon ligger över eller under ett specifikt tröskelvärde, exempelvis 16 år?

Noggrannheten mäter att när en persons data läggs till datasetet så kommer den personens ögonrörelser korrekt att kategorisera dennes åldersgrupp (av 12 grupper) 94,67 % av gångerna. Att kunna avgöra om någon är över eller under 16 år är mindre krävande än att identifiera ett specifikt åldersintervall. Studien uteslöt dock personer med synstörningar eller neurologiska tillstånd, så ytterligare validering måste inkludera personer med vissa icke‑funktionella ögonrörelser.

Kan du gå igenom vad som tekniskt sker när en utvecklare anropar Theias åldersestimeringsfunktion, från att fånga ögonrörelser med en vanlig kamera till att returnera ett åldersintervall, och förklara vilka steg som sker helt på användarens enhet?

Kameran beräknar först blickvektorerna, vilket hjälper till att bestämma var användaren tittar. Dessa blickvektorer bearbetas sedan genom vårt SDK där de omvandlas till ögonspårningsfunktioner, såsom hastighet (hur snabbt ögonen rör sig) och fixeringar (var ögonen fokuserar).

När dessa funktioner har genererats matas de in i våra ML‑ och AI‑algoritmer för att bestämma användarens åldersintervall.

All denna bearbetning sker i kanten och kan utföras direkt på en användares enhet eller, beroende på implementeringsstrategi, i molnet. Ingen rå ögonspårningsdata behålls; den raderas omedelbart efter varje genererat resultat.

Åldersestimeringssystem kan fungera olika beroende på belysning, kamerakvalitet, glasögon, kontaktlinser, ögontillstånd, funktionshinder, etnicitet och användarens avstånd till enheten. Hur testar ni Theia över dessa variabler, och vilken bevisning får utvecklare angående noggrannhet för olika populationer och miljöer?

Det är sant att noggrannheten för åldersestimering varierar beroende på förhållanden. För att leverera ålderssäkerhetsmodeller till den breda allmänheten testar, validerar och rapporterar HarmonEyes resultat transparent så att Theia används ansvarsfullt. Detta inkluderar att utöka och generalisera våra modeller med större och mer diversifierade dataset.

• Vi tillhandahåller vägledning om noggrannhetsnivåer och om exempelvis låga datainsamlingsfrekvenser påverkar latensen för ålderssäkerhetsresultat.
• Övervägande och realtidsövervakning av många aspekter av datakvalitet.

Hur kommer Theia att försvara sig mot kringgående försök som förinspelad video, fotografier, syntetiska ansikten, en äldre syskon som genomför kontrollen, eller en användare som medvetet ändrar sin blick, och kommer livslängdsdetektering byggas direkt i programvaruutvecklingspaketet?

Alla HarmonEyes ålderssäkerhetsmodeller kommer att inkludera livslängdsdetektion och förfalskningskontroller. Ögonrörelser är unika för varje individ och HarmonEyes kan avgöra om ögonrörelsen för ett konto matchar personen som skapade kontot, eller om det är en annan person, exempelvis ett äldre syskon.

Ingen åldersestimeringsmodell kommer att vara helt exakt, särskilt för användare nära en juridisk tröskel. Hur bör utvecklare hantera osäkra resultat, och föreställer du dig att Theia används som huvudkontroll, en riskindikator eller som en del av en lagerprocess som eskalerar vissa användare till en annan verifieringsmetod?

Ingen åldersestimeringsmodell är perfekt. Vi tillhandahåller en förtroendenivå med varje resultat. Denna nivå av noggrannhet och förtroende kan vara tillräcklig för att bekräfta ålderssäkerhet. Men om exempelvis förtroendenivån för en specifik mätning är under en viss gräns, kan den användas för att trigga en sekundär verifiering. Vår ålderssäkerhetsmodell kan användas som en av flera metoder för att validera en individs ålder, där flera metoder måste godkännas. Slutligen kommer risktolerans och om användningsfallet kräver en specifik ålder, jämfört med ett åldersintervall, eller till och med ett ålderströskelvärde (t.ex. 16 år eller yngre) att avgöra om lösningen är en huvudkontroll eller en lagerprocess.

HarmonEyes säger att Theia bearbetar information i kanten och förstör ögonspårningsdata så snart ett resultat levereras. Hur kan utvecklare, revisorer eller tillsynsmyndigheter oberoende verifiera den arkitekturen, och hur kommer företaget att förbättra sina modeller utan att samla in rå ögonspårningsdata från distribuerade applikationer?

Vår modellutvecklingsprocess och efterföljande modellförbättring utförs inom vår proprietära ögonspårningspipeline. Vi använder inte kunddata för detta – vi använder befintliga (och växande) validerade data.

Detta gör att vi kan leverera våra lösningar i kanten (utan moln) om så önskas. I dessa kantbaserade miljöer är beräkningskraft och lagring vanligtvis begränsade och det finns ingen möjlighet att lagra data på enheten. Vi levererar våra ålderssäkerhetsresultat varje sekund – och vår policy är att förstöra ögonspårningsdata varje sekund (efter varje levererat resultat).

Vi inser att arkitekturpåståenden bara är så trovärdiga som möjligheten att bekräfta dem externt. Vi arbetar mot tredjepartscertifieringar och intyg som är avsedda att låta utvecklare, revisorer och tillsynsmyndigheter verifiera att ögonspårningsdata inte samlas in eller behålls i distribuerade applikationer.

Storbritannien utvecklar kriterier för mycket effektiva kontroller, medan Europeiska unionen betonar anonyma bevis‑på‑ålder‑system som avslöjar så lite personlig information som möjligt. Hur kommer HarmonEyes att visa att fysiologisk åldersestimering uppfyller dessa framväxande krav snarare än att bara introducera en annan form av biometrisk övervakning?

Varje modell vi levererar medföljer ett vitpapper som dokumenterar utvecklingsmetodik, modellnoggrannhet och kända begränsningar, och vi gör Theia tillgänglig för live‑ och fjärrtestning så att tillsynsmyndigheter eller revisorer kan utvärdera verklig prestanda direkt.

När ålderssäkerhet förflyttar sig från individuella sociala plattformar till operativsystem, appbutiker och enhetsnivåinfrastruktur, var tror du att Theia bör placeras i den tekniska stacken, och hur skulle ett ansvarsfullt införande se ut över konsumentappar, spel, sociala medier och andra åldersbegränsade tjänster?

Vi arbetar med många typer av integrationer för vår ålderssäkerhetsfunktion. Vi föreställer oss att Theia fungerar inom ett företags privata teknikstack, såsom en social medieplattform; inom enhetsinfrastruktur, exempelvis ett operativsystem; inom handelsinfrastruktur, som ett betalningsnätverk; eller direkt på applikationsnivå.

För oss innebär ett ansvarsfullt införande att leverera en exakt ålderssäkerhetsfunktion med transparens kring valideringsprocesserna, datamångfald i modellen, samt att leverera detta på ett privat och kostnadseffektivt sätt.

Tack för den fantastiska intervjun, läsare som vill veta mer bör besöka HarmonEyes.