Adam Gross, cofondatore e CEO di HarmonEyes – Serie di interviste

Adam Gross, cofondatore e CEO di HarmonEyes, è un imprenditore seriale con quasi tre decenni di esperienza nella costruzione e scalatura di imprese tecnologiche nei settori sanitario, dei servizi finanziari e dell’analisi dei dati. Ha cofondato RightEye nel 2013, sviluppando una piattaforma di tecnologia di eye‑tracking utilizzata in ambito sanitario, sport professionale e applicazioni militari di performance, prima di co‑fondare HarmonEyes con Dr. Melissa Hunfalvay nel 2024 per estendere tale competenza all’intelligenza dello stato umano potenziata dall’AI. All’inizio della sua carriera, Gross ha cofondato la società di contenimento dei costi sanitari KeyClaims, acquisita da Stratose/Zelis Healthcare nel 2012, e la piattaforma di analisi finanziaria Trending123.com, acquisita da InvestorPlace Media nel 2007. Ha inoltre fondato la fintech KeepMore e cofondato Eastern ATM, che gestiva una rete privata di sportelli ATM lungo la costa orientale degli Stati Uniti prima di essere acquisita nel 1998.

HarmonEyes sta sviluppando Theia, un modello di base AI progettato per inferire aspetti dello stato cognitivo, emotivo e fisico di una persona dai movimenti oculari in tempo reale. La tecnologia può misurare segnali tra cui carico cognitivo, attenzione, prontezza mentale, affaticamento, stress, distrazione, cinetosi e autenticazione dell’utente, con potenziali applicazioni che spaziano dagli assistenti AI, ai sistemi automobilistici, alla realtà estesa, difesa, sanità, istruzione, sicurezza industriale, videogiochi e ricerche di mercato. Theia è progettata per operare al bordo (edge) su dispositivi comuni dotati di fotocamera, senza richiedere hardware specializzato per l’eye‑tracking, con HarmonEyes che dichiara che video e dati personali non vengono memorizzati. L’azienda fa risalire la sua tecnologia a RightEye e afferma che i suoi modelli si basano su più di 585 miliardi di punti di dati di movimenti oculari raccolti in 16,3 milioni di record, fornendo un ampio dataset proprietario per l’addestramento e il perfezionamento della sua tecnologia di intelligenza dello stato umano.

Hai cofondato RightEye nel 2013 e hai trascorso più di un decennio a sviluppare tecnologia di eye‑tracking per sanità, sport e applicazioni militari prima di lanciare HarmonEyes nel 2024. Cosa ti ha convinto che questa tecnologia di base e il relativo dataset potessero supportare un modello di base più ampio per l’intelligenza dello stato umano, e perché HarmonEyes era il veicolo giusto per quella visione?

With more than a decade of experience developing eye tracking products for a variety of fields, there were three changes that prompted our vision for HarmonEyes to bring human state intelligence to billions of devices:

1. Nel corso dell’ultimo decennio abbiamo acquisito il più grande database di eye‑tracking validato e etichettato, che comprende oltre 130 set di dati che coprono demografia (ad es. età, sesso), performance, attenzione, emozione, vista e condizioni di salute, ecc.
2. Con la proliferazione dell’AI, le tecniche per addestrare modelli in tempo reale sono diventate improvvisamente disponibili per noi – e noi avevamo i dati per addestrarli.
3. I segnali di eye‑tracking vengono catturati dalle fotocamere. Recentemente, e per la prima volta, le fotocamere di consumo sono diventate più buone, più veloci, più economiche e sufficientemente potenti da estrarre questi segnali. Grazie alle innovazioni del nostro team, ora possiamo distribuire modelli di eye‑tracking su qualsiasi dispositivo basato su fotocamera, inclusi laptop, telefoni, tablet, automobili, ecc.

Ofcom ha distinto l’inferenza dell’età comportamentale, che richiede l’osservazione di come qualcuno utilizza una piattaforma, dai controlli di età che possono funzionare prima che l’accesso sia concesso. In che modo la stima dell’età dal movimento oculare differisce tecnicamente ed eticamente dall’analisi della cronologia di navigazione, delle preferenze di contenuto, della lingua o di altri segnali comportamentali?

La nostra tecnologia richiede solo un piccolo campione di movimenti oculari da parte del soggetto per collocare l’individuo in una fascia d’età o per confermare che qualcuno sia più giovane/maggiore di un’età specifica. Possiamo raccogliere i dati di movimento oculare in modo passivo, continuo e non invasivo senza memorizzare o raccogliere alcuna informazione personalmente identificabile. Inoltre, tutti i dati di eye‑tracking vengono distrutti una volta che i risultati sono consegnati. Abbiamo anche la capacità di eseguire il rilevamento della vitalità (liveness) e la protezione contro le falsificazioni, garantendo così che le persone non possano manipolare il sistema.

Eticamente, ciò significa che non stiamo profilando il comportamento, le abitudini, le decisioni o le preferenze di una persona — a differenza dell’inferenza comportamentale, che per definizione costruisce un ritratto di qualcuno basandosi su come agisce nel tempo. Forniamo una garanzia di età senza raccogliere o conservare quel tipo di informazioni personali, così gli utenti e i genitori possono essere certi di essere protetti anziché monitorati o profilati.

La ricerca pubblicata da HarmonEyes ha analizzato i movimenti oculari di 45.696 persone e ha riportato una precisione di classificazione del 94,67% su 12 gruppi di età. Cosa misura esattamente questa percentuale di accuratezza e quanta validazione aggiuntiva è necessaria prima che il modello possa determinare in modo affidabile se qualcuno supera o è al di sotto di una soglia specifica, ad esempio i 16 anni?

L’accuratezza misura che, per qualsiasi dato di una persona aggiunto al dataset, il 94,67% delle volte i movimenti oculari di quella persona classificheranno correttamente il gruppo d’età di appartenenza (su 12 gruppi). La capacità di determinare se si è sopra o sotto i 16 anni è meno impegnativa rispetto all’identificazione di una fascia d’età specifica. Tuttavia, i dati utilizzati per lo studio escludevano persone con disturbi della vista o condizioni neurologiche, quindi è necessario includere nella validazione aggiuntiva persone con certi movimenti oculari non funzionali.

Puoi spiegarci passo passo cosa avviene tecnicamente quando uno sviluppatore invoca la capacità di stima dell’età di Theia, dalla cattura del movimento oculare tramite una fotocamera ordinaria al ritorno di un risultato di fascia d’età, e indicare quali fasi avvengono interamente sul dispositivo dell’utente?

La fotocamera calcola innanzitutto i vettori di sguardo, che aiutano a determinare dove l’utente sta guardando. Questi vettori di sguardo vengono poi elaborati tramite il nostro SDK, dove vengono convertiti in caratteristiche di eye‑tracking, come la velocità (quanto velocemente si muovono gli occhi) e le fissazioni (dove gli occhi si concentrano).

Una volta generate queste caratteristiche, vengono inviate ai nostri algoritmi di ML e AI per determinare la fascia d’età dell’utente.

Tutto questo processo è basato sull’edge e può essere eseguito direttamente sul dispositivo dell’utente o, a seconda della strategia di distribuzione, nel cloud. Nessun dato grezzo di eye‑tracking viene conservato; viene eliminato immediatamente dopo la generazione di ogni risultato.

I sistemi di stima dell’età possono funzionare diversamente a seconda dell’illuminazione, della qualità della fotocamera, degli occhiali, delle lenti a contatto, delle condizioni oculari, della disabilità, dell’etnia e della distanza dell’utente dal dispositivo. Come state testando Theia su queste variabili e quale evidenza riceveranno gli sviluppatori riguardo all’accuratezza per diverse popolazioni e ambienti?

È vero che l’accuratezza della stima dell’età varia a seconda delle condizioni. Per fornire modelli di garanzia di età alla popolazione generale, HarmonEyes testa, valida e riporta i risultati in modo trasparente affinché Theia venga utilizzata responsabilmente. Questo include l’espansione e la generalizzazione dei nostri modelli utilizzando dataset più grandi e più diversificati.

• Fornamo indicazioni sui tassi di accuratezza e, ad esempio, se tassi di campionamento dei dati bassi influiscono sulla latenza dell’output della garanzia di età.
• Considerazione e monitoraggio in tempo reale di molti aspetti della qualità dei dati.

In che modo Theia difenderà i tentativi di aggiramento, come video preregistrati, fotografie, volti sintetici, un fratello maggiore che effettua il controllo, o un utente che altera deliberatamente lo sguardo, e il rilevamento della vitalità sarà integrato direttamente nel kit di sviluppo software?

Tutti i modelli di garanzia di età di HarmonEyes includeranno il rilevamento della vitalità e controlli anti‑spoofing. I movimenti oculari sono unici per ciascun individuo e HarmonEyes è in grado di determinare se il movimento oculare di un account corrisponde alla persona che ha creato l’account, o se è una persona diversa, ad esempio un fratello maggiore.

Nessun modello di stima dell’età sarà perfettamente accurato, soprattutto per gli utenti vicini a una soglia legale. Come dovrebbero gli sviluppatori gestire risultati incerti e prevedi che Theia venga utilizzata come controllo primario, segnale di rischio o parte di un processo a più livelli che indirizza alcuni utenti a un altro metodo di verifica?

Non esiste un modello di stima dell’età perfetto. Forniamo un livello di confidenza con ogni risultato. Questo livello di accuratezza e fiducia può essere sufficiente per confermare la garanzia di età. Tuttavia, se, ad esempio, il livello di confidenza per una misurazione specifica è inferiore a una certa soglia, potrebbe essere usato per attivare una verifica secondaria. Il nostro modello di garanzia di età può essere utilizzato come uno dei diversi metodi per convalidare l’età di un individuo, dove è necessario superare più metodi. Infine, la tolleranza al rischio e se il caso d’uso richiede un’età specifica, rispetto a una fascia d’età, o anche una soglia (ad es. 16 anni o meno) determinerà se la soluzione è un controllo primario o un processo a più livelli.

HarmonEyes afferma che Theia elabora le informazioni all’edge e elimina i dati di eye‑tracking una volta consegnato un risultato. Come possono sviluppatori, auditor o regolatori verificare in modo indipendente tale architettura, e come farà l’azienda a migliorare i propri modelli senza raccogliere dati grezzi di eye‑tracking dalle applicazioni distribuite?

Il nostro processo di sviluppo del modello, e il successivo miglioramento del modello, avviene all’interno della nostra pipeline proprietaria di eye‑tracking. Non utilizziamo i dati dei clienti per questo – usiamo dati validati esistenti (e in crescita).

Ciò ci consente di fornire le nostre soluzioni all’edge (senza cloud) se desiderato. In questi ambienti basati sull’edge, la capacità di calcolo e di archiviazione è solitamente limitata e non è possibile memorizzare dati sul dispositivo. Forniamo i nostri output di garanzia di età ogni secondo – e la nostra politica è di distruggere i dati di eye‑tracking ogni secondo (dopo la consegna di ogni risultato).

Riconosciamo che le affermazioni architetturali sono credibili solo nella misura in cui possono essere confermate esternamente. Stiamo perseguendo certificazioni e attestazioni di terze parti progettate per consentire a sviluppatori, auditor e regolatori di verificare che i dati di eye‑tracking non vengano raccolti o conservati nelle applicazioni distribuite.

Il Regno Unito sta sviluppando criteri per controlli altamente efficaci, mentre l’Unione Europea sta enfatizzando sistemi di prova d’età anonimi che rivelano il meno possibile di informazioni personali. Come dimostrerà HarmonEyes che la stima fisiologica dell’età soddisfa questi requisiti emergenti, invece di introdurre semplicemente una forma diversa di sorveglianza biometrica?

Ogni modello che distribuiamo è accompagnato da un white paper che documenta la metodologia di sviluppo, l’accuratezza del modello e le limitazioni note, e rendiamo Theia disponibile per test in tempo reale e remoto affinché i regolatori o gli auditor possano valutare direttamente le prestazioni nel mondo reale.

Man mano che la garanzia di età si sposta dalle singole piattaforme sociali verso sistemi operativi, app store e infrastrutture a livello di dispositivo, dove credi che Theia debba collocarsi in quella stack tecnologica, e come dovrebbe apparire un’adozione responsabile su app consumer, gaming, social media e altri servizi con restrizioni d’età?

Stiamo perseguendo diversi tipi di integrazioni per la nostra capacità di garanzia di età. Immaginiamo Theia operare all’interno dello stack tecnologico privato di un’azienda, come una piattaforma di social media; all’interno dell’infrastruttura del dispositivo, come un sistema operativo; all’interno dell’infrastruttura commerciale, come una rete di pagamento; o direttamente a livello di app.

Per noi, un’adozione responsabile significa fornire una capacità di garanzia di età accurata con trasparenza dei processi di validazione, diversità dei dati all’interno del modello, e farlo in modo privato ed economicamente efficace da distribuire.

Grazie per la splendida intervista, i lettori che desiderano saperne di più dovrebbero visitare HarmonEyes.