Adam Gross, co-fondator și CEO al HarmonEyes – Seria de interviuri

Adam Gross, co-fondator și CEO al HarmonEyes, este un antreprenor serial cu aproape trei decenii de experiență în construirea și scalarea de afaceri bazate pe tehnologie în domeniile sănătății, serviciilor financiare și analizei de date. A co-fondat RightEye în 2013, dezvoltând o platformă de tehnologie de urmărire a ochilor utilizată în sănătate, sporturi profesionale și aplicații de performanță militară, înainte de a co-fonda HarmonEyes împreună cu Dr. Melissa Hunfalvay în 2024 pentru a extinde această expertiză în inteligența stării umane alimentată de AI. În perioada timpurie a carierei sale, Gross a co-fondat compania de reducere a costurilor în sănătate KeyClaims, care a fost achiziționată de Stratose/Zelis Healthcare în 2012, și platforma de analiză financiară Trending123.com, achiziționată de InvestorPlace Media în 2007. De asemenea, a fondat compania fintech KeepMore și a co-fondat Eastern ATM, care a operat o rețea privată de bancomate de-a lungul coastei de est a SUA înainte de a fi achiziționată în 1998.

HarmonEyes dezvoltă Theia, un model de bază AI conceput să deducă aspecte ale stării cognitive, emoționale și fizice ale unei persoane din mișcările ochilor în timp real. Tehnologia poate măsura semnale precum încărcarea cognitivă, atenția, pregătirea mentală, oboseala, stresul, distragerea, răul de mișcare și autentificarea utilizatorului, cu aplicații potențiale care acoperă asistenți AI, sisteme auto, realitate extinsă, apărare, sănătate, educație, siguranță industrială, jocuri și cercetare de piață. Theia este concepută să funcționeze la margine pe dispozitive obișnuite echipate cu camere, fără a necesita hardware specializat de urmărire a ochilor, iar HarmonEyes declară că video și datele personale nu sunt stocate. Compania își urmărește tehnologia până la RightEye și spune că modelele sale se bazează pe peste 585 de miliarde de puncte de date privind mișcarea ochilor din 16,3 milioane de înregistrări, oferind un set de date proprietar mare pentru antrenarea și rafinarea tehnologiei sale de inteligență a stării umane.

Ai co-fondat RightEye în 2013 și ai petrecut peste un deceniu dezvoltând tehnologia de urmărire a ochilor pentru sănătate, sport și aplicații militare înainte de a lansa HarmonEyes în 2024. Ce te-a convins că această tehnologie de bază și setul de date ar putea susține un model de bază mai larg pentru inteligența stării umane și de ce a fost HarmonEyes vehiculul potrivit pentru acea viziune?

Cu peste un deceniu de experiență în dezvoltarea de produse de urmărire a ochilor pentru o varietate de domenii, au existat trei schimbări care au determinat viziunea noastră pentru HarmonEyes de a aduce inteligența stării umane la miliarde de dispozitive:

1. În ultimul deceniu am achiziționat cea mai mare bază de date validată și etichetată de urmărire a ochilor, care include peste 130 de seturi de date ce acoperă demografice (de ex., vârstă, sex), performanță, atenție, emoție, vedere și condiții de sănătate, etc.
2. Odată cu proliferarea AI, tehnicile de antrenare a modelelor în timp real au devenit brusc disponibile pentru noi – și aveam datele necesare pentru a le antrena.
3. Semnalele de urmărire a ochilor sunt capturate de camere. Recent, și pentru prima dată, camerele de consum au devenit mai bune, mai rapide, mai ieftine și suficient de puternice pentru a extrage aceste semnale. Prin inovațiile echipei noastre, putem acum să implementăm modele de urmărire a ochilor pe orice dispozitiv bazat pe cameră, inclusiv laptopuri, telefoane, tablete, automobile etc.

Ofcom a distins inferența de vârstă comportamentală, care necesită observarea modului în care cineva folosește o platformă, de verificările de vârstă care pot funcționa înainte de a se acorda accesul. Cum diferă estimarea vârstei din mișcarea ochilor din punct de vedere tehnic și etic față de analiza istoricului de navigare, preferințelor de conținut, limbajului sau altor semnale comportamentale?

Tehnologia noastră necesită doar un eșantion mic de mișcări ale ochilor de la subiect pentru a plasa o persoană într-un interval de vârstă sau pentru a confirma că cineva este mai tânăr/mai în vârstă decât o anumită vârstă. Putem colecta datele de mișcare oculară în mod pasiv, continuu și non-invaziv, fără a stoca sau colecta informații personale identificabile. În plus, toate datele de urmărire a ochilor sunt distruse odată ce rezultatele sunt livrate. De asemenea, avem capacitatea de a efectua detectarea de viață și protecție împotriva falsificării, asigurând că oamenii nu pot manipula sistemul.

Din punct de vedere etic, asta înseamnă că nu profilăm comportamentul, obiceiurile, deciziile sau preferințele unei persoane – spre deosebire de inferența comportamentală, care prin definiție construiește o imagine a cuiva pe baza modului în care acționează în timp. Oferim asigurarea vârstei fără a colecta sau reține astfel de informații personale, astfel încât utilizatorii și părinții pot avea încredere că sunt protejați, nu urmăriți sau profilati.

Cercetarea publicată de HarmonEyes a analizat mișcările ochilor a 45.696 de persoane și a raportat o acuratețe de clasificare de 94,67% în 12 grupuri de vârstă. Ce măsoară exact această cifră de acuratețe și câtă validare suplimentară este necesară înainte ca modelul să poată determina în mod fiabil dacă cineva se află peste sau sub un prag specific, cum ar fi vârsta de 16 ani?

Acuratețea măsoară datele oricărei persoane adăugate la setul de date și, în 94,67% din cazuri, mișcările ochilor acelei persoane vor clasifica corect grupul de vârstă în care se află (din 12 grupuri). Capacitatea de a determina dacă este peste sau sub 16 ani este mai puțin dificilă decât identificarea unui interval de vârstă specific. Totuși, datele utilizate pentru studiu au exclus persoanele cu tulburări de vedere sau condiții neurologice, astfel că validarea suplimentară trebuie să includă persoane cu anumite mișcări oculare nefuncționale.

Ne poți explica ce se întâmplă tehnic când un dezvoltator apelează funcționalitatea de estimare a vârstei a Theia, de la capturarea mișcării ochilor printr-o cameră obișnuită până la returnarea unui rezultat de interval de vârstă, și să explici care etape se desfășoară în totalitate pe dispozitivul utilizatorului?

Camera calculează mai întâi vectorii de privire, care ajută la determinarea locului spre care privește utilizatorul. Acești vectori de privire sunt apoi procesați prin SDK-ul nostru, unde sunt convertiți în caracteristici de urmărire a ochilor, cum ar fi viteza (cât de repede se mișcă ochii) și fixările (unde se concentrează ochii).

Odată generate aceste caracteristici, ele sunt transmise algoritmilor noștri de ML și AI pentru a determina intervalul de vârstă al utilizatorului.

Tot acest proces este realizat la margine și poate fi efectuat direct pe dispozitivul utilizatorului sau, în funcție de strategia de implementare, în cloud. Nu se păstrează date brute de urmărire a ochilor; acestea sunt eliminate imediat după generarea fiecărui rezultat.

Sistemele de estimare a vârstei pot funcționa diferit în funcție de iluminare, calitatea camerei, ochelari, lentile de contact, condiții oculare, dizabilități, etnie și proximitatea utilizatorului față de dispozitiv. Cum testați Theia în aceste variabile și ce dovezi vor primi dezvoltatorii privind acuratețea pentru diferite populații și medii?

Este adevărat că acuratețea estimării vârstei variază în funcție de condiții. Pentru a oferi modele de asigurare a vârstei populației generale, HarmonEyes testează, validează și raportează rezultatele transparent, astfel încât Theia să fie utilizată responsabil. Aceasta include extinderea și generalizarea modelelor noastre prin utilizarea unor seturi de date mai mari și mai diverse.

• Furnizăm ghiduri privind ratele de acuratețe și, de exemplu, dacă ratele scăzute de eșantionare a datelor afectează latența rezultatului de asigurare a vârstei.
• Luăm în considerare și monitorizăm în timp real numeroase aspecte ale calității datelor.

Cum va apăra Theia împotriva încercărilor de ocolire, cum ar fi video preînregistrate, fotografii, fețe sintetice, un frate mai mare care efectuează verificarea sau un utilizator care își modifică în mod deliberat privirea, și va fi detectarea de viață integrată direct în kitul de dezvoltare software?

Toate modelele de asigurare a vârstei HarmonEyes vor include detectarea de viață și verificări anti-falsificare. Mișcările ochilor sunt unice pentru fiecare individ și HarmonEyes poate determina dacă mișcarea ochilor pentru un cont corespunde persoanei care a configurat contul sau este o altă persoană, de exemplu un frate mai mare.

Niciun model de estimare a vârstei nu va fi perfect precis, în special pentru utilizatorii apropiați de un prag legal. Cum ar trebui dezvoltatorii să gestioneze rezultatele incert, și vizualizați Theia ca verificare principală, semnal de risc sau parte a unui proces în straturi care să escaladeze anumiți utilizatori către o altă metodă de verificare?

Niciun model de estimare a vârstei nu este perfect. Oferim un nivel de încredere pentru fiecare rezultat. Acest nivel de acuratețe și încredere poate fi suficient pentru a confirma asigurarea vârstei. Totuși, dacă, de exemplu, nivelul de încredere pentru o măsurare specifică este sub un anumit prag, ar putea fi utilizat pentru a declanșa o verificare secundară. Modelul nostru de asigurare a vârstei poate fi utilizat ca una dintre numeroasele metode de validare a vârstei unei persoane, unde trebuie să treacă prin multiple metode. În final, toleranța la risc și dacă cazul de utilizare necesită o vârstă specifică, versus un interval de vârstă, sau chiar un prag de vârstă (de ex. 16 sau mai puțin) va determina dacă soluția este o verificare principală sau un proces în straturi.

HarmonEyes afirmă că Theia procesează informațiile la margine și elimină datele de urmărire a ochilor odată ce un rezultat este livrat. Cum pot dezvoltatorii, auditorii sau regulatorii să verifice independent această arhitectură și cum va îmbunătăți compania modelele fără a colecta date brute de urmărire a ochilor din aplicațiile implementate?

Procesul nostru de dezvoltare a modelului și îmbunătățirea ulterioară a modelului sunt realizate în cadrul fluxului nostru proprietar de urmărire a ochilor. Nu utilizăm datele clienților în acest scop – folosim date validate existente (și în creștere).

Acest lucru ne permite să livrăm soluțiile noastre la margine (fără cloud), dacă se dorește. În aceste medii bazate pe margine, calculul și stocarea sunt de obicei limitate și nu există posibilitatea de a stoca date pe dispozitiv. Livrăm rezultatele de asigurare a vârstei în fiecare secundă – iar politica noastră este să distrugem datele de urmărire a ochilor în fiecare secundă (după fiecare rezultat livrat).

Recunoaștem că afirmațiile privind arhitectura sunt credibile doar în măsura în care pot fi confirmate extern. Urmărim certificări și atestări de la terți concepute pentru a permite dezvoltatorilor, auditorilor și regulatorilor să verifice că datele de urmărire a ochilor nu sunt colectate sau păstrate în aplicațiile implementate.

Regatul Unit dezvoltă criterii pentru verificări extrem de eficiente, în timp ce Uniunea Europeană pune accent pe sisteme anonime de dovadă a vârstei care dezvăluie cât mai puține informații personale. Cum va demonstra HarmonEyes că estimarea fiziologică a vârstei îndeplinește aceste cerințe emergente, în loc să introducă pur și simplu o formă diferită de supraveghere biometrică?

Fiecare model pe care îl livrăm vine cu un document tehnic care descrie metodologia de dezvoltare, acuratețea modelului și limitările cunoscute, și punem Theia la dispoziție pentru testare live, de la distanță, astfel încât regulatorii sau auditorii să poată evalua direct performanța în condiții reale.

Pe măsură ce asigurarea vârstei trece de la platformele sociale individuale la sistemele de operare, magazinele de aplicații și infrastructura la nivel de dispozitiv, unde credeți că ar trebui să se situeze Theia în acel stack tehnologic și cum ar arăta adoptarea responsabilă în aplicațiile pentru consumatori, jocuri, rețele sociale și alte servicii cu restricție de vârstă?

Căutăm multe tipuri de integrare pentru capacitatea noastră de asigurare a vârstei. Vizualizăm Theia funcționând în cadrul stack-ului tehnologic privat al unei companii, cum ar fi o platformă de rețele sociale; în infrastructura dispozitivului, cum ar fi un sistem de operare; în infrastructura comercială, cum ar fi o rețea de plăți; sau direct la nivel de aplicație.

Pentru noi, adoptarea responsabilă înseamnă furnizarea unei capacități precise de asigurare a vârstei cu transparență în procesele de validare, diversitate de date în model și livrarea acestora într-un mod privat și rentabil de implementat.

Vă mulțumim pentru interviul excelent, cititorii care doresc să afle mai multe ar trebui să viziteze HarmonEyes.