Adam Gross, HarmonEyesin perustaja ja toimitusjohtaja – Haastattelusarja

Adam Gross, HarmonEyesin perustaja ja toimitusjohtaja, on sarjayrittäjä, jolla on lähes kolmen vuosikymmenen kokemus teknologiaan perustuvien yritysten rakentamisesta ja skaalaamisesta terveydenhuollon, rahoituspalveluiden ja data-analytiikan aloilla. Hän perusti RightEyen vuonna 2013, kehittäen silmänliikekuvantamisteknologian alustan, jota on käytetty terveydenhuollossa, ammattiurheilussa ja sotilas suorituskyky -sovelluksissa, ennen kuin hän perusti yhdessä tohtori Melissa Hunfalvayn kanssa HarmonEyesin vuonna 2024 laajentaakseen tätä osaamista tekoälypohjaiseen ihmisen tilan älykkyyteen. Aikaisemmassa urassaan Gross perusti terveydenhuollon kustannusten hallintayrityksen KeyClaims, jonka Stratose/Zelis Healthcare osti vuonna 2012, sekä rahoitusanalytiikka-alustan Trending123.com, jonka InvestorPlace Media hankki vuonna 2007. Hän perusti myös rahoitusteknologiayrityksen KeepMore ja oli mukana perustamassa Eastern ATM:ia, joka ylläpiti yksityistä pankkiautomaattiverkostoa Yhdysvaltain itärannikolla ennen kuin se ostettiin vuonna 1998.

HarmonEyes kehittää Theiaa, tekoälypohjaista perusmallia, jonka on suunniteltu päättelemään henkilön kognitiivisen, emotionaalisen ja fyysisen tilan osa-alueita silmänliikkeistä reaaliajassa. Teknologia pystyy mittaamaan signaaleja kuten kognitiivinen kuormitus, tarkkaavaisuus, henkinen valmius, väsymys, stressi, häiriötekijät, liikepahoinvointi ja käyttäjän tunnistaminen, ja sen mahdolliset sovellukset kattavat tekoälyavustajat, autoteollisuuden järjestelmät, laajennetun todellisuuden, puolustuksen, terveydenhuollon, koulutuksen, teollisuuden turvallisuuden, pelit ja markkinatutkimuksen. Theia on suunniteltu toimimaan reunalaitteessa tavallisilla kameralla varustetuilla laitteilla ilman erikoissilmänseurantalaitteistoa, ja HarmonEyes ilmoittaa, ettei video- eikä henkilötietoja tallenneta. Yritys jäljittää teknologiansa RightEyeen ja kertoo, että sen mallit perustuvat yli 585 miljardin silmänliikesignaalin datapisteeseen 16,3 miljoonasta tietueesta, tarjoten suuren omistusoikeudellisen aineiston mallien kouluttamiseen ja tarkentamiseen.

Peristit RightEyen vuonna 2013 ja vietit yli vuosikymmenen kehittäen silmänseurantateknologiaa terveydenhuollon, urheilun ja sotilas sovelluksiin ennen kuin lanseerasit HarmonEyesin vuonna 2024. Mikä vakuutti sinut siitä, että tämä taustalla oleva teknologia ja tietoaineisto voisivat tukea laajempaa perusmallia ihmisen tilan älykkyydelle, ja miksi HarmonEyes oli oikea väline tälle visiolle?

With more than a decade of experience developing eye tracking products for a variety of fields, there were three changes that prompted our vision for HarmonEyes to bring human state intelligence to billions of devices: Yli vuosikymmenen kokemuksella silmänseurantatuotteiden kehittämisestä eri aloilla, kolme muutosta sai aikaan visiomme HarmonEyesistä tuoda ihmisen tilan älykkyys miljardeille laitteille:

1. Viimeisen vuosikymmenen aikana olemme hankkineet suurimman validoidun ja merkittyyn silmänseurantatietokannan, joka sisältää yli 130 tietoaineistoa kattamaan demografiset tiedot (esim. ikä, sukupuoli), suorituskyky, tarkkaavaisuus, tunteet, näkö- ja terveystilat ym.
2. Tekoälyn yleistymisen myötä reaaliaikaisten mallien koulutustekniikat tulivat äkillisesti saataville, ja meillä oli dataa niiden kouluttamiseen.
3. Silmänseurantasignaalit tallennetaan kameroilla. Äskettäin, ja ensimmäistä kertaa koskaan, kuluttajatasoiset kamerat ovat parantuneet, nopeutuneet, halventuneet ja riittävän tehokkaita näiden signaalien purkamiseen. Tiimimme innovaatioiden avulla voimme nyt ottaa käyttöön silmänseurantamalleja millä tahansa kamerapohjaisella laitteella, kuten kannettavilla tietokoneilla, puhelimilla, tableteilla, autoilla ym.

Ofcom on erottanut käyttäytymiseen perustuvan ikäarvion, joka vaatii tarkkailla, miten joku käyttää alustaa, ikätarkistuksista, jotka voivat toimia ennen pääsyn myöntämistä. Miten ikäarvio silmänliikkeiden perusteella eroaa teknisesti ja eettisesti selaushistorian, sisällön mieltymysten, kielen tai muiden käyttäytymismerkkien analysoinnista?

Teknologiamme tarvitsee vain pienen otoksen silmänliikkeistä kohteelta asettaakseen henkilön ikäalueelle tai vahvistaakseen, että joku on nuorempi/vanhempi kuin tietty ikä. Voimme kerätä silmänliikedataa passiivisesti, jatkuvasti ja ei-invasiivisesti tallentamatta tai keräämättä mitään henkilökohtaisesti tunnistettavaa tietoa. Lisäksi kaikki silmänseurantadata tuhotaan, kun tulokset on toimitettu. Meillä on myös kyky suorittaa elävyyden tunnistus ja väärentämisen suoja, mikä varmistaa, että käyttäjät eivät voi manipuloida järjestelmää.

Eettisesti tämä tarkoittaa, ettemme profiloidu henkilön käyttäytymistä, tapoja, päätöksiä tai mieltymyksiä – toisin kuin käyttäytymiseen perustuva arvostelu, joka määritelmänsä mukaan rakentaa kuvan henkilöstä hänen toiminnastaan ajan myötä. Tarjoamme ikävahvistuksen keräämättä tai säilyttämättä tällaisia henkilökohtaisia tietoja, joten käyttäjät ja vanhemmat voivat olla varmoja, että heitä suojellaan sen sijaan, että heitä seurattaisiin tai profiloitaisiin.

HarmonEyesin julkaisema tutkimus analysoi 45 696 henkilön silmänliikkeitä ja raportoi 94,67 % luokittelutarkkuuden 12 ikäryhmässä. Mitä tarkalleen ottaen tämä tarkkuusluku mittaa, ja kuinka paljon lisävahvistusta tarvitaan, ennen kuin malli voi luotettavasti määrittää, onko joku yli vai alle tietyn rajan, kuten 16‑vuoden ikärajan?

Tarkkuus mittaa, että kun minkä tahansa henkilön data lisätään aineistoon, 94,67 %:ssa tapauksista henkilön silmänliikkeet luokitellaan oikein hänen ikäryhmäänsä (12 ryhmän joukosta). Kyky määrittää, onko ikä yli tai alle 16 vuotta, on vähemmän vaativaa kuin tietyn ikäalueen tunnistaminen. Kuitenkin tutkimuksessa käytetty data sulki pois henkilöt, joilla on näköhäiriöitä tai neurologisia tiloja, joten lisävahvistuksen on sisällettävä myös ihmiset, joilla on tietyt toimimattomat silmänliikkeet.

Voisitko käydä läpi, mitä teknisesti tapahtuu, kun kehittäjä kutsuu Theian ikäarviointitoimintoa, silmänliikkeiden tallentamisesta tavallisella kameralla ikäalueen tulokseksi, ja selittää, mitkä vaiheet tapahtuvat kokonaan käyttäjän laitteella?

Kamera laskee ensin katsevektorit, jotka auttavat määrittämään, mihin käyttäjä katsoo. Nämä katsevektorit käsitellään sitten SDK:ssamme, jossa ne muunnetaan silmänseurantaan liittyviksi ominaisuuksiksi, kuten nopeudeksi (kuinka nopeasti silmät liikkuvat) ja kiinnittymisiksi (mihin silmät keskittävät huomionsa).

Kun nämä ominaisuudet on luotu, ne syötetään koneoppimis- ja tekoälyalgoritmeihimme käyttäjän ikäalueen määrittämiseksi.

Koko tämä prosessointi tapahtuu reunalaitteessa, ja se voidaan suorittaa suoraan käyttäjän laitteella tai, riippuen käyttöönotto‑strategiasta, pilvessä. Raakaa silmänseurantadataa ei säilytetä; se poistetaan välittömästi jokaisen tuloksen luomisen jälkeen.

Ikäarviomallit voivat toimia eri tavalla valaistuksen, kameran laadun, silmälasien, piilolinssien, silmäsairauksien, vammaisuuden, etnisyyden ja käyttäjän etäisyyden laitteen suhteen. Miten testaatte Theiaa näiden muuttujien osalta, ja millaista näyttöä kehittäjät saavat tarkkuudesta eri väestöryhmissä ja ympäristöissä?

It is true that age estimation accuracy varies depending on conditions .  To deliver age assurance models to the general population, HarmonEyes tests, validates, and reports results transparently so that Theia is used responsibly. This includes expanding and generalizing our models using larger and more diverse datasets. On totta, että ikäarvion tarkkuus vaihtelee olosuhteiden mukaan. Jotta voimme tarjota ikävahvistusmalleja yleisölle, HarmonEyes testaa, validoi ja raportoi tulokset läpinäkyvästi, jotta Theiaa käytetään vastuullisesti. Tämä sisältää malliemme laajentamisen ja yleistämisen suuremmilla ja monipuolisemmilla tietoaineistoilla.

• Tarjoamme ohjeistusta tarkkuusasteista ja siitä, vaikuttavatko esimerkiksi alhaiset näytteenottotaajuudet ikävahvistuksen vasteaikaan.
• Huomioimme ja seuraamme reaaliaikaisesti monia datan laadun osa-alueita.

Miten Theia puolustautuu kiertämisyrityksiä vastaan, kuten ennakkoon tallennettu video, valokuvat, synteettiset kasvot, vanhempi sisarus tarkistuksen suorittajana tai käyttäjän tahallinen katseen muokkaus, ja sisältyykö elävyyden tunnistus suoraan ohjelmistokehityspakettiin (SDK)?

Kaikki HarmonEyesin ikävahvistusmallit sisältävät elävyyden tunnistuksen ja väärentämisen tarkistukset. Silmänliikkeet ovat yksilöllisiä, ja HarmonEyes pystyy määrittämään, vastaako tilin silmänliike tilin perustajaa vai onko kyseessä eri henkilö, esimerkiksi vanhempi sisarus.

Yksikään ikäarviomalli ei ole täydellisen tarkka, erityisesti käyttäjille, jotka ovat lähellä oikeudellista rajaa. Miten kehittäjien tulisi käsitellä epävarmoja tuloksia, ja näettekö Theian ensisijaisena tarkistuksena, riskisignaalina vai osana kerroksellista prosessia, jossa tietyt käyttäjät ohjataan toiseen vahvistusmenetelmään?

Yksikään ikäarviomalli ei ole täydellinen. Tarjoamme jokaiselle tulokselle luottamustason. Tämä tarkkuus- ja luottamustaso voi riittää ikävahvistuksen vahvistamiseen. Jos esimerkiksi tietyn mittauksen luottamustaso on alle tietyn rajan, sitä voidaan käyttää toissijaisen tarkistuksen käynnistämiseen. Ikävahvistusmalliamme voidaan käyttää yhtenä useista menetelmistä yksilön iän vahvistamiseen, jolloin useiden menetelmien on täytettävä vaatimukset. Lopuksi riskinsietokyky ja se, vaatiiko käyttötapaus tietyn iän, ikäalueen vai ikärajan (esim. 16 tai nuorempi), määrittää, onko ratkaisu ensisijainen tarkistus vai kerroksellinen prosessi.

HarmonEyes väittää, että Theia käsittelee tietoa reunalaitteessa ja poistaa silmänseurantadatan, kun tulos on toimitettu. Miten kehittäjät, tarkastajat tai sääntelijät voivat itsenäisesti varmistaa tämän arkkitehtuurin, ja miten yritys parantaa mallejaan keräämättä raakaa silmänseurantadataa käyttöön otetuista sovelluksista?

Mallin kehitysprosessi ja myöhempi mallien parantaminen toteutetaan omassa silmänseurantaräätälöidyssä putkistossamme. Emme hyödynnä asiakastietoja tähän – käytämme olemassa olevaa (ja kasvavaa) validoitua dataa.

Tämä mahdollistaa ratkaisujemme toimittamisen reunalaitteessa (ei pilveä) halutessa. Näissä reunalaitteisiin perustuvissa ympäristöissä laskenta- ja tallennuskapasiteetti on yleensä rajoitettu, eikä laitteessa ole mahdollisuutta tallentaa dataa. Toimitamme ikävahvistustulokset sekunnin välein – ja politiikkamme on tuhota silmänseurantadata jokaisen sekunnin jälkeen (jokaisen tuloksen toimituksen jälkeen).

Tunnistamme, että arkkitehtuuriväitteet ovat yhtä uskottavia kuin niiden ulkoinen vahvistusmahdollisuus. Pyrimme kolmannen osapuolen sertifikaatteihin ja todistuksiin, joiden avulla kehittäjät, tarkastajat ja sääntelijät voivat varmistaa, että silmänseurantadataa ei kerätä tai säilytetä käyttöön otetuissa sovelluksissa.

Iso-Britannia kehittää kriteerejä erittäin tehokkaille tarkistuksille, kun taas Euroopan unioni korostaa anonyymeja ikätodistuksia, jotka paljastavat mahdollisimman vähän henkilökohtaisia tietoja. Miten HarmonEyes osoittaa, että fysiologinen ikäarviointi täyttää nämä nousevat vaatimukset sen sijaan, että se vain esittelisi toisenlaista biometristä valvontaa?

Jokaisen toimittamamme mallin mukana tulee valkoinen kirja, jossa dokumentoidaan kehitysmenetelmät, mallin tarkkuus ja tunnetut rajoitukset, ja tarjoamme Theian käytettäväksi live‑etätestaukseen, jotta sääntelijät tai tarkastajat voivat arvioida todellisen maailman suorituskykyä suoraan.

Kun ikävahvistus siirtyy yksittäisiltä sosiaalialustoilta käyttöjärjestelmiin, sovelluskauppoihin ja laite‑tason infrastruktuuriin, missä näet Theian sijoittuvan tähän teknologiapinokkaan, ja miltä vastuullinen käyttöönotto näyttäisi kuluttajasovelluksissa, peleissä, sosiaalisessa mediassa ja muissa ikärajoitettuissa palveluissa?

Etsimme monenlaisia integraatioita ikävahvistuskyvykkyydellemme. Kuvittelemme Theian toimivan yrityksen yksityisessä teknologiapinossa, kuten sosiaalisen median alustassa; laite‑infrastruktuurissa, kuten käyttöjärjestelmässä; kaupallisessa infrastruktuurissa, kuten maksuväylässä; tai suoraan sovellus‑tasolla.

Meille vastuullinen käyttöönotto tarkoittaa tarkkaa ikävahvistuskykyä, jossa validointiprosessit ovat läpinäkyviä, mallin datan monimuotoisuus on varmistettu, ja toteutus on yksityinen sekä kustannustehokas.

Kiitos loistavasta haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa käydä osoitteessa HarmonEyes.