Adam Gross, spoluzakladatel a generální ředitel HarmonEyes – série rozhovorů

Adam Gross, spoluzakladatel a generální ředitel HarmonEyes, je sériový podnikatel s téměř třemi desetiletími zkušeností se zakládáním a rozšiřováním technologicky orientovaných firem ve zdravotnictví, finančních službách a datové analytice. V roce 2013 spoluzaložil RightEye, vyvíjející platformu pro sledování očí, která se používá ve zdravotnictví, profesionálním sportu i vojenských aplikacích, a v roce 2024 spolu se Dr. Melissa Hunfalvay založil HarmonEyes, aby tuto odbornost rozšířil do AI‑poháněné inteligence lidského stavu. Dříve ve své kariéře Gross spoluzaložil společnost KeyClaims zaměřenou na snižování nákladů ve zdravotnictví, kterou v roce 2012 odkoupila Stratose/Zelis Healthcare, a platformu finanční analytiky Trending123.com, kterou v roce 2007 získala InvestorPlace Media. Také založil fintech společnost KeepMore a spoluzaložil Eastern ATM, která provozovala soukromou síť bankomatů podél východního pobřeží USA, než byla v roce 1998 odkoupena.

HarmonEyes vyvíjí Theia, AI základní model určený k odvození aspektů kognitivního, emočního a fyzického stavu člověka z pohybů očí v reálném čase. Technologie dokáže měřit signály jako kognitivní zátěž, pozornost, mentální připravenost, únavu, stres, rozptýlení, kinetózu a autentizaci uživatele, s potenciálními aplikacemi v AI asistentech, automobilových systémech, rozšířené realitě, obraně, zdravotnictví, vzdělávání, průmyslové bezpečnosti, hrách a výzkumu trhu. Theia je navržena tak, aby fungovala na okraji (edge) na běžných zařízeních vybavených kamerou, aniž by vyžadovala specializovaný hardware pro sledování očí, a HarmonEyes uvádí, že video a osobní data nejsou ukládána. Společnost sleduje svůj vývoj až k RightEye a uvádí, že její modely čerpají z více než 585 miliard datových bodů o pohybech očí z 16,3 milionu záznamů, což poskytuje rozsáhlý proprietární dataset pro trénink a zdokonalování technologie inteligence lidského stavu.

Spoluzaložil jste RightEye v roce 2013 a více než deset let vyvíjel technologii sledování očí pro zdravotnictví, sport a vojenské aplikace, než v roce 2024 spustil HarmonEyes. Co vás přesvědčilo, že tato základní technologie a datová sada mohou podpořit širší základní model pro inteligenci lidského stavu, a proč byl HarmonEyes tím pravým prostředkem pro tuto vizi?

S více než desetiletou zkušeností s vývojem produktů pro sledování očí v různých oblastech nás vedly tři změny k tomu, abychom v HarmonEyes přinesli inteligenci lidského stavu na miliardy zařízení:

1. V posledním desetiletí jsme získali největší ověřenou a označenou databázi pro sledování očí, která obsahuje více než 130 datových sad zahrnujících demografické údaje (např. věk, pohlaví), výkon, pozornost, emoce, zrak a zdravotní podmínky atd.
2. S rozšířením AI se k nám najednou dostaly techniky pro trénink modelů v reálném čase – a my jsme měli data k jejich výcviku.
3. Signály sledování očí zachytávají kamery. Nedávno, poprvé, se spotřebitelské kamery staly lepšími, rychlejšími, levnějšími a dostatečně výkonnými k extrakci těchto signálů. Díky inovacím našeho týmu můžeme nyní nasazovat modely sledování očí na jakémkoli zařízení s kamerou, včetně notebooků, telefonů, tabletů, automobilů atd.

Ofcom rozlišuje behaviorální odhad věku, který vyžaduje sledování, jak uživatel používá platformu, od věkových kontrol, které mohou fungovat před udělením přístupu. Jak se technicky a eticky liší odhad věku z pohybu očí od analýzy historie prohlížení, preferencí obsahu, jazyka nebo jiných behaviorálních signálů?

Naše technologie potřebuje jen malý vzorek pohybů očí od subjektu k zařazení osoby do věkové kategorie nebo k potvrzení, že je mladší/starší než konkrétní věk. Dokážeme sbírat data o pohybech očí pasivně, kontinuálně a neinvazivně, aniž bychom ukládali nebo shromažďovali jakékoli osobně identifikovatelné informace. Navíc jsou všechna data o sledování očí po dodání výstupů zničena. Máme také schopnost provádět detekci živosti a ochranu proti podvržení, čímž zajišťujeme, že systém nelze obelstít.

Eticky to znamená, že neprofilujeme chování, zvyky, rozhodnutí ani preference osoby – na rozdíl od behaviorálního odhadu, který z definice vytváří obraz člověka na základě jeho dlouhodobého chování. Poskytujeme záruku věku bez sběru či uchovávání takových osobních informací, takže uživatelé i rodiče mohou mít jistotu, že jsou chráněni, nikoli sledováni nebo profilováni.

Publikovaný výzkum HarmonEyes analyzoval pohyby očí 45 696 lidí a uvádí 94,67 % přesnost klasifikace napříč 12 věkovými skupinami. Co přesně tato hodnota přesnosti měří a kolik další validace je potřeba, než bude model spolehlivě určovat, zda někdo spadá nad nebo pod konkrétní hranici, například 16 let?

Přesnost měří data jakékoli osoby přidané do datové sady a v 94,67 % případů budou pohyby očí té osoby správně zařazeny do příslušné věkové skupiny (z 12 skupin). Schopnost rozlišit, zda je osoba starší či mladší 16 let, je méně náročná než identifikace konkrétní věkové kategorie. Studie však vyloučila osoby s očními poruchami nebo neurologickými onemocněními, takže další validace musí zahrnovat lidi s určitými nefunkčními pohyby očí.

Můžete nám popsat, co se technicky děje, když vývojář zavolá funkci odhadu věku v Theia, od zachycení pohybu očí běžnou kamerou až po vrácení výsledku věkové kategorie, a vysvětlit, které fáze probíhají zcela na zařízení uživatele?

Kamera nejprve vypočítá vektor pohledu, který určuje, kam uživatel hledí. Tyto vektory pohledu jsou následně zpracovány v našem SDK, kde jsou převedeny na funkce sledování očí, jako je rychlost (jak rychle se oči pohybují) a fixace (kde se oči zaměřují).

Jakmile jsou tyto funkce vygenerovány, jsou předány našim algoritmům strojového učení a AI k určení věkové kategorie uživatele.

Veškeré toto zpracování probíhá na okraji (edge) a může být prováděno přímo na zařízení uživatele nebo, v závislosti na strategii nasazení, v cloudu. Žádná surová data o sledování očí nejsou uchovávána; jsou okamžitě po vygenerování každého výstupu zlikvidována.

Systémy odhadu věku mohou fungovat odlišně v závislosti na osvětlení, kvalitě kamery, brýlích, kontaktních čočkách, očních podmínkách, postižení, etnickém původu a vzdálenosti uživatele od zařízení. Jak testujete Theia napříč těmito proměnnými a jaké důkazy získají vývojáři ohledně přesnosti pro různé populace a prostředí?

Je pravda, že přesnost odhadu věku se liší podle podmínek. Aby HarmonEyes poskytl modely záruky věku široké veřejnosti, testuje, validuje a transparentně zveřejňuje výsledky, aby byla Theia používána odpovědně. To zahrnuje rozšiřování a zobecňování našich modelů pomocí větších a rozmanitějších datových sad.

• Poskytujeme pokyny ohledně míry přesnosti a například toho, zda nízké vzorkovací rychlosti ovlivňují latenci výstupu záruky věku.
• Zohledňujeme a v reálném čase monitorujeme mnoho aspektů kvality dat.

Jak se Theia brání pokusům o obcházení, jako jsou předem nahrané video, fotografie, syntetické tváře, starší sourozenec provádějící kontrolu nebo uživatel úmyslně měnící svůj pohled, a bude detekce živosti integrována přímo do softwarového vývojového kitu?

Všechny modely záruky věku HarmonEyes budou obsahovat detekci živosti a kontrolu podvržení. Pohyby očí jsou jedinečné pro každého jedince a HarmonEyes dokáže zjistit, zda pohyb očí u účtu odpovídá osobě, která účet založila, nebo zda jde o jinou osobu, například staršího sourozence.

Žádný model odhadu věku nebude dokonale přesný, zejména pro uživatele blízko právní hranice. Jak by měli vývojáři zacházet s nejistými výsledky a představujete si Theia jako primární kontrolu, signál rizika nebo součást vrstveného procesu, který některé uživatele nasměruje k dalšímu ověření?

Žádný model odhadu věku není dokonalý. K každému výsledku poskytujeme úroveň důvěry. Tato úroveň přesnosti a důvěry může být dostatečná k potvrzení záruky věku. Pokud je však například úroveň důvěry pro konkrétní měření pod určitou hranicí, může sloužit jako spouštěč sekundárního ověření. Náš model záruky věku může být jednou z několika metod pro ověření věku jedince, kde je nutné projít více metodami. Nakonec rozhoduje tolerance rizika a to, zda případ vyžaduje konkrétní věk, věkový rozsah nebo dokonce věkový práh (např. 16 let a méně), což určuje, zda je řešení primární kontrolou nebo vrstveným procesem.

HarmonEyes uvádí, že Theia zpracovává informace na okraji a po dodání výstupu data o sledování očí zničí. Jak mohou vývojáři, auditoři nebo regulátoři nezávisle ověřit tuto architekturu a jak společnost vylepšuje své modely, aniž by sbírala surová data o sledování očí z nasazených aplikací?

Náš proces vývoje modelu a následné jeho vylepšování probíhá v rámci našeho proprietárního pipeline pro sledování očí. Nepoužíváme k tomu zákaznická data – využíváme existující (a rozšiřující se) ověřená data.

To nám umožňuje poskytovat naše řešení na okraji (bez cloudu), pokud je to požadováno. V těchto edge‑prostředích jsou výpočetní výkon a úložiště obvykle omezené a není možné ukládat data na zařízení. Dodáváme výstupy záruky věku každou sekundu – a naše politika je ničit data o sledování očí každou sekundu (po každém dodaném výstupu).

Uvědomujeme si, že architektonické tvrzení je důvěryhodné jen tehdy, pokud jej lze externě ověřit. Usilujeme o certifikace a atestační procesy třetích stran, které umožní vývojářům, auditorům a regulátorům ověřit, že data o sledování očí nejsou v nasazených aplikacích shromažďována ani uchovávána.

Spojené království vyvíjí kritéria pro vysoce efektivní kontroly, zatímco Evropská unie zdůrazňuje anonymní systémy ověření věku, které odhalují co nejméně osobních informací. Jak HarmonEyes prokáže, že fyziologický odhad věku splňuje tyto nově vznikající požadavky, místo aby jen představoval jinou formu biometrického sledování?

Každý model, který dodáváme, je doprovázen white paporem dokumentujícím metodiku vývoje, přesnost modelu a známá omezení, a Theia je k dispozici pro živé, vzdálené testování, aby regulátoři nebo auditoři mohli přímo vyhodnotit výkon v reálném prostředí.

Jak se záruka věku přesouvá z jednotlivých sociálních platforem na operační systémy, obchody s aplikacemi a infrastrukturu na úrovni zařízení, kde by podle vás měla Theia v tomto technologickém stacku umístit a jak by měla vypadat odpovědná adopce v rámci spotřebitelských aplikací, her, sociálních sítí a dalších služeb s věkovým omezením?

Usilujeme o různé typy integrací naší schopnosti záruky věku. Představujeme si, že Theia bude fungovat v soukromém technologickém stacku společnosti, například na sociální platformě; v infrastruktuře zařízení, jako je operační systém; v obchodní infrastruktuře, například v platební síti; nebo přímo na úrovni aplikace.

Pro nás odpovědná adopce znamená poskytovat přesnou schopnost záruky věku s transparentností validačních procesů, rozmanitostí dat v modelu a to způsobem, který je soukromý a nákladově efektivní při nasazení.

Děkujeme za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit HarmonEyes.