Adam Gross, współzałożyciel i dyrektor generalny HarmonEyes – seria wywiadów

Adam Gross, współzałożyciel i dyrektor generalny HarmonEyes, jest seryjnym przedsiębiorcą z prawie trzema dekadami doświadczenia w budowaniu i skalowaniu firm opartych na technologiach w sektorach opieki zdrowotnej, usług finansowych i analityki danych. W 2013 roku współzałożył RightEye, opracowując platformę technologii śledzenia ruchu oka wykorzystywaną w opiece zdrowotnej, profesjonalnym sporcie i zastosowaniach wojskowych, a następnie w 2024 roku współzałożył HarmonEyes razem z dr Melissa Hunfalvay, aby rozszerzyć tę ekspertyzę o inteligencję stanu człowieka napędzaną AI. Na początku kariery Gross współzałożył firmę ograniczającą koszty opieki zdrowotnej KeyClaims, którą w 2012 roku przejęło Stratose/Zelis Healthcare, oraz platformę analityki finansowej Trending123.com, przejętą przez InvestorPlace Media w 2007 roku. Założył także firmę fintech KeepMore oraz współzałożył Eastern ATM, która prowadziła prywatną sieć bankomatów na wschodnim wybrzeżu USA przed przejęciem w 1998 roku.

HarmonEyes opracowuje Theia, model podstawowy AI zaprojektowany do wywnioskowania aspektów poznawczego, emocjonalnego i fizycznego stanu osoby na podstawie ruchów oczu w czasie rzeczywistym. Technologia może mierzyć sygnały takie jak obciążenie poznawcze, uwaga, gotowość mentalna, zmęczenie, stres, rozproszenie, choroba lokomocyjna oraz uwierzytelnianie użytkownika, a jej potencjalne zastosowania obejmują asystentów AI, systemy samochodowe, rozszerzoną rzeczywistość, obronę, opiekę zdrowotną, edukację, bezpieczeństwo przemysłowe, gry oraz badania rynkowe. Theia jest zaprojektowana do działania na krawędzi (edge) na zwykłych urządzeniach wyposażonych w kamerę, bez konieczności użycia specjalistycznego sprzętu do śledzenia oczu; HarmonEyes podkreśla, że wideo i dane osobowe nie są przechowywane. Firma wywodzi swoją technologię z RightEye i twierdzi, że jej modele opierają się na ponad 585 miliardach punktów danych ruchu oczu pochodzących z 16,3 miliona rekordów, co zapewnia duży, własny zestaw danych do szkolenia i udoskonalania technologii inteligencji stanu człowieka.

Współzałożyłeś RightEye w 2013 roku i spędziłeś ponad dekadę, rozwijając technologię śledzenia oczu dla opieki zdrowotnej, sportu i zastosowań wojskowych, zanim w 2024 roku uruchomiłeś HarmonEyes. Co przekonało Cię, że ta podstawowa technologia i zestaw danych mogą wesprzeć szerszy model podstawowy dla inteligencji stanu człowieka i dlaczego HarmonEyes był odpowiednim nośnikiem tej wizji?

With more than a decade of experience in developing eye tracking products for a variety of fields, there were three changes that prompted our vision for HarmonEyes to bring human state intelligence to billions of devices:

1. W ciągu ostatniej dekady nabyliśmy największą zweryfikowaną i oznakowaną bazę danych śledzenia oczu, obejmującą ponad 130 zestawów danych obejmujących demografię (np. wiek, płeć), wydajność, uwagę, emocje, wzrok oraz schorzenia zdrowotne i podobne.
2. Wraz z rozprzestrzenianiem się AI techniki trenowania modeli w czasie rzeczywistym stały się nagle dostępne dla nas – i mieliśmy dane, aby je trenować.
3. Sygnały śledzenia oczu są rejestrowane przez kamery. Ostatnio, po raz pierwszy, kamery konsumenckiej klasy stały się lepsze, szybsze, tańsze i wystarczająco potężne, aby wyodrębniać te sygnały. Dzięki innowacjom naszego zespołu możemy teraz wdrażać modele śledzenia oczu na dowolnym urządzeniu z kamerą, w tym laptopach, telefonach, tabletach, samochodach itp.

Ofcom rozróżnił wnioskowanie wieku na podstawie zachowań, które wymaga obserwacji, jak ktoś korzysta z platformy, od kontroli wieku, które mogą działać przed przyznaniem dostępu. Jak technicznie i etycznie różni się szacowanie wieku na podstawie ruchu oczu od analizy historii przeglądania, preferencji treści, języka lub innych sygnałów behawioralnych?

Nasza technologia wymaga jedynie niewielkiej próbki ruchów oczu od badanego, aby przypisać osobę do przedziału wiekowego lub potwierdzić, że ktoś jest młodszy/starsi od określonego wieku. Potrafimy zbierać dane o ruchu oczu pasywnie, ciągle i nieinwazyjnie, nie przechowując ani nie gromadząc żadnych danych osobowych umożliwiających identyfikację. Co więcej, wszystkie dane śledzenia oczu są niszczone po dostarczeniu wyników. Dysponujemy także możliwością wykrywania żywotności (liveness) i ochrony przed podróbkami, co zapewnia, że użytkownicy nie mogą oszukać systemu.

Etetycznie oznacza to, że nie profilujemy zachowań, nawyków, decyzji ani preferencji osoby — w przeciwieństwie do wnioskowania behawioralnego, które z definicji tworzy obraz kogoś na podstawie jego działań w czasie. Dostarczamy potwierdzenie wieku bez zbierania lub przechowywania tego rodzaju informacji osobistych, dzięki czemu użytkownicy i rodzice mogą mieć pewność, że są chronieni, a nie śledzeni lub profilowani.

Opublikowane badania HarmonEyes przeanalizowały ruchy oczu 45 696 osób i odnotowały 94,67 % dokładności klasyfikacji wśród 12 grup wiekowych. Co dokładnie mierzy ta wartość dokładności i jak dużo dodatkowej walidacji jest potrzebne, zanim model będzie wiarygodnie określał, czy dana osoba znajduje się powyżej lub poniżej określonego progu, takiego jak wiek 16 lat?

Dokładność mierzy, że po dodaniu danych dowolnej osoby do zestawu danych, w 94,67 % przypadków jej ruchy oczu poprawnie zaklasyfikują ją do odpowiedniej grupy wiekowej (spośród 12 grup). Określenie, czy wiek jest powyżej lub poniżej 16 lat, jest mniej wymagające niż identyfikacja konkretnego przedziału wiekowego. Jednak dane użyte w badaniu wykluczały osoby z zaburzeniami wzroku lub schorzeniami neurologicznymi, więc dodatkowa walidacja musi obejmować osoby z pewnymi nieprawidłowymi ruchami oczu.

Czy możesz przejść krok po kroku, co technicznie dzieje się, gdy deweloper wywołuje funkcję szacowania wieku w Theia, od przechwycenia ruchu oczu zwykłą kamerą po zwrócenie wyniku w postaci przedziału wiekowego, i wyjaśnić, które etapy odbywają się w pełni na urządzeniu użytkownika?

Kamera najpierw oblicza wektory spojrzenia, które pomagają określić, na co patrzy użytkownik. Te wektory spojrzenia są następnie przetwarzane w naszym SDK, gdzie są konwertowane na cechy śledzenia oczu, takie jak prędkość (jak szybko poruszają się oczy) oraz fiksacje (gdzie oczy się skupiają).

Po wygenerowaniu tych cech są one przekazywane do naszych algorytmów ML i AI w celu określenia przedziału wiekowego użytkownika.

Całe to przetwarzanie odbywa się na krawędzi (edge) i może być wykonywane bezpośrednio na urządzeniu użytkownika lub, w zależności od strategii wdrożenia, w chmurze. Żadne surowe dane śledzenia oczu nie są przechowywane; są one usuwane natychmiast po wygenerowaniu każdego wyniku.

Systemy szacowania wieku mogą działać różnie w zależności od oświetlenia, jakości kamery, okularów, soczewek kontaktowych, schorzeń oczu, niepełnosprawności, pochodzenia etnicznego oraz odległości użytkownika od urządzenia. Jak testujecie Theia pod kątem tych zmiennych i jakie dowody otrzymają deweloperzy dotyczące dokładności dla różnych populacji i środowisk?

To prawda, że dokładność szacowania wieku różni się w zależności od warunków. Aby dostarczyć modele zapewniające weryfikację wieku dla ogółu populacji, HarmonEyes testuje, waliduje i transparentnie raportuje wyniki, aby Theia była używana odpowiedzialnie. Obejmuje to rozszerzanie i uogólnianie naszych modeli przy użyciu większych i bardziej zróżnicowanych zestawów danych.

• Udostępniamy wytyczne dotyczące wskaźników dokładności oraz, na przykład, wpływu niskich częstotliwości próbkowania danych na opóźnienie wyników weryfikacji wieku.
• Rozważanie i monitorowanie w czasie rzeczywistym wielu aspektów jakości danych.

Jak Theia będzie bronić się przed próbami obejścia, takimi jak nagrane wcześniej wideo, zdjęcia, syntetyczne twarze, starszy brat wykonujący kontrolę lub użytkownik celowo zmieniający swój wzrok, i czy wykrywanie żywotności (liveness) zostanie wbudowane bezpośrednio w zestaw SDK?

Wszystkie modele zapewniające weryfikację wieku HarmonEyes będą zawierały wykrywanie żywotności i kontrole przed podróbkami. Ruchy oczu są unikalne dla każdej osoby i HarmonEyes jest w stanie określić, czy ruch oczu powiązany z kontem odpowiada osobie, która założyła konto, czy jest to inna osoba, na przykład starszy brat.

Żaden model szacowania wieku nie będzie idealnie dokładny, szczególnie dla użytkowników bliskich prawnego progu. Jak deweloperzy powinni radzić sobie z niepewnymi wynikami i czy przewidujesz, że Theia będzie używana jako główna kontrola, sygnał ryzyka lub część warstwowego procesu, który skieruje niektórych użytkowników do innej metody weryfikacji?

Żaden model szacowania wieku nie jest doskonały. Dostarczamy poziom pewności wraz z każdym wynikiem. Ten poziom dokładności i pewności może być wystarczający do potwierdzenia weryfikacji wieku. Jednak jeśli, na przykład, poziom pewności dla konkretnego pomiaru jest poniżej określonego progu, może to służyć jako wyzwalacz do drugiej weryfikacji. Nasz model weryfikacji wieku może być używany jako jedna z wielu metod potwierdzania wieku danej osoby, przy czym konieczne jest spełnienie kilku metod. Ostatecznie tolerancja ryzyka oraz wymóg konkretnego wieku w danym przypadku użycia, w przeciwieństwie do przedziału wiekowego czy nawet progu (np. 16 lat lub mniej), zdecydują, czy rozwiązanie będzie główną kontrolą czy warstwowym procesem.

HarmonEyes twierdzi, że Theia przetwarza informacje na krawędzi i usuwa dane śledzenia oczu po dostarczeniu wyniku. Jak deweloperzy, audytorzy lub regulatorzy mogą niezależnie zweryfikować tę architekturę i w jaki sposób firma będzie udoskonalać swoje modele bez zbierania surowych danych śledzenia oczu z wdrożonych aplikacji?

Proces rozwoju naszego modelu oraz późniejsze jego udoskonalanie odbywają się w ramach naszego własnego potoku śledzenia oczu. Nie wykorzystujemy do tego danych klientów – korzystamy z istniejących (i rosnących) zweryfikowanych danych.

Umożliwia nam to dostarczanie rozwiązań na krawędzi (bez chmury), jeśli jest to pożądane. W takich środowiskach opartych na edge zazwyczaj moc obliczeniowa i pamięć są ograniczone i nie ma możliwości przechowywania danych na urządzeniu. Dostarczamy nasze wyniki weryfikacji wieku co sekundę – a naszą polityką jest niszczenie danych śledzenia oczu co sekundę (po każdym dostarczeniu wyniku).

Rozumiemy, że twierdzenia dotyczące architektury są wiarygodne jedynie w miarę możliwości ich zewnętrznego potwierdzenia. Dążymy do uzyskania certyfikatów i atestacji od stron trzecich, które umożliwią deweloperom, audytorom i regulatorom zweryfikowanie, że dane śledzenia oczu nie są zbierane ani przechowywane w wdrożonych aplikacjach.

Wielka Brytania opracowuje kryteria dla wysoce skutecznych kontroli, podczas gdy Unia Europejska podkreśla anonimowe systemy potwierdzania wieku, ujawniające jak najmniej danych osobowych. Jak HarmonEyes pokaże, że fizjologiczne szacowanie wieku spełnia te nowe wymagania, a nie wprowadza po prostu innej formy biometrycznego nadzoru?

Każdy model, który udostępniamy, jest dostarczany z białą księgą opisującą metodologię rozwoju, dokładność modelu i znane ograniczenia, a także udostępniamy Theia do testów na żywo i zdalnych, aby regulatorzy lub audytorzy mogli bezpośrednio ocenić jej rzeczywistą wydajność.

W miarę jak weryfikacja wieku przenosi się z indywidualnych platform społecznościowych na systemy operacyjne, sklepy z aplikacjami i infrastrukturę na poziomie urządzenia, gdzie Twoim zdaniem Theia powinna znajdować się w tym stosie technologicznym i jak wyglądałoby odpowiedzialne przyjęcie w aplikacjach konsumenckich, grach, mediach społecznościowych i innych usługach z ograniczeniami wiekowymi?

Poszukujemy wielu rodzajów integracji naszej funkcji weryfikacji wieku. Wyobrażamy sobie, że Theia będzie działać w prywatnym stosie technologicznym firmy, takim jak platforma mediów społecznościowych; w infrastrukturze urządzenia, np. w systemie operacyjnym; w infrastrukturze handlowej, np. w sieci płatności; lub bezpośrednio na poziomie aplikacji.

Dla nas odpowiedzialne przyjęcie oznacza dostarczanie dokładnej funkcji weryfikacji wieku z przejrzystością procesów walidacji, różnorodnością danych w modelu oraz realizację w sposób prywatny i kosztowo efektywny.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić HarmonEyes.