Adam Gross, Co-Fundador e CEO da HarmonEyes – Série de Entrevistas

Adam Gross, cofundador e CEO da HarmonEyes, é um empreendedor em série com quase três décadas de experiência construindo e escalando negócios impulsionados por tecnologia nos setores de saúde, serviços financeiros e análise de dados. Ele cofundou a RightEye em 2013, desenvolvendo uma plataforma de tecnologia de rastreamento ocular usada em saúde, esportes profissionais e aplicações de desempenho militar, antes de cofundar a HarmonEyes com Dr. Melissa Hunfalvay em 2024 para expandir essa expertise para inteligência de estado humano alimentada por IA. No início de sua carreira, Gross cofundou a empresa de contenção de custos de saúde KeyClaims, que foi adquirida pela Stratose/Zelis Healthcare em 2012, e a plataforma de análise financeira Trending123.com, adquirida pela InvestorPlace Media em 2007. Ele também fundou a empresa de tecnologia financeira KeepMore e cofundou a Eastern ATM, que operava uma rede privada de caixas eletrônicos ao longo da Costa Leste dos EUA antes de ser adquirida em 1998.

HarmonEyes está desenvolvendo a Theia, um modelo de fundação de IA projetado para inferir aspectos do estado cognitivo, emocional e físico de uma pessoa a partir dos movimentos oculares em tempo real. A tecnologia pode medir sinais incluindo carga cognitiva, atenção, prontidão mental, fadiga, estresse, distração, enjoo por movimento e autenticação de usuário, com aplicações potenciais que abrangem assistentes de IA, sistemas automotivos, realidade estendida, defesa, saúde, educação, segurança industrial, jogos e pesquisa de mercado. A Theia foi projetada para operar na borda em dispositivos comuns equipados com câmera, sem necessidade de hardware especializado de rastreamento ocular, e a HarmonEyes afirma que vídeos e dados pessoais não são armazenados. A empresa rastreia sua tecnologia até a RightEye e diz que seus modelos utilizam mais de 585 bilhões de pontos de dados de movimentos oculares em 16,3 milhões de registros, fornecendo um grande conjunto de dados proprietário para treinar e refinar sua tecnologia de inteligência de estado humano.

Você cofundou a RightEye em 2013 e passou mais de uma década desenvolvendo tecnologia de rastreamento ocular para saúde, esportes e aplicações militares antes de lançar a HarmonEyes em 2024. O que o convenceu de que essa tecnologia subjacente e o conjunto de dados poderiam sustentar um modelo de base mais amplo para inteligência de estado humano, e por que a HarmonEyes era o veículo adequado para essa visão?

With more than a decade of experience developing eye tracking products for a variety of fields, there were three changes that prompted our vision for HarmonEyes to bring human state intelligence to billions of devices:

1. Ao longo da última década, adquirimos o maior banco de dados de rastreamento ocular validado e rotulado, que inclui mais de 130 conjuntos de dados abrangendo demografia (por exemplo, idade, sexo), desempenho, atenção, emoção, visão e condições de saúde, etc.
2. Com a proliferação da IA, técnicas para treinar modelos em tempo real tornaram‑se disponíveis de repente para nós – e tínhamos os dados para treiná‑los.
3. Os sinais de rastreamento ocular são capturados por câmeras. Recentemente, e pela primeira vez, câmeras de consumo tornaram‑se melhores, mais rápidas, mais baratas e suficientemente poderosas para extrair esses sinais. Por meio das inovações de nossa equipe, agora podemos implantar modelos de rastreamento ocular em qualquer dispositivo baseado em câmera, incluindo laptops, telefones, tablets, automóveis, etc.

O Ofcom distinguiu a inferência comportamental de idade, que requer observar como alguém usa uma plataforma, dos checagens de idade que podem funcionar antes que o acesso seja concedido. Como a estimativa de idade a partir do movimento ocular difere tecnicamente e eticamente da análise de histórico de navegação, preferências de conteúdo, linguagem ou outros sinais comportamentais?

Nossa tecnologia requer apenas uma pequena amostra de movimentos oculares de um indivíduo para situá‑lo em uma faixa etária ou confirmar que alguém é mais jovem/mais velho que uma idade específica. Podemos coletar os dados de movimento ocular de forma passiva, contínua e não invasiva, sem armazenar ou coletar qualquer informação pessoalmente identificável. Além disso, todos os dados de rastreamento ocular são destruídos assim que os resultados são entregues. Também possuímos a capacidade de realizar detecção de vivacidade e proteção contra falsificação, garantindo que as pessoas não possam burlar o sistema.

Eticamente, isso significa que não estamos perfilando o comportamento, hábitos, decisões ou preferências de uma pessoa — ao contrário da inferência comportamental, que por definição constrói um retrato de alguém a partir de como ela age ao longo do tempo. Oferecemos garantia de idade sem coletar ou reter esse tipo de informação pessoal, de modo que usuários e pais possam confiar que estão sendo protegidos, e não rastreados ou perfilados.

A pesquisa publicada pela HarmonEyes analisou movimentos oculares de 45.696 pessoas e reportou 94,67% de precisão de classificação em 12 grupos etários. O que exatamente esse índice de precisão mede, e quanta validação adicional é necessária antes que o modelo possa determinar de forma confiável se alguém está acima ou abaixo de um limiar específico, como 16 anos?

A precisão mede que, ao acrescentar os dados de qualquer pessoa ao conjunto, 94,67% das vezes os movimentos oculares dessa pessoa categorizarão corretamente o grupo etário ao qual ela pertence (entre 12 grupos). A capacidade de determinar se está acima ou abaixo de 16 anos é menos exigente do que identificar uma faixa etária específica. Contudo, os dados usados no estudo excluíram pessoas com distúrbios de visão ou condições neurológicas, portanto a validação adicional precisa incluir indivíduos com certos movimentos oculares não funcionais.

Você pode nos explicar tecnicamente o que acontece quando um desenvolvedor invoca a capacidade de estimativa de idade da Theia, desde a captura do movimento ocular por uma câmera comum até a devolução de um resultado de faixa etária, e indicar quais etapas ocorrem totalmente no dispositivo do usuário?

A câmera primeiro calcula os vetores de olhar, que ajudam a determinar onde o usuário está olhando. Esses vetores de olhar são então processados por meio do nosso SDK, onde são convertidos em recursos de rastreamento ocular, como velocidade (quão rápido os olhos se movem) e fixações (onde os olhos estão focados).

Uma vez que esses recursos são gerados, eles são alimentados aos nossos algoritmos de ML e IA para determinar a faixa etária do usuário.

Todo esse processamento é baseado na borda e pode ser realizado diretamente no dispositivo do usuário ou, dependendo da estratégia de implantação, na nuvem. Nenhum dado bruto de rastreamento ocular é retido; ele é descartado imediatamente após cada saída ser gerada.

Sistemas de estimativa de idade podem apresentar desempenho diferente dependendo da iluminação, qualidade da câmera, óculos, lentes de contato, condições oculares, deficiência, etnia e da proximidade do usuário ao dispositivo. Como vocês estão testando a Theia nessas variáveis, e que evidências os desenvolvedores receberão sobre a precisão para diferentes populações e ambientes?

É verdade que a precisão da estimativa de idade varia conforme as condições. Para oferecer modelos de garantia de idade à população geral, a HarmonEyes testa, valida e relata os resultados de forma transparente, garantindo que a Theia seja usada de maneira responsável. Isso inclui expandir e generalizar nossos modelos usando conjuntos de dados maiores e mais diversificados.

• Fornecemos orientações sobre as taxas de precisão e, por exemplo, se taxas de amostragem de dados baixas impactam a latência da saída da garantia de idade.
• Consideração e monitoramento em tempo real de diversos aspectos da qualidade dos dados.

Como a Theia se defenderá contra tentativas de contorno, como vídeo pré‑gravado, fotografias, rostos sintéticos, um irmão mais velho realizando a verificação, ou um usuário alterando deliberadamente seu olhar, e a detecção de vivacidade será incorporada diretamente ao kit de desenvolvimento de software?

Todos os modelos de garantia de idade da HarmonEyes incluirão detecção de vivacidade e verificações de falsificação. Os movimentos oculares são únicos para cada indivíduo e a HarmonEyes pode determinar se o movimento ocular de uma conta corresponde à pessoa que criou a conta, ou se é outra pessoa, como um irmão mais velho, por exemplo.

Nenhum modelo de estimativa de idade será perfeitamente preciso, especialmente para usuários próximos a um limite legal. Como os desenvolvedores devem lidar com resultados incertos, e você imagina a Theia sendo usada como verificação principal, como sinal de risco ou como parte de um processo em camadas que encaminha certos usuários para outro método de verificação?

Nenhum modelo de estimativa de idade é perfeito. Fornecemos um nível de confiança com cada resultado. Esse nível de precisão e confiança pode ser suficiente para confirmar a garantia de idade. Contudo, se, por exemplo, o nível de confiança de uma medição específica estiver abaixo de certo patamar, ele pode ser usado como gatilho para uma verificação secundária. Nosso modelo de garantia de idade pode ser usado como um dos vários métodos para validar a idade de um indivíduo, onde múltiplos métodos precisam ser aprovados. Por fim, a tolerância ao risco e se o caso de uso requer uma idade específica, em vez de uma faixa etária, ou ainda um limiar de idade (por exemplo, 16 anos ou menos) determinará se a solução será uma verificação principal ou um processo em camadas.

A HarmonEyes afirma que a Theia processa as informações na borda e descarta os dados de rastreamento ocular assim que um resultado é entregue. Como desenvolvedores, auditores ou reguladores podem verificar independentemente essa arquitetura, e como a empresa aprimorará seus modelos sem coletar dados brutos de rastreamento ocular de aplicações implantadas?

Nosso processo de desenvolvimento de modelo, e a subsequente melhoria do modelo, são realizados dentro de nosso pipeline proprietário de rastreamento ocular. Não utilizamos dados de clientes para isso – usamos dados validados existentes (e em crescimento).

Isso nos permite oferecer nossas soluções na borda (sem nuvem), se desejado. Em ambientes baseados na borda, o processamento e o armazenamento geralmente são limitados e não há possibilidade de armazenar dados no dispositivo. Fornecemos nossas saídas de garantia de idade a cada segundo – e nossa política é destruir os dados de rastreamento ocular a cada segundo (após cada saída ser entregue).

Reconhecemos que as alegações arquiteturais são tão credíveis quanto a capacidade de confirmá‑las externamente. Estamos buscando certificações e atestados de terceiros projetados para permitir que desenvolvedores, auditores e reguladores verifiquem que os dados de rastreamento ocular não são coletados ou retidos em aplicações implantadas.

O Reino Unido está desenvolvendo critérios para verificações altamente eficazes, enquanto a União Europeia está enfatizando sistemas anônimos de comprovação de idade que divulgam o mínimo possível de informações pessoais. Como a HarmonEyes demonstrará que a estimativa fisiológica de idade atende a esses requisitos emergentes, em vez de simplesmente introduzir uma forma diferente de vigilância biométrica?

Cada modelo que entregamos vem acompanhado de um white paper que documenta a metodologia de desenvolvimento, a precisão do modelo e as limitações conhecidas, e disponibilizamos a Theia para testes ao vivo e remotos, permitindo que reguladores ou auditores avaliem diretamente o desempenho em condições reais.

À medida que a garantia de idade se desloca das plataformas sociais individuais para sistemas operacionais, lojas de aplicativos e infraestrutura a nível de dispositivo, onde você acredita que a Theia deveria se posicionar nessa pilha tecnológica, e como seria a adoção responsável em aplicativos de consumo, jogos, redes sociais e outros serviços com restrição de idade?

Estamos buscando diversos tipos de integrações para nossa capacidade de garantia de idade. Visualizamos a Theia operando dentro da pilha tecnológica privada de uma empresa, como uma plataforma de mídia social; dentro da infraestrutura de dispositivos, como um sistema operacional; dentro da infraestrutura de comércio, como uma rede de pagamentos; ou diretamente ao nível do aplicativo.

Para nós, a adoção responsável significa oferecer capacidade de garantia de idade precisa com transparência nos processos de validação, diversidade de dados dentro do modelo, e entregá‑la de forma privada e economicamente viável para implantação.

Obrigado pela ótima entrevista, leitores que desejam saber mais devem visitar HarmonEyes.