A Inteligência Artificial Pode Identificar uma Pessoa a Partir de um Único Passo

Uma nova iniciativa de pesquisa produziu um sistema de baixo custo capaz de identificar uma pessoa com base no som de seus passos, a partir de um único passo.

No artigo Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), uma colaboração entre pesquisadores da Universidade Tecnológica de Nanyang e da Universidade de Kentucky, entre outros, as taxas de identificação foram estabelecidas em até 90%, a partir de amostras de áudio extremamente breves.

Cinco perfis de passos distintos capturados no PURE.

A arquitetura do PURE depende de dados de uma matriz de microfones de commodity, com a captura de áudio bruto desdeniado via subtração espectral de fundo spectral subtraction. Onde a relação sinal-ruído é alta, incluindo conversa que ocorre no momento da captura, um algoritmo de separação de fonte é ativado para realizar a extração discreta dos passos.

O áudio dos passos é esclarecido e analisado via domain adversarial adaptation, com a estrutura compreendendo um extrator de recursos, um preditor de identidade e um discriminador de domínio.

Hardware para o PURE

O equipamento utilizado para o PURE é uma matriz de microfones incorporada em uma estrutura personalizada baseada no Raspberry Pi 4.

Os microfones capturam áudio na taxa mais alta disponível para sinais “structure borne” (pés em contato com o solo), pois esses dados são de duração extremamente curta e precisam ser detalhados o máximo possível. No entanto, os passos “air-borne” (o som que os pés fazem no arco em direção ao próximo contato com o solo) são reduzidos para 16kHz para economizar capacidade de processamento local para passos “structure-borne”.

Os pesquisadores sintetizaram um conjunto de dados de treinamento a partir do Footsteps Sound Effects Soundboard, bem como do Footsteps Sound Effects da Epidemic Sound. O componente de áudio de vários Ted Talks foi usado para produzir dados de treinamento para o processo de extração de passos de conversas de fundo.

Prevenindo ‘Replay Attacks’ no Reconhecimento de Passos

Um sistema desse tipo precisa ser resistente a “replay attacks”, onde um mal-intencionado pode gravar um padrão de passo específico e reproduzi-lo na esperança de que o sistema o identifique como um usuário ao vivo.

Para impedir isso, o PURE analisa o Tempo de Chegada (ToA) em passos “contact” e o Ângulo de Chegada (AoA) em passos “air-borne”.

A falta de informações dinâmicas em passos reproduzidos os revela com bastante facilidade, embora seja necessário levar isso em consideração ao processar os dados. Ao observar a irregularidade natural dos passos e também sua velocidade no contexto do ambiente (pois é improvável que alguém corra ou ande devagar, por exemplo, em um ambiente de escritório), é possível garantir que os dados recebidos sejam autênticos.

O projeto utiliza técnicas de beamforming para calcular o ToA, mas a extração do AoA é mais complexa, exigindo uma rede neural R-Net que, novamente, utiliza aprendizado adversarial para calcular a faixa de um passo. Isso é essencialmente o mesmo modelo que a rede neural anterior, exceto que o preditor de identidade é substituído por um estimador de faixa.

Precisão

O PURE foi testado em uma ampla gama de ambientes acústicos e utilizando uma variedade de velocidades de caminhada em uma faixa de distâncias. À medida que o número de pessoas que criam passos aumenta, a precisão diminui naturalmente, assim como quando a velocidade de múltiplas fontes de passos aumenta.

No entanto, dependendo da adaptação de domínio, os resultados de 100 ensaios encontraram que o sistema poderia identificar um usuário a partir de 3-5 passos com uma faixa de precisão de 90,73% a 96,53%; a partir de 2-3 passos com uma faixa de precisão de 88,16% a 95,92%; e a partir de um único passo com uma faixa de precisão de 81,75% a 88,6%.

Os pesquisadores preveem uma ampla aplicabilidade para o PURE, devido ao baixo custo do hardware de commodity envolvido e ao fato de que ele também supera sistemas semelhantes em termos de latência e precisão, enquanto é robusto a interferências ambientais e ataques de reprodução.

O Crescimento da Análise de Passos

Essa esfera específica de pesquisa de aprendizado de máquina se concentrou principalmente na visão computacional nos últimos dez anos e recebeu um impulso cultural quando usado como um dispositivo de trama em Mission Impossible: Rogue Nation (2015).

Até o momento, as tecnologias de reconhecimento de passos foram propostas para uso em cuidados com idosos, reabilitação pós-cirúrgica e, de forma mais controversa, para servir anúncios personalizados em ambientes de varejo, embora um sistema desses tenha usos óbvios para monitoramento de funcionários em ambientes seguros.

Em 2018, foi relatado que as autoridades chinesas usam análise de passos baseada em visão da empresa de desenvolvimento de IA Watrix como um aspecto de seus sistemas de vigilância de circuito fechado.

O reconhecimento de passos também foi implementado por monitoramento da reflexão de sinais Wi-Fi.

No entanto, todas essas abordagens têm limitações inerentes, seja exigindo condições de iluminação que não podem ser garantidas, vistas não obstruídas, equipamentos especializados proibitivamente caros, condições locais excessivamente específicas ou equipamentos vestíveis, entre outros obstáculos.