Trazendo um Sentido de Olfato para o Desenvolvimento de IA

Um novo conjunto de dados de IA ensina máquinas a cheirar associando dados de cheiro a imagens, permitindo que os modelos combinem odores com objetos, cenas e materiais.

Talvez porque as máquinas de saída de cheiro tenham um histórico tão conturbado, a olfação é um sentido relativamente negligenciado na literatura de pesquisa de IA. A menos que você estivesse planejando produzir outra entrada na longa saga de “smell-o-vision” (mais de um século até agora), os casos de uso sempre pareceram bastante “niche” em comparação com a exploração de conjuntos de dados de imagem, áudio e vídeo, e os modelos de IA treinados a partir deles.

Na verdade, a possibilidade de automatizar, industrializar e popularizar as facilidades de detecção oferecidas por cães-bomba, cães-cadáver, cães-detetores-de-enfermidades e diversos outros tipos de unidades de detecção canina, seria um benefício notável nos serviços municipais e de segurança. Apesar da alta demanda, muito acima da oferta, treinar e manter cães-detetores é um negócio caro que nem sempre oferece um bom valor por dinheiro.

Até o momento, a maioria das pesquisas que se aproximam dessa área de estudo tem sido confinada a um laboratório, com coleções curadas que normalmente consistem em exemplos com recursos feitos à mão – um perfil mais inclinado a soluções de cottage-indústria do que a aplicações industrializadas.

À Frente por um Nariz

Nesse clima um pouco desatualizado, surge uma interessante colaboração acadêmica/industrial dos EUA, na qual uma equipe de pesquisadores passou vários meses catalogando cheiros diversos em ambientes internos e externos na cidade de Nova York – e, pela primeira vez, reunindo imagens associadas aos odores capturados:

Observe o sensor central, o ‘nariz’ do dispositivo olfativo. Treinado apenas no cheiro, o modelo adivinha se está cheirando granito, plástico ou couro – e até identifica o quarto em que está, sem ver um único pixel. Fonte

Essa pesquisa levou os autores do novo trabalho a criar uma variação do popular quadro de pré-treinamento de linguagem-imagem contrastivo (CLIP), que conecta texto e imagens, na forma de Pré-treinamento Olfativo-Imagem Contrastivo (COIP) – que conecta cheiros e imagens.

Topo: dados de vídeo e sensor olfativo sincronizados são capturados em configurações naturais usando uma estrutura de câmera-e-nariz. Fundo esquerdo (b): uma incorporação conjunta é aprendida por meio de auto-supervisão cross-modal. (c): o sistema recupera correspondências visuais com base apenas em uma consulta de cheiro. (d): amostras de cheiro individuais são usadas para classificar categorias de ambiente, objeto e material. (e): odores muito semelhantes, como dois tipos de grama, são distinguidos sem entrada visual. Fonte

O novo conjunto de dados, intitulado Cheiros de Nova York, contém 7.000 pares de cheiro-imagem, com 3.500 objetos diferentes. Quando treinado em testes, os novos dados foram encontrados para superar os recursos feitos à mão populares em um número relativamente pequeno de conjuntos de dados semelhantes.

Os autores esperam que sua primeira saída abra o caminho para trabalhos posteriores e subsequentes em direção a sistemas de detecção olfativa projetados para operar no mundo selvagem, da mesma maneira que os cães-detetores fazem*:

‘Vemos esse conjunto de dados como um passo em direção à percepção olfativa multimodal no mundo selvagem, bem como um passo em direção a ligar a visão ao cheiro. Enquanto a olfação tem sido tradicionalmente abordada em configurações restritas, como garantia de qualidade, há muitas aplicações em configurações naturais.

‘Por exemplo, como seres humanos, constantemente usamos nosso sentido de cheiro para avaliar a qualidade dos alimentos, identificar perigos e detectar objetos invisíveis.

‘Além disso, muitos animais, como cães, ursos e camundongos, mostram capacidades olfativas superiores, sugerindo que a percepção de cheiro humana está longe do limite das capacidades da máquina.’

Embora o novo artigo, intitulado Cheiros de Nova York: um grande conjunto de dados multimodal para olfação, prometa que os dados e o código serão liberados, um arquivo de dados de 27 GB já está disponível por meio do site do projeto. O artigo foi produzido por nove pesquisadores de universidades como Columbia, Cornell e Osmo Labs.

Método

Para coletar material para o novo conjunto, os pesquisadores usaram o Cyranose 320 nariz eletrônico, com um iPhone montado acima da entrada para capturar visualmente o que os cheiros estavam sendo registrados:

Uma estrutura de sensor portátil coleta dados de vídeo e cheiro emparelhados, montando uma câmera iPhone no nariz eletrônico Cyranose 320. O focinho é apontado para objetos enquanto a saída e a entrada de purificação gerenciam o fluxo de ar durante a amostragem. Uma câmera RGB-D captura profundidade, enquanto a concentração de compostos orgânicos voláteis (COV), temperatura e umidade são registrados por meio de sensores integrados, incluindo um módulo PID e uma sonda ambiental.

O dispositivo Cyranose opera a 2 Hz, registrando 32 passos de tempo olfativos. As concentrações de compostos orgânicos voláteis (COV) foram registradas com um sensor MiniPID2 PPM WR.

A unidade portátil funcionou como um sensor ágil, transmitindo dados para uma estação móvel mais capaz de processamento.

Para colocar o cheiro-alvo em contexto, um ‘cheiro de base’ foi registrado, antes de o objeto mais específico ser direcionado com o ‘focinho’ do Cyranose. A amostra ambiente foi então tirada de uma porta lateral na unidade, para garantir que estivesse distante o suficiente da fonte de cheiro principal para não ser contaminada.

Duas amostras foram tiradas da entrada principal do sensor, com cada gravação de dez segundos capturada de uma posição diferente ao redor do objeto, para melhorar a eficiência dos dados. As amostras foram então combinadas com a base de cheiro para formar uma matriz de 28×32, representando a medição olfativa completa:

Este exemplo mostra o sinal e a imagem correspondente para uma flor. O sinal olfativo completo consiste em uma matriz de 28×32, combinando uma base de 14 quadros com duas amostras de 10 segundos tiradas de diferentes ângulos ao redor do objeto-alvo.

Dados e Testes

Modelos de linguagem de visão (VLMs) foram usados para rotular automaticamente objetos e materiais capturados pelo iPhone na estrutura do Cyranose, com GPT-4o utilizado para a tarefa; no entanto, categorias de cenas foram rotuladas manualmente:

Uma pequena amostra de uma ilustração extensa no artigo de origem, detalhando as diversas fontes de cheiro e ambientes capturados no projeto.

O conjunto de dados foi dividido em treinamento e validação divisões, com ambas as amostras de cada objeto atribuídas à mesma divisão para evitar contaminação cruzada. A coleção final compreende 7.000 pares de olfação-visão extraídos de 3.500 objetos não rotulados, juntamente com 70 horas de vídeo e 196.000 passos de tempo de dados brutos de olfação de ambas as fases de base e amostra.

Dados foram coletados em 60 sessões ao longo de um período de dois meses, abrangendo parques, prédios universitários, escritórios, ruas, bibliotecas, apartamentos e salas de jantar, com várias sessões realizadas em cada local. O conjunto de dados resultante contém 41% de ambientes ao ar livre e 59% de ambientes internos.

Para desenvolver representações olfativas de propósito geral, os autores treinaram um modelo contrastivo para associar pares de imagem-cheiro sincronizados do conjunto de dados. Essa abordagem, o mencionado COIP, usa uma função de perda adaptada do CLIP para alinhar as incorporações de sinais visuais e olfativos co-ocorrentes.

O treinamento usou tanto um codificador visual quanto um codificador de cheiro, com o objetivo de ensinar o modelo a trazer cheiros e imagens correspondentes mais próximos no espaço de representação compartilhado. As representações resultantes suportam uma variedade de tarefas downstream, incluindo recuperação de imagem-cheiro, reconhecimento de cena e objeto, classificação de material e discriminação de odor de grãos finos.

O modelo foi treinado usando dois tipos de entradas olfativas: o sinal de sensor bruto e um resumo feito à mão conhecido como impressões de cheiro – recursos amplamente usados na pesquisa de olfação que comprimem a resposta de cada sensor em um único número, comparando a resistência de pico durante a amostragem com a resistência média durante a base de cheiro.

Em contraste, a entrada bruta registrada consiste em uma série temporal de 32 sensores químicos dentro do dispositivo Cyranose, capturando como a resistência elétrica de cada sensor mudou ao longo do tempo enquanto reagia ao cheiro.

Para a curação do conjunto de dados, esse sinal não processado foi alimentado diretamente em uma rede neural, permitindo o aprendizado de ponta a ponta com um convolucional ou transformador-baseado. Modelos foram treinados usando tanto impressões de cheiro quanto a entrada bruta coletada de vários ambientes em Nova York, com ambos os tipos de entrada avaliados usando aprendizado contrastivo.

Recuperação Cross-Modal

A recuperação cross-modal foi avaliada incorporando cada amostra de cheiro e sua imagem emparelhada em um espaço de representação compartilhada e testando se a imagem correta poderia ser recuperada com base apenas na entrada olfativa.

A classificação foi determinada pela proximidade da incorporação da imagem com a consulta de cheiro dentro desse espaço e o desempenho medido usando classificação média, classificação mediana e recuperação em vários limiares:

A precisão da recuperação cross-modal para diferentes codificadores de cheiro, mostrando quão bem cada modelo identifica a imagem correta a partir de uma consulta de cheiro. Os resultados comparam arquiteturas treinadas em sinais olfativos brutos com aquelas que usam impressões de cheiro.

Quanto a esses resultados, os autores afirmam:

‘O pré-treinamento contrastivo usando impressões de cheiro apresenta um desempenho melhor do que o acaso em todas as métricas. No entanto, treinar o codificador olfativo no sinal olfativo bruto leva a uma melhoria significativa em comparação com o codificador de impressões de cheiro, independentemente da arquitetura.

‘Isso mostra a informação mais rica presente nos dados olfativos brutos, desbloqueando associações cross-modais mais fortes entre visão e cheiro.’

Um detalhe da sétima ilustração no artigo de origem, que é muito condensada para ser reproduzida de forma significativa aqui. Aqui, exemplos de recuperação cross-modal mostrando como o modelo liga cheiros a imagens correspondentes. Cada linha começa com uma consulta de cheiro, seguida das previsões de imagem de classificação superior no espaço de incorporação compartilhada. A imagem correta para cada consulta é destacada em verde, ilustrando como odores de livros, plantas, alvenaria e outros materiais puxam o modelo em direção a cenas visual e semanticamente relacionadas.

Os autores também observam que os resultados de recuperação mostram padrões semânticos claros:

‘As recuperações do nosso modelo frequentemente mostram agrupamentos semânticos. O cheiro de um livro recupera imagens de outros livros, o cheiro de folhas recupera imagens de folhagem.

‘Esses resultados sugerem que a representação aprendida captura estrutura cross-modal significativa.’

Reconhecimento de Cena, Objeto e Material

A capacidade do modelo de reconhecer cheiros sem entrada visual foi avaliada treinando-o para identificar cenas, objetos e materiais com base apenas em dados olfativos; para isso, uma sonda linear (um classificador simples treinado em representações congeladas) foi usada para avaliar quanto de informação estava codificada nas incorporações de cheiro aprendidas.

As etiquetas foram derivadas das imagens emparelhadas no conjunto de treinamento usando GPT-4o – mas apenas o sinal olfativo foi usado durante a classificação.

Vários tipos de codificadores foram testados: alguns inicializados aleatoriamente, alguns treinados do zero e outros treinados usando aprendizado contrastivo para alinhar cheiro e visão em um espaço de representação compartilhada, com dados brutos e impressões de cheiro avaliados:

A precisão de classificação para cenas, materiais e objetos foi avaliada usando apenas sinais olfativos. A entrada de sensor bruta superou as impressões de cheiro, com CNNs treinadas do zero produzindo os resultados mais altos, incluindo 99,5% para cenas. O pré-treinamento SSL ajudou em alguns casos, mas foi geralmente superado pelo treinamento supervisionado. As linhas de base de pesos aleatórios indicam que a capacidade do modelo por si só se mostra insuficiente.

Uma precisão significativamente maior foi obtida quando os dados olfativos brutos foram usados, especialmente em modelos treinados com supervisão cross-modal. Os autores comentam**:

‘Modelos treinados em entradas sensoriais brutas também alcançam uma precisão mais alta do que os modelos treinados com recursos de impressões de cheiro feitos à mão. Esses resultados mostram que o aprendizado profundo a partir de sinais olfativos brutos é significativamente melhor do que recursos feitos à mão.’

Discriminação de Grãos Fina

Para avaliar se distinções de cheiro de grãos finos poderiam ser aprendidas, um benchmark foi construído a partir de duas espécies de grama coexistindo no mesmo gramado do campus. Amostras alternadas foram coletadas ao longo de seis sessões de 30 minutos, resultando em 256 exemplos. Um classificador linear foi treinado em recursos do aprendizado contrastivo olfativo-visual e avaliado em um conjunto de 42 amostras mantidas:

A precisão da classificação de espécies de grama a partir do cheiro. Modelos foram avaliados em sua capacidade de distinguir entre dois tipos de grama visualmente semelhantes usando apenas entrada olfativa. O desempenho foi comparado em impressões de cheiro e dados de sensor brutos, com modelos randomicamente inicializados, treinados do zero ou treinados usando aprendizado auto-supervisionado (SSL) seguido de uma sonda linear. A precisão mais alta, 92,9%, foi alcançada usando sinais olfativos brutos com SSL, indicando que diferenças de cheiro de grãos finos são melhor capturadas por meio de entrada bruta e treinamento guiado por visão.

Aqui, os pesquisadores afirmam:

‘Treinar no sinal de sensor olfativo bruto (em vez de recursos feitos à mão) produz a precisão mais alta – excedendo todas as variantes baseadas em impressões de cheiro.

‘Esses resultados sugerem que o aprendizado olfativo-visual preserva mais informação de grãos finos do que o aprendizado com impressões de cheiro, e que a supervisão visual fornece um sinal para explorar essa informação.’

Conclusão

Embora a síntese de odores pareça permanecer um problema não resolvido por algum tempo, um sistema de análise de odores eficaz e acessível no mundo selvagem tem um enorme potencial, não apenas para propósitos policiais, de segurança e médicos, mas também para monitoramento de qualidade de vida e urbano.

No momento atual, o equipamento envolvido é de nicho e geralmente bastante caro; portanto, o progresso real em ‘IA olfativa’ para detecção parece provável que exija um sensor visionário e acessível no espírito do Raspberry PI.

* Minha conversão das citações em linha dos autores para links.

** Observe que ilustrações adicionais (figura 8) estão disponíveis no artigo de origem, mas são melhor visualizadas nesse contexto.

Publicado pela primeira vez na sexta-feira, 28 de novembro de 2025