Incorporando el sentido del olfato al desarrollo de la inteligencia artificial

Un nuevo conjunto de datos de inteligencia artificial enseña a las máquinas a oler asociando datos de olores con imágenes, lo que permite a los modelos emparejar olores con objetos, escenas y materiales.

Quizás debido a que las máquinas que emiten olores tienen un historial tan controvertido, la olfacción es un sentido bastante descuidado en la literatura de investigación de la inteligencia artificial. A menos que estuviera planeando producir otra entrada en la larga saga de smell-o-vision, que lleva más de un siglo, los casos de uso siempre han parecido bastante “niche” en comparación con la explotación potencial de conjuntos de datos de imágenes, audio y video, y los modelos de inteligencia artificial que se entrenan con ellos.

De hecho, la posibilidad de automatizar, industrializar y popularizar las instalaciones de detección que ofrecen perros bomba, perros cadáver, perros detectores de enfermedades y otros tipos de unidades de detección canina, sería un beneficio notable en los servicios municipales y de seguridad. A pesar de la alta demanda, hay una gran escasez de perros detectores de bombas, y el entrenamiento y mantenimiento de perros detectores es un negocio costoso que no siempre ofrece un buen valor por el dinero.

Hasta la fecha, la mayoría de las investigaciones que se acercan a este área de estudio se han limitado a un laboratorio, con colecciones curadas que generalmente consisten en ejemplos con características hechas a mano – un perfil inclinado más hacia soluciones de tipo artesanal que hacia aplicaciones industrializadas.

Por delante de una nariz

En este clima bastante desactualizado, llega una interesante colaboración académica-industrial de EE. UU., en la que un equipo de investigadores pasó varios meses catalogando olores diversos en entornos interiores y exteriores en la ciudad de Nueva York – y, por primera vez, recopilando imágenes asociadas con los olores capturados:

Nota el sensor central, la ‘nariz’ del dispositivo olfativo. Entrenado solo con olores, el modelo adivina si está oliendo granito, plástico o cuero – e incluso identifica la habitación en la que se encuentra, sin ver un solo píxel. Fuente

Esta investigación ha llevado a los autores del nuevo trabajo a idear una variante del popular marco de Contrastive Language-Image Pretraining (CLIP), que conecta texto e imágenes, en la forma de Contrastive Olfaction-Image Pretraining (COIP) – que conecta olores e imágenes.

Arriba: se capturan datos de video y olfativos sincronizados en entornos naturales utilizando un dispositivo de cámara-nariz. Abajo izquierda (b): se aprende una incrustación conjunta a través de la auto-supervisión cruzada modal. (c): el sistema recupera coincidencias visuales basadas únicamente en una consulta de olor. (d): se utilizan muestras de olor individuales para clasificar categorías de entorno, objeto y material. (e): se distinguen olores muy similares, como dos tipos de hierba, sin entrada visual. Fuente

El nuevo conjunto de datos, titulado Olores de Nueva York, contiene 7.000 pares de olores-imágenes con 3.500 objetos diferentes. Cuando se entrenó en pruebas, los nuevos datos superaron las características hechas a mano en los conjuntos de datos similares anteriores.

Los autores esperan que su salida inicial abra el camino para trabajos posteriores y de seguimiento hacia sistemas de detección olfativa diseñados para operar en la naturaleza, de la misma manera que lo hacen los perros detectores*:

‘Vemos este conjunto de datos como un paso hacia la percepción olfativa multimodal en la naturaleza, así como un paso hacia vincular la vista con el olor. Si bien la olfacción se ha abordado tradicionalmente en entornos restringidos, como la garantía de calidad, hay muchas aplicaciones en entornos naturales.

‘Por ejemplo, como humanos, constantemente usamos nuestro sentido del olor para evaluar la calidad de los alimentos, identificar peligros y detectar objetos no vistos.

‘Además, muchos animales, como perros, osos y ratones, muestran capacidades olfativas superiores, lo que sugiere que la percepción del olor humano está lejos del límite de las capacidades de las máquinas.’

Aunque el nuevo artículo, titulado Olores de Nueva York: un gran conjunto de datos multimodal para la olfacción, promete que los datos y el código se publicarán, un archivo de datos de 27 GB ya está disponible a través del sitio web del proyecto. El artículo fue producido por nueve investigadores de la Universidad de Columbia, la Universidad de Cornell y Osmo Labs.

Método

Para recopilar material para la nueva colección, los investigadores utilizaron la nariz electrónica Cyranose 320, con un iPhone montado sobre la entrada delantera para capturar visualmente qué olores se estaban registrando:

Un dispositivo de sensor portátil recopila datos de video y olfativos emparejados montando una cámara iPhone en una nariz electrónica Cyranose 320. La parte delantera se apunta a los objetos mientras que la salida y la entrada de purga gestionan el flujo de aire durante la muestra. Una cámara RGB-D captura la profundidad, mientras que la concentración de compuestos orgánicos volátiles (COV), la temperatura y la humedad se registran a través de sensores integrados, incluyendo un módulo PID y una sonda ambiental.

El dispositivo Cyranose funciona a 2 Hz, grabando 32 dimensiones de pasos de tiempo olfativos. Las concentraciones de compuestos orgánicos volátiles (COV) se registraron con un sensor MiniPID2 PPM WR.

La unidad portátil funcionó como un sensor ágil, retransmitiendo datos a una estación móvil más capaz para su procesamiento.

Para poner el olor objetivo en contexto, se registró un ‘olor de base’ antes de que el objeto más específico se dirigiera directamente con la ‘parte delantera’ de la Cyranose. La muestra ambiental se tomó entonces de un puerto lateral en la unidad, para asegurarse de que estuviera lo suficientemente lejos de la fuente principal de olor como para no estar contaminada.

Se tomaron dos muestras a través de la entrada principal del sensor, con cada grabación de diez segundos capturada desde una posición diferente alrededor del objeto, para mejorar la eficiencia de los datos. Las muestras se combinaron entonces con la línea de base ambiental para formar una matriz de 28×32, que representaba la medición olfativa completa:

Este ejemplo muestra la señal y la imagen correspondiente para una flor. La señal olfativa completa consiste en una matriz de 28×32, que combina una línea de base ambiental de 14 cuadros con dos muestras de 10 segundos tomadas desde diferentes ángulos alrededor del objeto objetivo.

Datos y pruebas

Se utilizaron modelos de lenguaje de visión (VLM) para etiquetar automáticamente objetos y materiales capturados por el iPhone en el dispositivo Cyranose, con GPT-4o utilizado para la tarea; sin embargo, las categorías de escena se etiquetaron manualmente:

Una pequeña muestra de una ilustración extensa en el artículo de origen que detalla las diversas fuentes de olores y entornos capturados en el proyecto.

El conjunto de datos se dividió en particiones de entrenamiento y validación de datos, con ambas muestras de cada objeto asignadas a la misma partición para evitar la contaminación cruzada. La colección final consta de 7.000 pares de visión-olfativos extraídos de 3.500 objetos no etiquetados, junto con 70 horas de video y 196.000 pasos de tiempo de datos olfativos brutos de ambas fases de base y muestra.

Los datos se recopilaron a lo largo de 60 sesiones durante un período de dos meses, abarcando parques, edificios universitarios, oficinas, calles, bibliotecas, apartamentos y comedores, con múltiples sesiones realizadas en cada ubicación. El conjunto de datos resultante contiene un 41% de entornos al aire libre y un 59% de entornos interiores.

Para desarrollar representaciones olfativas de propósito general, los autores entrenaron un modelo de contraste para asociar pares de imágenes y olores sincronizados del conjunto de datos. Este enfoque, el mencionado COIP, utiliza una función de pérdida adaptada de CLIP para alinear las incrustaciones de señales visuales y olfativas co-ocurrentes.

El entrenamiento utilizó tanto un codificador visual como un codificador de olores, con el objetivo de enseñar al modelo a acercar olores y imágenes coincidentes en un espacio de representación compartido. Las representaciones resultantes admiten una serie de tareas posteriores, incluida la recuperación de imágenes a partir de olores, el reconocimiento de escenas y objetos, la clasificación de materiales y la discriminación fina de olores.

El modelo se entrenó utilizando dos tipos de entradas olfativas: la señal de sensor cruda y un resumen resumido hecho a mano conocido como huellas de olor – características ampliamente utilizadas en la investigación de la olfacción que comprimen la respuesta de cada sensor en un solo número comparando la resistencia pico durante la muestra con la resistencia promedio durante la línea de base ambiental.

Por el contrario, la entrada cruda registrada consiste en una serie de tiempo de 32 sensores químicos dentro del dispositivo Cyranose, capturando cómo cambia la resistencia eléctrica de cada sensor con el tiempo a medida que reacciona al olor.

Para la curación del conjunto de datos, esta señal no procesada se alimentó directamente a una red neuronal, permitiendo el aprendizaje de extremo a extremo con un codificador convolucional o basado en transformador. Los modelos se entrenaron utilizando tanto huellas de olor como la entrada cruda recopilada de varios entornos en la ciudad de Nueva York, con ambos tipos de entrada evaluados mediante aprendizaje de contraste.

Recuperación cruzada modal

La recuperación cruzada modal se evaluó incrustando cada muestra de olor y su imagen emparejada en un espacio de representación compartido, y probando si se podía recuperar la imagen correcta únicamente en función de la entrada olfativa.

El rango se determinó por la proximidad de cada incrustación de imagen a la consulta de olor dentro de este espacio, y el rendimiento se midió utilizando rango medio, rango mediano y recuerdo en varios umbrales:

Precisión de recuperación cruzada modal para diferentes codificadores de olores, que muestra qué tan bien cada modelo identifica la imagen correcta a partir de una consulta de olor. Los resultados comparan arquitecturas entrenadas en señales olfativas crudas con aquellas que utilizan huellas de olor.

En cuanto a estos resultados, los autores declaran:

‘El preentrenamiento de contraste utilizando huellas de olor funciona mejor que la casualidad en todas las métricas. Sin embargo, entrenar el codificador de olores en la señal de olor cruda conduce a una mejora significativa en comparación con el codificador de huellas de olor, independientemente de la arquitectura.

‘Esto muestra la información más rica presente en los datos olfativos crudos, que desbloquea asociaciones cruzadas modales más fuertes entre la vista y el olor.’

Un detalle de la séptima ilustración en el artículo de origen, que es demasiado condensada para reproducirla de manera significativa aquí. Aquí, ejemplos de recuperación cruzada modal que muestran cómo el modelo vincula olores con imágenes coincidentes. Cada fila comienza con una consulta de olor, seguida de las predicciones de imagen de mayor rango en el espacio de incrustación compartido. La imagen correcta para cada consulta está delineada en verde, ilustrando cómo los olores de libros, plantas, mampostería y otros materiales atraen al modelo hacia escenas visual y semánticamente relacionadas.

Los autores también señalan que los resultados de recuperación mostraron patrones semánticos claros:

‘Las recuperaciones de nuestro modelo a menudo muestran agrupaciones semánticas. El olor de un libro recupera imágenes de otros libros, el olor de las hojas recupera imágenes de follaje.

‘Estos resultados sugieren que la representación aprendida captura una estructura cruzada modal significativa.’

Reconocimiento de escena, objeto y material

La capacidad del modelo para reconocer olores sin entrada visual se evaluó entrenando al modelo para identificar escenas, objetos y materiales basándose únicamente en datos olfativos; para este fin, se utilizó una sonda lineal (un clasificador simple entrenado en representaciones congeladas) para evaluar cuánta información se codificaba en las incrustaciones de olores aprendidas.

Las etiquetas se derivaron de las imágenes emparejadas en el conjunto de entrenamiento utilizando GPT-4o – pero solo se utilizó la señal de olor durante la clasificación.

Se probaron varios tipos de codificadores: algunos inicializados aleatoriamente, algunos entrenados desde cero y otros entrenados utilizando aprendizaje de contraste para alinear la vista y el olor en un espacio de representación compartido, con datos crudos y huellas de olor evaluados:

La precisión de clasificación para escenas, materiales y objetos se evaluó utilizando señales de olor solas. La entrada de sensor cruda superó a las huellas de olor, con CNN entrenadas desde cero que produjeron los resultados más altos, incluyendo un 99,5% para las escenas. La preentrenación de aprendizaje de auto-supervisión ayudó en algunos casos, pero generalmente fue superada por el entrenamiento supervisado. Las líneas de base de pesos aleatorios indican que la capacidad del modelo por sí sola resulta insuficiente.

Se obtuvo una precisión significativamente mayor cuando se utilizó la señal de olor cruda, especialmente en modelos entrenados con supervisión cruzada modal. Los autores comentan**:

‘Los modelos entrenados en entradas de sensores crudas también logran una mayor precisión que los modelos entrenados con las características de huellas de olor hechas a mano. Estos resultados muestran que el aprendizaje profundo de señales de olor crudas es significativamente mejor que las características hechas a mano.’

Discriminación fina

Para evaluar si se podían aprender distinciones de olores finas, se construyó una referencia a partir de dos especies de hierba que coexisten en el mismo césped del campus. Se recopilaron muestras alternas durante seis sesiones de 30 minutos, lo que dio como resultado 256 ejemplos. Se entrenó un clasificador lineal en características de aprendizaje de contraste olfativo-visual y se evaluó en un conjunto de 42 muestras retenidas:

Precisión de clasificación de especies de hierba a partir de olor solo. Los modelos se evaluaron en su capacidad para distinguir entre dos tipos de hierba visualmente similares utilizando solo la entrada de olor. El rendimiento se comparó a través de huellas de olor y datos de sensor crudos, con modelos que se inicializaban aleatoriamente, se entrenaban desde cero o se entrenaban utilizando aprendizaje de auto-supervisión (SSL) seguido de una sonda lineal. La mayor precisión, del 92,9%, se logró utilizando señales de olor crudas con SSL, lo que indica que las diferencias de olor finas se capturan mejor a través de la entrada cruda y el entrenamiento guiado por visión.

Aquí, los investigadores declaran:

‘El entrenamiento en la señal de olor cruda (en lugar de características hechas a mano) produce la mayor precisión – superando todas las variantes basadas en huellas de olor.

‘Estos resultados sugieren que el aprendizaje olfativo-visual preserva más información fina que el aprendizaje con huellas de olor, y que la supervisión visual proporciona una señal para explotar esta información.’

Conclusión

Aunque la síntesis de olores parece que seguirá siendo un problema sin resolver en el futuro, un sistema de análisis de olores en la naturaleza efectivo y asequible tiene un enorme potencial, no solo para propósitos policiales, de seguridad y médicos, sino también para el monitoreo de la calidad de vida y urbano.

En este momento, el equipo involucrado es de nicho y generalmente bastante costoso; por lo tanto, el progreso real en ‘inteligencia artificial olfativa’ para la detección parece que probablemente requerirá un sensor visionario y asequible en el espíritu de Raspberry PI.

* Mi conversión de las citas en línea de los autores a hipervínculos.

** Tenga en cuenta que hay más ilustraciones (figura 8) disponibles en el artículo de origen, pero se ven mejor en ese contexto.

Publicado por primera vez el viernes 28 de noviembre de 2025