Apporter un sens de l’odorat au développement de l’IA

Un nouveau jeu de données d’IA enseigne aux machines à sentir en associant des données d’odeur à des images, permettant aux modèles de faire correspondre les odeurs aux objets, scènes et matériaux.

Peut-être parce que les machines à sortie d’odeur ont un passé si mitigé, l’olfaction est un sens plutôt négligé dans la littérature de recherche en IA. À moins que vous ne prévoyiez de produire une autre entrée dans la longue saga du smell-o-vision, les cas d’utilisation ont toujours semblé plutôt « de niche » par rapport à l’exploitation potentielle des jeux de données d’images, d’audio et de vidéo, et des modèles d’IA qui sont formés à partir de ceux-ci.

En fait, la possibilité d’automatiser, d’industrialiser et de populariser les capacités de détection offertes par les chiens de détection de bombes, les chiens de détection de cadavres, les chiens de détection de maladies et divers autres types d’unités de détection canine, serait un avantage notable dans les services municipaux et de sécurité. Malgré une forte demande, il y a bien plus d’offre, la formation et la maintenance des chiens de détection sont une affaire coûteuse qui ne ne offre pas toujours une bonne valeur pour l’argent.

Jusqu’à présent, la plupart des recherches qui entrent dans ce domaine d’étude ont été confinées à un laboratoire, avec des collections ciblées composées d’exemples avec des fonctionnalités créées à la main – un profil plus incliné vers des solutions de type artisanal que des applications industrialisées.

Devant par le nez

Dans ce climat plutôt terne, une collaboration universitaire et industrielle intéressante des États-Unis est apparue, dans laquelle une équipe de chercheurs a passé plusieurs mois à cataloguer diverses odeurs dans des environnements intérieurs et extérieurs à New York – et, pour la première fois, à collecter des images associées aux odeurs capturées:

Notez le capteur central, le « nez » de l’appareil olfactif. Formé uniquement sur l’odeur, le modèle devine s’il renifle du granit, du plastique ou du cuir – et identifie même la pièce dans laquelle il se trouve, sans voir un seul pixel. Source

Cette recherche a conduit les auteurs du nouveau travail à concevoir une variante du cadre de préformation du langage et de l’image contrastive (CLIP) très populaire, sous la forme de préformation contrastive olfactive-image (COIP) – qui relie les odeurs et les images.

En haut: des données de capteur olfactif et de vidéo synchronisées sont capturées dans des environnements naturels à l’aide d’un appareil photo-électronique. En bas à gauche (b): un espace d’intégration conjointe est appris grâce à une auto-supervision cross-modale. (c): le système récupère des correspondances visuelles en fonction uniquement d’une requête d’odeur. (d): des échantillons d’odeur individuels sont utilisés pour classer les catégories d’environnement, d’objet et de matériau. (e): des odeurs très similaires, telles que deux types d’herbe, sont distinguées sans entrée visuelle. Source

Le nouveau jeu de données, intitulé New York Smells, contient 7 000 paires d’odeurs et d’images mettant en vedette 3 500 objets différents. Lorsqu’il a été formé dans des tests, les nouvelles données ont été trouvées pour surpasser les fonctionnalités populaires créées à la main dans le petit nombre de jeux de données similaires antérieurs.

Les auteurs espèrent que leur première sortie ouvrira la voie à des travaux ultérieurs et à des suivis vers des systèmes de détection olfactive conçus pour fonctionner dans la nature, de la même manière que les chiens de détection le font*:

‘Nous considérons ce jeu de données comme une étape vers la perception olfactive multimodale in situ, ainsi que comme une étape vers le lien entre la vue et l’odeur. Alors que l’olfaction a traditionnellement été abordée dans des paramètres contraints, tels que l’assurance qualité, il existe de nombreuses applications dans des paramètres naturels.

‘Par exemple, en tant qu’humains, nous utilisons constamment notre sens de l’odeur pour évaluer la qualité de la nourriture, identifier les dangers et détecter des objets invisibles.

‘De plus, de nombreux animaux, tels que les chiens, les ours et les souris, montrent des capacités olfactives supérieures à celles des humains, suggérant que la perception olfactive humaine est loin de la limite des capacités des machines.’

Bien que le nouvel article, intitulé New York Smells: Un grand jeu de données multimodal pour l’olfaction, promette que les données et le code seront publiés, un fichier de données de 27 Go est déjà disponible via le site du projet. L’article a été produit par neuf chercheurs de l’Université Columbia, de l’Université Cornell et d’Osmo Labs.

Méthode

Pour collecter du matériel pour la nouvelle collection, les chercheurs ont utilisé le Cyranose 320 électronique, avec un iPhone monté au-dessus de l’entrée avant pour capturer visuellement les odeurs enregistrées:

Un appareil de capteur portable collecte des données de vidéo et d’odeur appariées en montant une caméra iPhone sur un électron Cyranose. Le museau est dirigé vers les objets tandis que la sortie et l’entrée de purge gèrent le flux d’air pendant l’échantillonnage. Une caméra RGB-D capture la profondeur, tandis que la concentration de composés organiques volatils (COV), la température et l’humidité sont enregistrées à l’aide de capteurs intégrés, notamment un module PID et une sonde environnementale.

Le dispositif Cyranose fonctionne à 2 Hz, enregistrant 32 étapes temporelles olfactives. Les concentrations de composés organiques volatils (COV) ont été enregistrées avec un MiniPID2 PPM WR capteur.

L’unité portable a fonctionné comme un capteur agile, relayant des données à une station mobile plus puissante pour le traitement.

Pour placer l’odeur cible dans son contexte, une « odeur de référence » a été enregistrée, avant que l’objet plus spécifique ne soit ciblé directement avec le « museau » du Cyranose. L’échantillon ambiant a ensuite été pris à partir d’un port latéral de l’unité, pour s’assurer qu’il était suffisamment éloigné de la source d’odeur principale pour ne pas être contaminé.

Deux échantillons ont été pris à travers l’entrée principale du capteur, avec chaque enregistrement de dix secondes capturé à partir d’une position différente autour de l’objet, pour améliorer l’efficacité des données. Les échantillons ont ensuite été combinés avec l’odeur de référence ambiant pour former une matrice 28×32, représentant la mesure olfactive complète:

Cet exemple montre le signal et l’image correspondante pour une fleur. Le signal olfactif complet se compose d’une matrice 28×32, combinant une ligne de base ambiant de 14 cadres avec deux échantillons de 10 secondes pris à différents angles autour de l’objet cible.

Données et tests

Des modèles de langage de vision (VLM) ont été utilisés pour étiqueter automatiquement les objets et les matériaux capturés par l’iPhone dans le montage Cyranose, avec GPT-4o utilisé pour la tâche; cependant, les catégories de scène ont été étiquetées manuellement:

Un petit échantillon d’une illustration étendue dans l’article source détaillant les diverses sources d’odeur et les environnements capturés dans le projet.

Le jeu de données a été divisé en ensembles de formation et de validation séparés, avec les deux échantillons de chaque objet attribués au même ensemble pour éviter la contamination croisée. La collection finale comprend 7 000 paires olfactives et visuelles issues de 3 500 objets non étiquetés, ainsi que 70 heures de vidéo et 196 000 étapes temporelles de données olfactives brutes provenant des phases de référence et d’échantillonnage.

Les données ont été collectées au cours de 60 sessions sur une période de deux mois, couvrant des parcs, des bâtiments universitaires, des bureaux, des rues, des bibliothèques, des appartements et des salles à manger, avec plusieurs sessions menées à chaque emplacement. Le jeu de données résultant contient 41 % d’environnements extérieurs et 59 % d’environnements intérieurs.

Pour développer des représentations olfactives à usage général, les auteurs ont formé un modèle contrastif pour associer des paires d’images et d’odeurs synchronisées à partir du jeu de données. Cette approche, la préformation olfactive-image contrastive (COIP) mentionnée plus haut, utilise une fonction de perte adaptée de CLIP pour aligner les intégrations de signaux visuels et olfactifs co-occurrents.

La formation a utilisé à la fois un encodeur visuel et un encodeur d’odeur, avec pour objectif d’enseigner au modèle à rapprocher les odeurs et les images correspondantes dans un espace de représentation partagé. Les représentations résultantes prennent en charge une gamme de tâches en aval, notamment la récupération d’images à partir d’odeurs, la reconnaissance de scènes et d’objets, la classification de matériaux et la discrimination olfactive fine.

Le modèle a été formé en utilisant deux types d’entrées olfactives: le signal de capteur brut et un résumé créé à la main appelé empreintes d’odeur – des fonctionnalités largement utilisées dans la recherche olfactive qui compressent chaque réponse du capteur en un seul nombre en comparant la résistance de pointe pendant l’échantillonnage avec la résistance moyenne pendant la référence ambiant.

En revanche, l’entrée brute enregistrée à travers toute la ville de New York se compose d’une série chronologique de 32 capteurs chimiques à l’intérieur du dispositif Cyranose, capturant la façon dont chaque capteur a vu sa résistance électrique changer au fil du temps lorsqu’il réagissait à l’odeur.

Pour la curation du jeu de données, ce signal non traité a été alimenté directement dans un réseau de neurones, permettant un apprentissage de bout en bout avec un convolutionnel ou un transformateur -based arrière-plan. Les modèles ont été formés en utilisant à la fois des empreintes d’odeur et l’entrée brute collectée à partir de divers environnements à New York, avec les deux types d’entrée évalués en utilisant un apprentissage contrastif.

Récupération cross-modale

La récupération cross-modale a été évaluée en intégrant chaque échantillon d’odeur et son image appariée dans un espace de représentation partagé, et en testant si l’image correcte pouvait être récupérée en fonction de l’entrée olfactive seule.

Le classement a été déterminé par la proximité de chaque intégration d’image par rapport à la requête d’odeur dans cet espace, et la performance a été mesurée en utilisant le rang moyen, le rang médian et la rappel à plusieurs seuils:

Précision de la récupération cross-modale pour différents encodeurs d’odeur, montrant à quel point chaque modèle identifie correctement l’image à partir d’une requête d’odeur. Les résultats comparent les architectures formées sur des signaux olfactifs bruts avec celles utilisant des empreintes d’odeur.

En ce qui concerne ces résultats, les auteurs déclarent:

‘La préformation contrastive en utilisant des empreintes d’odeur fonctionne mieux que le hasard dans toutes les métriques. Cependant, la formation de l’encodeur olfactif sur le signal olfactif brut conduit à une amélioration significative par rapport à l’encodeur d’empreintes d’odeur, indépendamment de l’architecture.

‘Cela montre les informations plus riches présentes dans les données olfactives brutes, débloquant des associations cross-modales plus solides entre la vue et l’odeur.’

Un détail de la septième illustration de l’article source, qui est trop condensé pour être reproduit de manière significative ici. Ici, des exemples de récupération cross-modale montrant comment le modèle relie les odeurs aux images correspondantes. Chaque ligne commence par une requête d’odeur, suivie des prédictions d’images les plus classées dans l’espace d’intégration partagé. L’image correcte pour chaque requête est encadrée de vert, montrant comment les odeurs de livres, de plantes, de maçonnerie et d’autres matériaux attirent le modèle vers des scènes visuellement et sémantiquement liées.

Les auteurs notent également que les résultats de récupération ont montré des modèles sémantiques clairs:

‘Les récupérations de notre modèle montrent souvent des regroupements sémantiques. L’odeur d’un livre récupère des images d’autres livres, l’odeur des feuilles récupère des images de feuillage.

‘Ces résultats suggèrent que la représentation apprise capture une structure cross-modale significative.’

Reconnaissance de scène, d’objet et de matériau

La capacité du modèle à reconnaître les odeurs sans entrée visuelle a été évaluée en formant le modèle pour identifier les scènes, les objets et les matériaux en fonction uniquement des données olfactives; à cette fin, une sonde linéaire (un simple classificateur formé sur des représentations figées) a été utilisée pour évaluer la quantité d’informations encodées dans les intégrations d’odeur apprises.

Les étiquettes ont été dérivées des images appariées dans l’ensemble de formation en utilisant GPT-4o – mais seule l’odeur a été utilisée pendant la classification.

Plusieurs types d’encodeurs ont été testés: certains initialisés aléatoirement, certains formés à partir de zéro et d’autres formés en utilisant un apprentissage contrastif pour aligner l’odeur et la vision dans un espace de représentation partagé, avec des données brutes et des empreintes d’odeur évaluées:

La précision de classification pour les scènes, les matériaux et les objets a été évaluée en utilisant uniquement des signaux olfactifs. L’entrée de capteur brut a surpassé les empreintes d’odeur, les CNN formées à partir de zéro produisant les résultats les plus élevés, notamment 99,5 % pour les scènes. Le pré-entraînement SSL a aidé dans certains cas, mais a été généralement surpassé par la formation supervisée. Les lignes de base à poids aléatoire indiquent que la capacité du modèle seule s’avère insuffisante.

Une précision nettement plus élevée a été obtenue lorsque des données olfactives brutes ont été utilisées, en particulier dans les modèles formés avec une supervision cross-modale. Les auteurs commentent**:

‘Les modèles formés sur des entrées sensorielles brutes atteignent également une précision plus élevée que les modèles formés avec les fonctionnalités d’empreintes d’odeur créées à la main. Ces résultats montrent que l’apprentissage profond à partir de signaux olfactifs bruts est nettement meilleur que les fonctionnalités créées à la main.’

Discrimination fine

Pour évaluer si des distinctions olfactives fines pouvaient être apprises, un référentiel a été créé à partir de deux espèces d’herbe coexistant sur la même pelouse du campus. Des échantillons alternés ont été collectés au cours de six sessions de 30 minutes, produisant 256 exemples. Un classificateur linéaire a été formé sur des fonctionnalités à partir d’un apprentissage contrastif olfactif-visuel, et évalué sur un ensemble de 42 échantillons mis de côté:

Précision de la classification des espèces d’herbe à partir de l’odeur seule. Les modèles ont été évalués pour leur capacité à distinguer entre deux types d’herbe visuellement similaires en utilisant uniquement l’entrée olfactive. La performance a été comparée à travers les empreintes d’odeur et les données de capteur brut, avec des modèles soit initialisés aléatoirement, soit formés à partir de zéro, soit formés en utilisant un apprentissage auto-supervisé (SSL) suivi d’une sonde linéaire. La précision la plus élevée, 92,9 %, a été atteinte en utilisant des signaux olfactifs bruts avec SSL, indiquant que les différences olfactives fines sont mieux capturées par l’entrée brute et la formation guidée par la vision.

Ici, les chercheurs déclarent:

‘La formation sur le signal de capteur olfactif brut (au lieu de fonctionnalités créées à la main) donne la précision la plus élevée – dépassant toutes les variantes basées sur les empreintes d’odeur.

‘Ces résultats suggèrent que l’apprentissage olfactif-visuel préserve plus d’informations fines que l’apprentissage avec des empreintes d’odeur, et que la supervision visuelle fournit un signal pour exploiter ces informations.’

Conclusion

Bien que la synthèse d’odeur semble destinée à rester un problème non résolu pour un certain temps, un système d’analyse d’odeur efficace et abordable dans la nature a un potentiel énorme, non seulement pour les fins de police, de sécurité et de médecine, mais également pour le suivi de la qualité de vie et de l’environnement urbain.

Actuellement, l’équipement impliqué est de niche et généralement assez coûteux; par conséquent, les progrès réels dans l’« intelligence olfactive » pour la détection semblent nécessiter un capteur visionnaire et abordable dans l’esprit de Raspberry PI.

* Ma conversion des citations en ligne des auteurs en hyperliens.

** Veuillez noter que d’autres illustrations (figure 8) sont disponibles dans l’article source, mais sont mieux vues dans ce contexte.

Publié pour la première fois vendredi 28 novembre 2025