Portare il senso dell’olfatto allo sviluppo dell’AI

Un nuovo set di dati di apprendimento automatico insegna alle macchine a sentire gli odori associando i dati relativi agli odori alle immagini, consentendo ai modelli di abbinare gli odori agli oggetti, alle scene e ai materiali.

Forse perché le macchine che emettono odori hanno una storia così tormentata, l’olfatto è un senso piuttosto trascurato nella letteratura di ricerca sull’AI. A meno che non si stia pianificando di produrre un altro episodio della lunga saga (più di un secolo, fino ad oggi) della smell-o-vision, i casi d’uso sembravano sempre piuttosto “niche” in confronto alle possibilità di sfruttamento dei set di dati di immagini, audio e video e dei modelli di apprendimento automatico ad essi associati.

In realtà, la possibilità di automatizzare, industrializzare e popolarizzare le strutture di rilevamento offerte da cani bomba, cani da cadavere, cani che rilevano malattie e altri tipi di unità di ricerca canina, sarebbe un notevole vantaggio nei servizi municipali e di sicurezza. Nonostante la forte domanda, la formazione e la manutenzione dei cani da ricerca sono un’attività costosa che non sempre offre un buon rapporto qualità-prezzo.

Fino ad oggi, la maggior parte della ricerca che si avvicina a questo campo di studio è stata confinata in laboratorio, con raccolte curate che consistono tipicamente di esempi con caratteristiche create a mano – un profilo più incline a soluzioni artigianali che a applicazioni industriali.

Avanti di un naso

In questo clima piuttosto stagnante arriva una interessante collaborazione accademica-industriale degli Stati Uniti, in cui un team di ricercatori ha trascorso diversi mesi catalogando diversi odori in ambienti interni ed esterni a New York City – e, per la prima volta, raccogliendo immagini associate ai odori catturati:

Nota il sensore centrale, il ‘naso’ del dispositivo olfattivo. Addestrato solo sull’odore, il modello indovina se sta annusando granito, plastica o pelle – e identifica anche la stanza in cui si trova, senza vedere un solo pixel. Fonte

Questa ricerca ha portato gli autori del nuovo lavoro a ideare una variante del popolare framework di pre-addestramento linguistico-immagine contrastivo (CLIP), che collega il testo alle immagini, sotto forma di pre-addestramento olfattivo-immagine contrastivo (COIP) – che collega odori e immagini.

In alto: dati di video e sensori olfattivi sincronizzati vengono catturati in ambienti naturali utilizzando un dispositivo camera-naso. In basso a sinistra (b): viene appreso un insieme di caratteristiche congiunto attraverso l’auto-supervisione cross-modale. (c): il sistema recupera corrispondenze visive in base a una query di odore. (d): campioni di odore individuali vengono utilizzati per classificare ambienti, oggetti e materiali. (e): odori molto simili, come due tipi di erba, vengono distinti senza input visivo. Fonte

Il nuovo set di dati, intitolato New York Smells, contiene 7.000 coppie di odori-immagini con 3.500 oggetti diversi. Quando addestrato in test, il nuovo set di dati si è rivelato superiore ai caratteristiche create a mano presenti nei set di dati precedenti.

Gli autori sperano che il loro primo lavoro apra la strada a lavori successivi e seguiti verso sistemi di rilevamento olfattivo progettati per funzionare nel mondo reale, proprio come fanno i cani da ricerca*:

‘Vediamo questo set di dati come un passo verso la percezione olfattiva multimodale in situ, nonché un passo verso il collegamento della vista con l’odore. Mentre l’olfatto è stato tradizionalmente affrontato in ambienti vincolati, come il controllo di qualità, ci sono molte applicazioni in ambienti naturali.

‘Ad esempio, come esseri umani, utilizziamo costantemente il nostro senso dell’olfatto per valutare la qualità del cibo, identificare pericoli e rilevare oggetti non visibili.

‘Inoltre, molti animali, come cani, orsi e topi, mostrano capacità olfattive sovrumane capacità, suggerendo che la percezione dell’odore umana è lontana dal limite delle capacità delle macchine.’

Sebbene il nuovo articolo, intitolato New York Smells: un grande set di dati multimodale per l’olfatto, prometta che i dati e il codice verranno rilasciati, un file di dati da 27 GB è già disponibile tramite il sito del progetto. L’articolo è stato prodotto da nove ricercatori di Columbia University, Cornell University e Osmo Labs.

Metodo

Per raccogliere materiale per la nuova raccolta, i ricercatori hanno utilizzato il Cyranose 320 elettronico, con un iPhone montato sopra l’ingresso anteriore per catturare visivamente gli odori registrati:

Un dispositivo di raccolta manuale raccoglie dati di video e odore accoppiati montando una fotocamera iPhone su un e-naso Cyranose. Il muso è puntato sugli oggetti mentre l’uscita e l’ingresso di purga gestiscono il flusso d’aria durante il campionamento. Una fotocamera RGB-D cattura la profondità, mentre la concentrazione di composti organici volatili, la temperatura e l’umidità vengono registrate attraverso sensori integrati, tra cui un modulo PID e una sonda ambientale.

Il dispositivo Cyranose funziona a 2 Hz, registrando 32 dimensioni di passaggi temporali olfattivi. Le concentrazioni di composti organici volatili (VOC) sono state registrate con un sensore MiniPID2 PPM WR.

L’unità portatile ha funzionato come un sensore agile, inoltrando i dati a una stazione mobile più potente per l’elaborazione.

Per collocare l’odore bersaglio nel contesto, è stato registrato un ‘odore di base’, prima di puntare direttamente l’oggetto specifico con il ‘muso’ del Cyranose. Il campione ambientale è stato quindi preso da una porta laterale nell’unità, per assicurarsi che fosse sufficientemente lontano dalla fonte principale dell’odore per non essere contaminato.

Sono stati presi due campioni attraverso l’ingresso principale del sensore, con ogni registrazione di dieci secondi catturata da una posizione diversa intorno all’oggetto, per migliorare l’efficienza dei dati. I campioni sono stati quindi combinati con l’odore di base per formare una matrice 28×32, rappresentante la misurazione olfattiva completa:

Questo esempio mostra il segnale e l’immagine corrispondente per un fiore. Il segnale olfattivo completo consiste in una matrice 28×32, che combina una baseline ambientale di 14 frame con due campioni di 10 secondi presi da angoli diversi intorno all’oggetto bersaglio.

Dati e test

I modelli di linguaggio-visibilità (VLM) sono stati utilizzati per etichettare automaticamente gli oggetti e i materiali catturati dall’iPhone nel dispositivo Cyranose, con GPT-4o utilizzato per il compito; tuttavia, le categorie di scene sono state etichettate manualmente:

Un piccolo campione da un’ampia illustrazione nel documento di origine che dettaglia le varie fonti di odori e ambienti catturati nel progetto.

Il set di dati è stato diviso in parti di addestramento e convalida suddivise, con entrambi i campioni di ogni oggetto assegnati alla stessa suddivisione per evitare la contaminazione incrociata. La raccolta finale comprende 7.000 coppie olfatto-visione tratte da 3.500 oggetti non etichettati, insieme a 70 ore di video e 196.000 passaggi temporali di dati olfattivi grezzi da entrambe le fasi di base e di campionamento.

I dati sono stati raccolti in 60 sessioni nel corso di un periodo di due mesi, coprendo parchi, edifici universitari, uffici, strade, biblioteche, appartamenti e sale da pranzo, con più sessioni condotte in ogni luogo. La raccolta risultante contiene il 41% di ambienti all’aperto e il 59% di ambienti interni.

Per sviluppare rappresentazioni olfattive generali, gli autori hanno addestrato un modello contrastivo per associare coppie di immagini e odori sincronizzate dal set di dati. Questo approccio, il sopra menzionato COIP, utilizza una funzione di perdita adattata da CLIP per allineare le caratteristiche di segnali visivi e olfattivi co-occorrenti.

L’addestramento ha utilizzato sia un encoder visivo che un encoder olfattivo, con l’obiettivo di insegnare al modello a portare odori e immagini corrispondenti più vicini nello spazio di rappresentazione condiviso. Le rappresentazioni risultanti supportano una serie di compiti a valle, tra cui il recupero di immagini da odori, il riconoscimento di scene e oggetti e la classificazione di materiali.

Il modello è stato addestrato utilizzando due tipi di input olfattivi: il segnale olfattivo grezzo e una sintesi ridotta a mano nota come smellprint – caratteristiche ampiamente utilizzate nella ricerca sull’olfatto che comprimono ogni risposta del sensore in un singolo numero confrontando la resistenza di picco durante il campionamento con la resistenza media durante la baseline ambientale.

Al contrario, l’input grezzo registrato consiste in una serie temporale da 32 sensori chimici all’interno del dispositivo Cyranose, catturando come ogni sensore ha cambiato la resistenza elettrica nel tempo mentre reagiva all’odore.

Per la cura del set di dati, questo segnale non elaborato è stato alimentato direttamente in una rete neurale, consentendo l’apprendimento end-to-end con un encoder convoluzionale o basato su trasformatore. I modelli sono stati addestrati utilizzando sia smellprint che input grezzo raccolti da vari ambienti a New York City, con entrambi i tipi di input valutati utilizzando l’apprendimento contrastivo.

Recupero cross-modale

Il recupero cross-modale è stato valutato incorporando ogni campione di odore e la sua immagine associata in uno spazio di rappresentazione condiviso e testando se l’immagine corretta potesse essere recuperata in base unicamente all’input olfattivo.

La classificazione è stata determinata dalla vicinanza dell’incorporazione di ogni immagine a quella del campione di odore all’interno di questo spazio e la prestazione è stata misurata utilizzando media dei ranghi, mediana dei ranghi e richiamo a più soglie:

Precisione del recupero cross-modale per diversi encoder di odori, mostrando quanto bene ogni modello identifichi l’immagine corretta da una query di odore. I risultati confrontano architetture addestrate su segnali olfattivi grezzi con quelle che utilizzano smellprint.

Riguardo a questi risultati, gli autori affermano:

‘Il pre-addestramento contrastivo utilizzando smellprint si comporta meglio del caso in tutti i metriche. Tuttavia, l’addestramento dell’encoder olfattivo sul segnale olfattivo grezzo porta a un miglioramento significativo rispetto all’encoder smellprint, indipendentemente dall’architettura.

‘Ciò mostra le informazioni più ricche presenti nei dati olfattivi grezzi, sbloccando associazioni cross-modal più forti tra vista e odore.’

Un dettaglio dalla settima illustrazione nel documento di origine, che è troppo condensato per essere riprodotto in modo significativo qui. Qui, esempi di recupero cross-modale che mostrano come il modello collega gli odori alle immagini corrispondenti. Ogni riga inizia con una query di odore, seguita dalle previsioni di immagini classificate nello spazio di incorporamento condiviso. L’immagine corretta per ogni query è delineata in verde, mostrando come gli odori di libri, piante, muratura e altri materiali spingano il modello verso scene visive e semanticamente correlate.

Gli autori notano anche che i risultati di recupero mostrano chiari schemi semantici:

‘I recuperi del nostro modello mostrano spesso raggruppamenti semantici. L’odore di un libro recupera immagini di altri libri, l’odore di foglie recupera immagini di fogliame.

‘Questi risultati suggeriscono che la rappresentazione appresa cattura una struttura cross-modale significativa.’

Riconoscimento di scene, oggetti e materiali

La capacità del modello di riconoscere gli odori senza input visivo è stata valutata addestrando il modello per identificare scene, oggetti e materiali in base solo ai dati olfattivi; a questo scopo, è stata utilizzata una sonda lineare (un classificatore semplice addestrato su rappresentazioni congelate) per valutare quanto informazioni fossero codificate nelle rappresentazioni di odori apprese.

Le etichette sono state derivate dalle immagini accoppiate nel set di addestramento utilizzando GPT-4o – ma solo il segnale olfattivo è stato utilizzato durante la classificazione.

Sono stati testati diversi tipi di encoder: alcuni inizializzati casualmente, alcuni addestrati da zero e altri addestrati utilizzando l’apprendimento contrastivo per allineare vista e olfatto in uno spazio di rappresentazione condiviso, con dati grezzi e smellprint valutati:

Precisione di classificazione per scene, materiali e oggetti è stata valutata utilizzando solo segnali olfattivi. L’input del sensore grezzo ha superato gli smellprint, con reti neurali convoluzionali addestrate da zero che hanno prodotto i risultati più alti, compreso il 99,5% per le scene. La pre-addestramento SSL ha aiutato in alcuni casi, ma è stata generalmente superata dall’addestramento supervisionato. Le linee di base dei pesi casuali indicano che la capacità del modello da sola si rivela insufficiente.

È stata ottenuta un’accuratezza significativamente più alta quando sono stati utilizzati dati olfattivi grezzi, specialmente in modelli addestrati con la supervisione cross-modale. Gli autori commentano**:

‘I modelli addestrati su input sensoriali grezzi raggiungono anche una maggiore accuratezza rispetto ai modelli addestrati con caratteristiche smellprint create a mano. Questi risultati mostrano che l’apprendimento profondo da segnali olfattivi grezzi è significativamente migliore delle caratteristiche create a mano.’

Discriminazione fine

Per valutare se le distinzioni olfattive fine potessero essere apprese, è stato costruito un benchmark da due specie di erba coesistenti sullo stesso prato del campus. Sono stati raccolti campioni alternati in sei sessioni di 30 minuti, producendo 256 esempi. Un classificatore lineare è stato addestrato su caratteristiche dell’apprendimento olfattivo-visivo contrastivo e valutato su un set di 42 esempi:

Precisione della classificazione delle specie di erba da solo odore. I modelli sono stati valutati sulla loro capacità di distinguere tra due tipi di erba visivamente simili utilizzando solo input olfattivo. Le prestazioni sono state confrontate attraverso smellprint e dati del sensore grezzo, con modelli randomicamente inizializzati, addestrati da zero o addestrati con apprendimento auto-supervisionato (SSL) seguito da una sonda lineare. La precisione più alta, del 92,9%, è stata raggiunta utilizzando segnali olfattivi grezzi con SSL, indicando che le differenze di odore fine sono meglio catturate attraverso input grezzo e addestramento guidato dalla visione.

Qui i ricercatori affermano:

‘L’addestramento sul segnale olfattivo grezzo del sensore (invece di caratteristiche create a mano) produce la maggiore accuratezza – superando tutte le varianti basate su smellprint.

‘Questi risultati suggeriscono che l’apprendimento olfattivo-visivo preserva più informazioni fine che l’apprendimento con smellprint e che la supervisione visiva fornisce un segnale per sfruttare queste informazioni.’

Conclusione

Sebbene la sintesi degli odori sembri rimanere un problema irrisolto per un po’ di tempo, un sistema di analisi degli odori efficace e accessibile nel mondo reale ha un enorme potenziale, non solo per scopi di polizia, sicurezza e medici, ma anche per il monitoraggio della qualità della vita e urbano.

Al momento attuale, l’attrezzatura coinvolta è di nicchia e generalmente piuttosto costosa; quindi, un reale progresso nell’AI olfattiva per il rilevamento sembra probabile che richieda un sensore visionario e accessibile nello spirito di Raspberry PI.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

** Si prega di notare che ulteriori illustrazioni (figura 8) sono disponibili nel documento di origine, ma sono meglio visualizzate in quel contesto.

Pubblicato per la prima volta venerdì, 28 novembre 2025