Å bringe luktesansen til AI-utvikling

En ny AI-dataset lar maskiner lukte ved å assosiere luktedata med bilder, og lar modellene sammenligne lukter med objekter, scener og materialer.

Kanskje fordi lukte-utstyr har en så vaklende historie, er luktesansen en ganske forlatt sans i AI-forskning. Med mindre du planla å produsere enda en innføring i den lange (mer enn et århundre, til dags dato) smell-o-vision-sagaen, har bruksområdene alltid syntes ganske “nisje” i sammenligning med mulighetene for å utnytte bilde-, lyd- og video-datasett, og AI-modellene som er trent fra dem.

I virkeligheten ville muligheten til å automatisere, industrialisere og popularisere det type av deteksjonsfasiliteter som tilbys av bombhunder, kadaverhunder, sykdoms-sniff-hunder, og diverse andre typer av hundesnusenhet, ville være en merkbart fordel i kommunale og sikkerhetstjenester. Til tross for høyt etterspørsel, er langt over tilbud, og å trene og vedlikeholde deteksjons-hunder er en dyrt foretak som ikke alltid tilbyr god verdi for pengene.

Til nå har det meste av forskningen som berører dette området vært begrenset til et laboratorium, med kurerte samlinger som vanligvis består av eksempler med håndlagde egenskaper – en profil som er mer rettet mot spesialtilpassede løsninger enn industrialiserte anvendelser.

Fører med nesetippen

Inn i denne ganske støvete klima kommer en interessant ny akademisk/industriell samarbeid fra USA, hvor et team av forskere tilbrakte flere måneder med å katalogisere ulike lukter i innendørs- og utendørs-miljøer i New York City – og, for første gang, samlet inn bilder assosiert med de fangete lukter:

Merk den sentrale sensoren, ‘neset’ på luktedevicen. Trening bare på lukte, gjettet modellen om den lukter granitt, plast eller lær – og identifiserte også rommet det var i, uten å se et enkelt piksel. Kilde

Dette forskningen har ført forfatterne av den nye studien til å utvikle en ny variant av den svært populære Contrastive Language-Image Pretraining (CLIP)-rammeverket, som kobler tekst og bilder, i form av Contrastive Olfaction-Image Pretraining (COIP) – som kobler lukter og bilder.

Topp: synkronisert video og luktesensor-data er fanget i naturlige miljøer ved hjelp av en kamera-e-nese-rigg. Bottom left (b): en felles innkapsling er lært gjennom cross-modal selv-overvåking. (c): systemet henter visuelle matcher basert bare på en lukte-spørring. (d): enkeltlukte-prøver brukes til å klassifisere miljø, objekt og materiale-kategorier. (e): svært like lukter, som to typer gress, skilles uten visuell innputt. Kilde

Den nye datasett, tittelen New York Smells, inneholder 7 000 lukte-bilde-par med 3 500 forskjellige objekter. Når trent i tester, ble den nye data funnet å overgå de populære håndlagde egenskapene i de relativt få tilsvarende tidligere datasett.

Forfatterne håper at deres første utgave vil åpne veien for senere og følgende arbeid mot luktedeteksjonssystemer designet til å fungere i vill natur, på samme måte som snuskhunder gjør*:

‘Vi ser på denne datasett som et skritt mot i-vill-natur, multimodal lukte-persepsjon, samt et skritt mot å koble syn med lukte. Mens lukte har tradisjonelt vært nærmet i begrensede miljøer, som kvalitetskontroll, finnes det mange anvendelser i naturlige miljøer.

‘For eksempel, som mennesker, bruker vi konstant vår luktesans til å vurdere kvaliteten på mat, identifisere farer og detektere usynlige objekter.

‘I tillegg viser mange dyr, som hunder, bjørner og mus, overmenneskelig lukte-evner kapasiteter, som tyder på at menneskelig lukte-persepsjon er langt fra grensen for maskinens evner.’

Til nå, den nye artikkelen, tittelen New York Smells: En stor multimodal datasett for lukte, lover at data og kode vil bli utgitt, men en 27GB datafil er allerede tilgjengelig via artikkelenes prosjektside. Artikkelen ble produsert av ni forskere på Columbia University, Cornell University og Osmo Labs.

Metode

For å samle materiale til den nye samlingen, brukte forskerne Cyranose 320-elektronisk nese, med en iPhone montert over fremre inntak for å fange visuelt hva lukter som ble registrert:

En håndholdt sensor-rigg samler parrede video og lukte-data ved å montere en iPhone-kamera på en Cyranose 320-e-nese. Snuten er rettet mot objekter mens eksosen og purge-inlet håndterer luftstrøm under sampling. En RGB-D-kamera fanger dybde, mens flyktige organiske forbindelser (VOC) konsentrasjon, temperatur og fuktighet blir registrert gjennom integrerte sensorer, inkludert en proporsjonal-integral-derivative (PID)-modul og miljø-sonde.

Cyranose-enheten kjører med 2 Hz, og registrerer 32-dimensjonale lukte-tidssteg. Flyktige organiske forbindelser (VOC) konsentrasjoner ble registrert med en MiniPID2 PPM WR-sensor.

Den portable enheten fungerte som en smidig sensor, og sendte data til en mer beregningskapabel mobil stasjon for prosessering.

For å plassere mållukten i kontekst, ble en ‘basellukte’ registrert, før det mer spesifikke objektet ble målt direkte med ‘snuten’ på Cyranose-enheten. Den ambientprøven ble deretter tatt fra en side-port på enheten, for å sikre at den var langt nok fra hovedlukt-kilden til ikke å bli forurenset.

To prøver ble tatt gjennom hovedinntaket på sensoren, med hver 10-sekunders opptak fanget fra en annen posisjon rundt objektet, for å forbedre dataeffektiviteten. Prøvene ble deretter kombinert med den ambient basen for å danne en 28×32-matrise, som representerer den fullstendige luktemålingen:

Dette eksemplet viser signalen og tilhørende bilde for en blomst. Den fullstendige luktesignalet består av en 28×32-matrise, som kombinerer en 14-ramme ambient-baselinje med to 10-sekunders prøver tatt fra forskjellige vinkler rundt målobjektet.

Data og tester

Visjonsspråk-modeller (VLMs) ble brukt til å automatisk merke objekter og materialer fanget av iPhone-en i Cyranose-riggen, med GPT-4o brukt til oppgaven; imidlertid ble scener-kategorier manuelt merket:

En liten del av en omfattende illustrasjon i kildeartikkelen, som er for kondensert til å gjengi meningsfullt her. Her, de forskjellige luktekilder og miljøer som ble fanget i prosjektet.

Datasett ble delt inn i trening og validering split, med både prøver fra hvert objekt tildelt samme split for å unngå kryss-forurensning. Den endelige samlingen består av 7 000 lukte-bilde-par hentet fra 3 500 ulabelte objekter, samt 70 timer video og 196 000 tidssteg med rå luktedata fra både baselinje- og prøvefasene.

Data ble samlet over 60 sesjoner i løpet av en to-måneders periode, som omfattet parker, universitetsbygninger, kontorer, gater, biblioteker, leiligheter og spisestuer, med flere sesjoner gjennomført på hver lokalitet. Den resulterende datasett inneholder 41% utendørs- og 59% innendørs-miljøer.

For å utvikle generelle lukte-representasjoner, trente forfatterne en kontrastiv modell for å assosiere synkroniserte bilde-lukte-par fra datasett. Denne tilnærmingen, den ovennevnte COIP, bruker en tap-funksjon tilpasset fra CLIP for å justere innkapslinger av samtidige visuelle og lukte-signaler.

Trening brukte både en visuell encoder og en lukte-encoder, med målet å lære modellen å bringe sammenlukende lukter og bilder nærmere hverandre i et felles representasjonsrom. De resulterende representasjonene støtter en rekke nedstrøms-oppgaver, inkludert lukte-til-bilde-henting, scene- og objekt-gjenkjenning, materiale-klassifisering og finlukted-skille.

Modellen ble trent med to typer lukte-inndata: det fullstendige rå sensor-signalet og en redusert håndlagt sammenfatning kjent som luktavtrykk – vidt brukte egenskaper i lukte-forskning som komprimerer hver sensors respons til ett enkelt tall ved å sammenligne topp-motstand under sampling med gjennomsnittlig motstand under den ambient baselinjen.

I motsetning til dette består det rå inndataet, som ble registrert over hele New York City, av en tidsrekke fra 32 kjemiske sensorer inne i Cyranose-enheten, som fanger hvordan hver sensors elektriske motstand endret seg over tid mens den reagerte på lukten.

For kurering av datasett, ble dette urådige signalet direkte inn i et neuralt nettverk, som tillot end-to-end-læring med enten en konvolusjonell eller transformator-basert ryggrad. Modeller ble trent med både luktavtrykk og rå inndata samlet fra forskjellige miljøer i New York City, med begge inndata-typer evaluert ved kontrastiv læring.

Kryss-modus-henting

Kryss-modus-henting ble evaluert ved å innkapsle hver lukte-prøve og dens parrede bilde i et felles representasjonsrom, og teste om det riktige bildet kunne hentes ut basert kun på lukte-inndata.

Rangering ble bestemt av nærheten av hver bilde-innkapsling til lukte-spørringen i dette rommet, og ytelse målt med gjennomsnittlig rangering, median rangering og tilbakekall på flere terskler:

Kryss-modus-henting-nøyaktighet for forskjellige lukt-encodere, som viser hvor godt hver modell identifiserer det riktige bildet fra en lukt-spørring. Resultatene sammenligner arkitekturer trent på rå lukte-signaler med de som bruker luktavtrykk.

Med hensyn til disse resultatene, uttaler forfatterne:

‘Kontrastiv forhånds-trening med luktavtrykk gjør bedre enn tilfeldighet i alle mål. Imidlertid fører trening av lukt-encoderen på det rå lukte-signalet til en betydelig forbedring i forhold til luktavtrykk-encoderen, uavhengig av arkitektur.

‘Dette viser den rikere informasjonen til stede i det rå lukte-data, og åpner for sterkere kryss-modus-tilknytninger mellom syn og lukte.’

En detalj fra den syvende illustrasjonen i kildeartikkelen, som er for kondensert til å gjengi meningsfullt her. Her, kryss-modus-henting-eksempler som viser hvordan modellen kobler lukter til tilhørende bilder. Hver rad begynner med en lukt-spørring, etterfulgt av de øverste rangerte bilde-forutsagn i det felles innkapslingsrommet. Det riktige bildet for hver spørring er omrammet i grønt, og viser hvordan lukter fra bøker, planter, murverk og andre materialer trekker modellen mot visuelt og semantisk relaterte scener.

Forfatterne bemerker også at henting-resultatene viste tydelige semantiske mønster:

‘Henting fra vår modell viser ofte semantiske grupperinger. Lukten av en bok henter bilder av andre bøker, lukten av blader henter bilder av løvverk.

‘Disse resultatene tyder på at den lænte representasjonen fanger meningsfull kryss-modus-struktur.’

Scene, objekt og materiale-gjenkjenning

Evnen til modellen til å gjenkjenne lukter uten visuell innputt ble evaluert ved å trene den til å identifisere scener, objekter og materialer basert kun på lukte-data; til dette formålet ble en lineær sonde (en enkel klassifikator trent på frosne representasjoner) brukt til å vurdere hvor mye informasjon som var kodet i de lænte lukt-innkapslinger.

Merker ble avledet fra de parrede bildene i treningssettet ved hjelp av GPT-4o – men bare lukte-signalet ble brukt under klassifisering.

Forskjellige encoder-typer ble testet: noen initialisert tilfeldig, noen trent fra scratch, og andre trent ved kontrastiv læring for å justere lukte og syn i et felles representasjonsrom, med rå data og luktavtrykk evaluert:

Klassifiserings-nøyaktighet for scener, materialer og objekter ble vurdert ved hjelp av lukte-signaler alene. Rå sensor-inndata overgikk luktavtrykk, med konvolusjonelle neuralnetverk (CNN) trent fra scratch som ga de høyeste resultater, inkludert 99,5% for scener. SSL-forhånds-trening hjalp i noen tilfeller, men ble generelt overgått av overvåket trening. Tilfeldige vekt-baselinjer indikerer at modell-kapasitet alene er utilstrekkelig.

Betydelig høyere nøyaktighet ble oppnådd når rå lukte-data ble brukt, spesielt i modeller trent med kryss-modus-overvåking. Forfatterne kommenterer**:

‘Modeller trent på rå sensor-inndata oppnår også høyere nøyaktighet enn modeller trent med håndlagde luktavtrykk-egenskaper. Disse resultatene viser at dyp læring fra rå lukte-signaler er betydelig bedre enn håndlagde egenskaper.’

Finlukted-skille

For å vurdere om finlukted-forskjeller kunne læres, ble en benchmark bygget fra to gras-arter som sam-existerte på samme campus-gress. Alternende prøver ble samlet over seks 30-minutters sesjoner, og ga 256 eksempler. En lineær klassifikator ble trent på egenskaper fra lukte-visual kontrastiv læring, og evaluert på en holdt-ut sett på 42 prøver:

Nøyaktighet for gras-arter-klassifisering fra lukte alene. Modeller ble evaluert på deres evne til å skille mellom to visuelt like gras-typer ved hjelp av kun lukte-inndata. Ytelse ble sammenlignet over luktavtrykk og rå sensor-data, med modeller enten tilfeldig initialisert, trent fra scratch, eller trent ved selv-overvåking (SSL) fulgt av en lineær sonde. Den høyeste nøyaktigheten, 92,9%, ble oppnådd ved hjelp av rå lukte-signaler med SSL, og indikerer at finlukted-forskjeller er best fanget gjennom rå inndata og visjon-guidet trening.

Her uttaler forskerne:

‘Trening på det rå lukte-sensor-signalet (i stedet for håndlagde egenskaper) gir den høyeste nøyaktigheten – og overgår alle varianter basert på luktavtrykk.

‘Disse resultatene tyder på at lukte-visual læring bevare mer finlukted-informasjon enn læring med luktavtrykk, og at visuell overvåking gir en signal for å utnytte denne informasjonen.’

Konklusjon

Selv om lukte-syntese synes å forbli et uløst problem noen tid inn i fremtiden, har et effektivt og rimelig i-vill-natur lukte-analyse-system enormt potensial, ikke bare for politi-, sikkerhets- og medisinske formål, men også for kvalitet på livet og urban overvåking.

For tiden er utstyret involvert nisje og vanligvis ganske dyrt; derfor synes det at virkelig fremgang i ‘lukte-AI’ for deteksjon sannsynligvis vil kreve en visjonær og rimelig sensor i Raspberry PI-ånden.

* Min konvertering av forfatternes inline-citater til hyperlenker.

** Vær oppmerksom på at ytterligere illustrasjoner (figur 8) er tilgjengelige i kildeartikkelen, men er best sett i den sammenhengen.

Først publisert fredag, 28. november 2025