At bringe lugtesansen til AI-udvikling

En ny AI-dataset lærer maskiner at lugte ved at associerer lugtdata med billeder, så modeller kan matche lugte med objekter, scener og materialer.

Formentlig på grund af, at lugt-udgangsmaskiner har sådan en broget historie, er lugt en ret forladt sans i AI-forskningssammenhæng. Medmindre du havde planer om at producere endnu en indgang i den langvarige (mere end et århundrede, hidtil) smell-o-vision-saga, har anvendelsesmuligheder altid syntes ret “niche” i sammenligning med udnyttelsen af billed-, lyd- og video-datasets og de AI-modeller, der trænes fra dem.

I virkeligheden ville muligheden for at automatisere, industrialisere og popularisere det slags detektionsfaciliteter, der tilbydes af bombhunde, kadaverhunde, sygdoms-opsnusningshunde og forskellige andre typer af hunde, der kan opsnappe lugte, ville være en bemærkelsesværdig fordel i kommunale og sikkerhedstjenester. Trods høj efterspørgsel, langt over forsyning, er træning og vedligeholdelse af detektionshunde en dyr forretning, der ikke altid giver god værdi for pengene.

Indtil nu har det meste af forskningen, der berører dette område, været begrænset til et laboratorium, med kuraterede samlinger, der typisk består af eksempler med håndlavede funktioner – en profil, der er mere rettet mod speciallavede løsninger end industrialiserede anvendelser.

Fører med en næse

Ind i denne ret støvede klima kommer en interessant ny akademisk/industri-samarbejde fra USA, hvor et hold af forskere har brugt flere måneder på at katalogisere forskellige lugte i indendørs og udendørs miljøer i New York City – og for første gang indsamlet billeder, der er associeret med de fangete lugte:

Bemærk den centrale sensor, ‘næsen’ på lugtesansen. Trænet kun på lugt, gætter modellen, om den lugter granit, plast eller læder – og identificerer endda rummet, den er i, uden at se et enkelt pixel. Kilde

Dette forskning har ført forfatterne af den nye artikel til at udvikle en variation af den meget populære Contrastive Language-Image Pretraining (CLIP)-ramme, der forbinder tekst og billeder, i form af Contrastive Olfaktion-Image Pretraining (COIP) – der forbinder lugte og billeder.

Top: synkroniseret video og lugtesensor-data indsamles i naturlige miljøer ved hjælp af en kamera-e-nose-rig. Nederst til venstre (b): en fælles indlejring læres gennem cross-modal selv-overvågning. (c): systemet henter visuelle matches baseret udelukkende på en lugtforespørgsel. (d): enkeltlugtprøver bruges til at klassificere miljø, objekt og materialekategorier. (e): meget lignende lugte, såsom to typer græs, adskilles uden visuel input. Kilde

Den nye dataset, med titlen New York Smells, indeholder 7.000 lugt-billede-par, der omfatter 3.500 forskellige objekter. Når den er trænet i tests, blev den nye data fundet at overgå de populære håndlavede funktioner i den ret lille mængde af lignende tidligere datasets.

Forfatterne håber, at deres første udgangspunkt vil åbne vejen for senere og følgende arbejde mod lugtedetektionssystemer, der er designet til at fungere i det vilde, på samme måde som snushunde gør*:

‘Vi ser på denne dataset som et skridt mod in-the-wild, multimodal lugteperception, samt et skridt mod at knytte syn med lugt. Mens lugt traditionelt er blevet tilgangen i begrænsede sammenhænge, såsom kvalitetskontrol, er der mange anvendelser i naturlige sammenhænge.

‘For eksempel, som mennesker, bruger vi konstant vores lugtesans til at vurdere madens kvalitet, identificere farer og opdage usynlige objekter.

‘Desuden viser mange dyr, såsom hunde, bjørne og mus, overmenneskelig lugteevne kapaciteter, hvilket tyder på, at menneskers lugteperception er langt fra grænsen for maskinens evner.’

Selv om den nye artikel, med titlen New York Smells: A Large Multimodal Dataset for Olfaction, lover, at data og kode vil blive frigivet, er en 27GB-datafil allerede tilgængelig via artiklens projektside. Artiklen er produceret af ni forskere på Columbia University, Cornell University og Osmo Labs.

Metode

For at indsamle materiale til den nye samling, brugte forskerne Cyranose 320-elektronisk næse, med en iPhone monteret ovenover indtaget til at fange visuelt, hvilke lugte der blev registreret:

En håndholdt sensor-rig indsamler parrede video- og lugtdata ved at montere en iPhone-kamera på en Cyranose 320-e-nose. Snuden er rettet mod objekter, mens udstødnings- og purge-indtaget håndterer luftstrøm under sampling. En RGB-D-kamera fanger dybde, mens Volatile organic compound (VOC)-koncentration, temperatur og fugtighed registreres gennem integrerede sensorer, herunder en Proportional-integral-derivative  (PID)-modul og en miljø-sonde.

Cyranose-enheten kører med 2Hz, og optager 32-dimensionale lugte-tidssteg. Volatile Organic Compound (VOC)-koncentrationer blev registreret med en MiniPID2 PPM WR-sensor.

Den mobile enhed fungerede som en behændig sensor, der videregive data til en mere beregningsdygtig mobil station til behandling.

For at placere mållugten i kontekst, blev en ‘baseline-lugt’ registreret, før det mere specifikke objekt blev målrettet direkte med ‘snuden’ på Cyranose-enheten. Den ambient-prøve blev herefter taget fra en side-port i enheden, for at sikre, at den var tilstrækkeligt langt væk fra hovedlugtkilden til ikke at være forurenet.

To prøver blev taget gennem hovedindtaget på sensoren, med hver ti-sekunders optagelse fra en anden position omkring objektet, for at forbedre dataeffektiviteten. Prøverne blev herefter kombineret med den ambient-baseline til at danne en 28×32-matrix, der repræsenterer den fulde lugtemåling:

Dette eksempel viser signalen og den tilhørende billedbeskrivelse for en blomst. Den fulde lugtesignal består af en 28×32-matrix, der kombinerer en 14-ramme-ambient-baseline med to 10-sekunders-prøver taget fra forskellige vinkler omkring målobjektet.

Data og tests

Vision Language Models (VLMs) blev brugt til automatisk at mærke objekter og materialer fanget af iPhone-kameraet i Cyranose-riggen, med GPT-4o brugt til denne opgave; dog blev scene kategorier mærket manuelt:

Et lille udsnit fra en omfattende illustration i kildeartiklen, der detaljerer de forskellige lugtkilder og miljøer, der er indsamlet i projektet.

Datasettet blev opdelt i trænings- og validerings splits, med begge prøver fra hvert objekt tildelt samme split for at undgå krydsforurening. Den endelige samling består af 7.000 lugt-billede-par, der stammer fra 3.500 ulabelde objekter, samt 70 timers video og 196.000 tidssteg af rå lugtdata fra både baseline- og prøvefaser.

Data blev indsamlet over 60 sessioner i løbet af en to-måneders periode, der omfattede parker, universitetsbygninger, kontorer, gader, biblioteker, lejligheder og spisestuer, med flere sessioner gennemført på hvert sted. Den resulterende dataset indeholder 41% udendørs- og 59% indendørs miljøer.

For at udvikle generelle lugt-repræsentationer, trænede forfatterne en kontrastiv model til at associerer synkroniserede billede-lugt-par fra datasettet. Denne tilgang, den nævnte COIP, bruger en tab-funktion tilpasset fra CLIP til at justere indlejringerne af samtidige visuelle og lugt-signaler.

Træning brugte både en visuel encoder og en lugt-encoder, med målet at lære modellen at bringe matchende lugte og billeder tættere sammen i et fælles repræsentationsrum. De resulterende repræsentationer understøtter en række downstream-opgaver, herunder lugt-til-billede-henting, scene- og objektgenkendelse, materialeklassificering og fin-graned lugtdiskrimination.

Modellen blev trænet med to typer af lugt-input: den fulde rå sensor-signal og en reduceret håndlavet samlet kaldet smellprints – funktioner, der er almindeligt brugt i lugtforskning, der komprimerer hver sensors respons til et enkelt tal ved at sammenligne peak-modstanden under sampling med gennemsnitsmodstanden under den ambient-baseline.

I modsætning hertil består den rå input, der er optaget over hele New York City, af en tidsrække fra 32 kemiske sensorer inde i Cyranose-enheten, der fanger, hvordan hver sensors elektriske modstand ændrede sig over tid, da den reagerede på lugten.

Til kurering af datasettet blev denne ubearbejdede signal direkte indført i et neuralt netværk, der muliggjorde end-to-end-læring med enten en konvolutions- eller transformator-baseret baggrund. Modellerne blev trænet med både smellprints og den rå input indsamlet fra forskellige miljøer i New York City, med begge input-typer evalueret ved hjælp af kontrastiv læring.

Cross-Modal Retrieval

Cross-modal retrieval blev evalueret ved at indlejre hver lugtprøve og dens parrede billede i et fælles repræsentationsrum og teste, om det korrekte billede kunne hentes udelukkende på basis af lugt-input.

Ranking blev bestemt af nærheden af hver billed-indlejring til lugtforespørgslen i dette rum, og præstationen målt ved hjælp af gennemsnitsrang, medianrang og genkald på flere threshold-værdier:

Cross-modal retrieval-nøjagtighed for forskellige lugt-encodere, der viser, hvor godt hver model identificerer det korrekte billede fra en lugtforespørgsel. Resultaterne sammenligner arkitekturer trænet på rå lugt-signaler med dem, der bruger smellprints.

Med hensyn til disse resultater, siger forfatterne:

‘Kontrastiv præ-træning med smellprint fungerer bedre end tilfældigt i alle målinger. Dog fører træning af lugt-encoderen på den rå lugt-signal til en betydelig forbedring i forhold til smellprint-encoderen, uafhængigt af arkitektur.

‘Dette viser den rigere information, der er til stede i den rå lugt-data, og åbner for stærkere cross-modal associationer mellem syn og lugt.’

En detalje fra den syvende illustration i kildeartiklen, der er for kondenseret til at kunne reproduceres meningsfuldt her. Her vises cross-modal retrieval-eksempler, der viser, hvordan modellen forbinder lugte med matchende billeder. Hver række starter med en lugtforespørgsel, efterfulgt af de top-rangerede billedforudsigelser i det fælles indlejningsrum. Det korrekte billede for hver forespørgsel er omkranset med grøn, og viser, hvordan lugte fra bøger, planter, murer og andre materialer trækker modellen mod visuelt og semantisk relaterede scener.

Forfatterne bemærker også, at hentingsresultaterne viste tydelige semantiske mønstre:

‘Hentinger fra vores model viser ofte semantiske grupperinger. Lugten af en bog henter billeder af andre bøger, lugten af blade henter billeder af løv.

‘Disse resultater antyder, at den lærede repræsentation fanger meningsfuld cross-modal struktur.’

Scene, objekt og materiale-genkendelse

Evnen til, at modellen kan genkende lugte uden visuel input, blev evalueret ved at træne den til at identificere scener, objekter og materialer baseret udelukkende på lugt-data; til dette formål blev en lineær sonde (en simpel klassifikator trænet på frosne repræsentationer) brugt til at vurdere, hvor meget information der var kodet i de lærede lugt-indlejringerne.

Mærkerne blev afledt fra de parrede billeder i træningssættet ved hjælp af GPT-4o – men kun lugt-signalet blev brugt under klassificering.

Forskellige encoder-typer blev testet: nogle initialiseret tilfældigt, nogle trænet fra scratch, og andre trænet ved hjælp af kontrastiv læring til at justere lugt og syn i et fælles repræsentationsrum, med rå data og smellprints evalueret:

Klassificeringsnøjagtighed for scener, materialer og objekter blev vurderet ved hjælp af lugt-signaler alene. Rå sensor-input overgik smellprints, med CNN’er trænet fra scratch, der gav de højeste resultater, herunder 99,5% for scener. SSL-præ-træning hjalp i nogle tilfælde, men blev generelt overgået af overvåget træning. Tilfældige-vægt-baserede baseline-antyder, at modelkapacitet alene er utilstrækkelig.

Betydeligt højere nøjagtighed blev opnået, når rå lugt-data blev brugt, især i modeller trænet med cross-modal supervision. Forfatterne kommenterer**:

‘Modeller trænet på rå sensor-input opnår også højere nøjagtighed end modeller trænet med håndlavede smellprint-funktioner. Disse resultater viser, at dyb læring fra rå lugt-signaler er betydeligt bedre end håndlavede funktioner.’

Fin-graned diskrimination

For at vurdere, om fine-graned lugt-forskelle kunne læres, blev en benchmark bygget fra to græsarter, der samexisterer på samme campus-lawn. Alternende prøver blev indsamlet over seks 30-minutters sessioner, hvilket resulterede i 256 eksempler. En lineær klassifikator blev trænet på funktioner fra lugt-visual kontrastiv læring og evalueret på en holdt-tilbage-sæt på 42 prøver:

Nøjagtighed af græs-art-klassificering fra lugt alene. Modellerne blev evalueret på deres evne til at skelne mellem to visuelt lignende græs-typer ved hjælp af kun lugt-input. Præstationen blev sammenlignet over smellprints og rå sensor-data, med modeller enten tilfældigt initialiseret, trænet fra scratch eller trænet ved hjælp af selv-overvåget læring (SSL) efterfulgt af en lineær sonde. Den højeste nøjagtighed, 92,9%, blev opnået ved hjælp af rå lugt-signaler med SSL, hvilket antyder, at fine-graned lugt-forskelle bedst fanges gennem rå input og vision-guidet træning.

Her siger forskerne:

‘Træning på den rå lugt-sensor-signal (i stedet for håndlavede funktioner) giver den højeste nøjagtighed – overgår alle varianter baseret på smellprints.

‘Disse resultater antyder, at lugt-visual læring bevare mere fine-graned information end læring med smellprints, og at visuel supervision giver en signal til at udnytte denne information.’

Konklusion

Selv om lugtsyntese synes at forblive et uløst problem en del af vejen ind i fremtiden, har en effektiv og billig in-the-wild lugt analyse-system enorm potentiale, ikke kun for politi-, sikkerheds- og medicinske formål, men også for kvalitets- og by-overvågning.

I øjeblikket er udstyret involveret niche og som regel ret dyrt; derfor synes reel fremgang i ‘lugt-AI’ for detektion sandsynligvis at kræve en visionær og billig sensor i Raspberry PI-ånden.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

** Vær venlig at bemærke, at yderligere illustrationer (figur 8) er tilgængelige i kildeartiklen, men er bedst set i den sammenhæng.

Først udgivet fredag, den 28. november 2025