Een geur aan AI-ontwikkeling toevoegen

Een nieuwe AI-dataset leert machines om te ruiken door geurdata te koppelen aan afbeeldingen, waardoor modellen geuren kunnen koppelen aan objecten, scènes en materialen.

Misschien omdat geur-uitvoermachines zo’n bewogen geschiedenis hebben, is reuk een vrij verwaarloosde zintuig in AI-onderzoeksliteratuur. Tenzij je van plan was om nog een andere inzending te produceren in de langlopende (meer dan een eeuw, tot nu toe) smell-o-vision-saga, leken use-cases altijd nogal ‘niche’ in vergelijking met de potentieel exploitatie van beeld-, audio- en videodatasets, en de AI-modellen die daaruit getraind worden.

Feitelijk zou de mogelijkheid om de soort detectiefaciliteiten die worden aangeboden door bomhonden, lijkgehonden, ziekte-ruikhonden en diverse andere soorten hondengeur-eenheden, een opvallend voordeel zijn in gemeentelijke en veiligheidsdiensten. Ondanks de hoge vraag, is er veel meer vraag dan aanbod, en is het trainen en onderhouden van detectiehonden een dure onderneming die niet altijd een goede waarde voor geld biedt.

Tot nu toe is het meeste onderzoek dat deze studiegebied raakt, beperkt tot een laboratorium, met verzamelingen die typisch bestaan uit voorbeelden met handgemaakte kenmerken – een profiel dat meer geneigd is naar maatwerkoplossingen dan geïndustrialiseerde toepassingen.

Voorop door de neus

In deze nogal stoffige klimaat komt een interessante nieuwe academische/industriële samenwerking uit de VS, waarin een team van onderzoekers enkele maanden heeft besteed aan het catalogiseren van diverse geuren in binnen- en buitenomgevingen in New York City – en, voor het eerst, het verzamelen van afbeeldingen die geassocieerd zijn met de vastgelegde geuren:

Let op de centrale sensor, de ‘neus’ van het olfactorische apparaat. Getraind op alleen geur, gokt het model of het graniet, plastic of leer ruikt – en identificeert het zelfs de kamer waarin het zich bevindt, zonder één pixel te zien. Bron

Dit onderzoek heeft de auteurs van het nieuwe werk ertoe gebracht om een variant te ontwikkelen van het enorm populaire Contrastive Language-Image Pretraining (CLIP)-kader, dat tekst en afbeeldingen verbindt, in de vorm van Contrastive Olfaction-Image Pretraining (COIP) – dat geuren en afbeeldingen verbindt.

Boven: gesynchroniseerde video- en olfactorische sensordata worden vastgelegd in natuurlijke omgevingen met een camera-e-neus-rig. Onder links (b): een gezamenlijke insluiting wordt geleerd door cross-modale zelfsupervisie. (c): het systeem haalt visuele overeenkomsten op op basis van een enkele geurquery. (d): individuele geurmonsters worden gebruikt om omgeving, object en materiaalcategorieën te classificeren. (e): zeer vergelijkbare geuren, zoals twee soorten gras, worden onderscheiden zonder visuele input. Bron

De nieuwe dataset, getiteld New York Smells, bevat 7.000 geur-afbeeldingparen met 3.500 verschillende objecten. Toen getraind in tests, werd de nieuwe data gevonden om de populaire handgemaakte kenmerken in de relatief kleine hoeveelheid soortgelijke eerdere datasets te overtreffen.

De auteurs hopen dat hun eerste uitstapje de weg zal openen voor later en vervolgwerk naar olfactorische detectiesystemen die zijn ontworpen om in het wild te functioneren, op dezelfde manier als snuffelhonden*:

‘We zien deze dataset als een stap naar in-het-wild, multimodale olfactorische perceptie, evenals een stap naar het koppelen van zicht aan geur. Terwijl olfactie traditioneel is benaderd in beperkte instellingen, zoals kwaliteitscontrole, zijn er veel toepassingen in natuurlijke omgevingen.

‘Bijvoorbeeld, als mensen, gebruiken we constant onze reukzin om de kwaliteit van voedsel te beoordelen, gevaren te identificeren en onzichtbare objecten te detecteren.

‘Bovendien tonen veel dieren, zoals honden, beren en muizen, bovenmenselijke reukvermogens capaciteiten, wat suggereert dat de menselijke reukperceptie ver van de limiet van machinecapaciteiten is.’

Hoewel de nieuwe paper, getiteld New York Smells: A Large Multimodal Dataset for Olfaction, belooft dat data en code zullen worden vrijgegeven, is een 27GB-datafile al beschikbaar via de projectsite. Het papier is geproduceerd door negen onderzoekers van Columbia University, Cornell University en Osmo Labs.

Methode

Om materiaal te verzamelen voor de nieuwe collectie, gebruikten de onderzoekers de Cyranose 320 elektronische neus, met een iPhone gemonteerd boven de voorste inlaat om visueel te registreren welke geuren werden geregistreerd:

Een handheld-sensorkast verzamelt gepaarde video- en geurdata door een iPhone-camera op een Cyranose 320 e-neus te monteren. De snuit is gericht op objecten terwijl de uitlaat en purge-inlaat de luchtstroom tijdens het bemonsteren beheren. Een RGB-D-camera legt diepte vast, terwijl de concentratie van vluchtige organische verbindingen, temperatuur en luchtvochtigheid worden geregistreerd door geïntegreerde sensoren, waaronder een Proportional-integral-derivative (PID)-module en een milieuproef.

De Cyranose-apparaat werkt op 2Hz, waarbij 32-dimensionale olfactorische tijdstappen worden geregistreerd. De concentratie van vluchtige organische verbindingen werd geregistreerd met een MiniPID2 PPM WR-sensor.

Het draagbare apparaat functioneerde als een behendige sensor, die gegevens doorspeelde naar een meer rekenkrachtige mobiele station voor verwerking.

Om de doelgeur in context te plaatsen, werd een ‘basisgeur’ geregistreerd, voordat het specifiekere object rechtstreeks werd gericht met de ‘snuit’ van de Cyranose. Het omgevingsmonster werd vervolgens genomen van een zijpoort in het apparaat, om ervoor te zorgen dat het ver genoeg van de hoofdgeurbron was om niet te worden verontreinigd.

Twee monsters werden genomen via de hoofdinlaat van de sensor, waarbij elk tienseconden-opname werd geregistreerd vanuit een andere positie rond het object, om de gegevensefficiëntie te verbeteren. De monsters werden vervolgens gecombineerd met de basisgeur om een 28×32-matrix te vormen, die de volledige olfactorische meting vertegenwoordigde:

Dit voorbeeld toont het signaal en de overeenkomstige afbeelding voor een bloem. Het volledige olfactorische signaal bestaat uit een 28×32-matrix, die een 14-kaders-basisgeur combineert met twee 10-secondenmonsters genomen vanuit verschillende hoeken rond het doelobject.

Gegevens en tests

Visuele taalmodellen (VLM’s) werden gebruikt om automatisch objecten en materialen te labelen die door de iPhone in de Cyranose-rig werden vastgelegd, met GPT-4o gebruikt voor de taak; echter werden scène handmatig gelabeld:

Een klein voorbeeld uit een uitgebreide illustratie in het bronpaper, waarin de uiteenlopende geurbronnen en omgevingen worden getoond die in het project zijn vastgelegd.

De dataset werd gesplitst in trainings- en validatiesets, waarbij beide monsters van elk object werden toegewezen aan dezelfde set om kruisbesmetting te voorkomen. De definitieve collectie bestaat uit 7.000 olfactorisch-visuele paren, afkomstig van 3.500 ongelabelde objecten, evenals 70 uur video en 196.000 tijdstappen van ruwe olfactorische gegevens uit zowel de basis- als de monsterfase.

Gegevens werden verzameld tijdens 60 sessies gedurende een periode van twee maanden, waarin parken, universiteitsgebouwen, kantoren, straten, bibliotheken, appartementen en eetzaal werden bezocht, met meerdere sessies in elke locatie. De resulterende dataset bevat 41% buitengebieden en 59% binnengebieden.

Om algemene olfactorische representaties te ontwikkelen, trainden de auteurs een contrastief model om gesynchroniseerde beeld-geurparen uit de dataset te koppelen. Deze aanpak, de eerder genoemde COIP, gebruikt een verliesfunctie die is aangepast van CLIP om de insluitingen van co-occurrerende visuele en olfactorische signalen te aligneren.

Training gebruikte zowel een visuele encoder als een geur-encoder, met als doel het model te leren om overeenkomstige geuren en afbeeldingen dichter bij elkaar te brengen in een gedeelde representatieruimte. De resulterende representaties ondersteunen een reeks nevenactiviteiten, waaronder geur-naar-afbeelding-opname, scène- en objectherkenning, materiaalclassificatie en fijne geuronderscheiding.

Het model werd getraind met twee soorten olfactorische invoer: het volledige ruwe sensorteken en een gereduceerde, handgemaakte samenvatting, bekend als geurafdrukken – breed gebruikt kenmerken in olfactorisch onderzoek die elke reactie van de sensor comprimeren tot één getal door de piekweerstand tijdens het bemonsteren te vergelijken met de gemiddelde weerstand tijdens de basisgeur.

In tegenstelling tot de ruwe invoer, die alle 32 chemische sensoren in het Cyranose-apparaat registreert, werd de tijdens het bemonsteren opgenomen, en hoe elke sensor elektrische weerstand veranderde in de tijd als reactie op de geur.

Cross-modale opname

Cross-modale opname werd geëvalueerd door elk geurmonster en de bijbehorende afbeelding in een gedeelde representatieruimte in te sluiten, en te testen of de juiste afbeelding kon worden opgehaald op basis van alleen de olfactorische invoer.

Ranking werd bepaald door de nabijheid van elke afbeeldingsinsluiting tot de querygeur in deze ruimte, en de prestatie werd gemeten met behulp van gemiddelde rang, mediaanrang en herroepen bij meerdere drempels:

Cross-modale opname-accuratesse voor verschillende geur-encoders, waaruit blijkt hoe goed elk model de juiste afbeelding van een geurquery kan identificeren. De resultaten vergelijken architectuur getraind op ruwe olfactorische signalen met die die gebruikmaken van geurafdrukken.

Met betrekking tot deze resultaten, verklaren de auteurs:

‘Contrastieve pretraining met geurafdrukken presteert beter dan toeval in alle metrics. Echter, training van de olfactorische encoder op het ruwe olfactorische signaal leidt tot een aanzienlijke verbetering ten opzichte van de geurafdruk-encoder, onafhankelijk van de architectuur.

‘Dit toont de rijkere informatie aan die aanwezig is in de ruwe olfactorische gegevens, waardoor sterkere cross-modale associaties tussen zicht en geur ontstaan.’

Een detail uit de zevende illustratie in het bronpaper, die te gedetailleerd is om hier zinvol te reproduceren. Hier worden cross-modale opnamevoorbeelden getoond van hoe het model geuren koppelt aan overeenkomstige afbeeldingen. Elke rij begint met een geurquery, gevolgd door de top-gerangschikte afbeeldingspredicties in de gedeelde insluitingsruimte. De juiste afbeelding voor elke query is omlijnd met groen, waardoor wordt getoond hoe geuren van boeken, planten, metselwerk en andere materialen het model naar visueel en semantisch verwante scènes trekken.

De auteurs merken ook op dat de opnameresultaten duidelijke semantische patronen vertoonden:

‘Opnames van ons model vertonen vaak semantische groeperingen. De geur van een boek haalt afbeeldingen van andere boeken op, de geur van bladeren haalt afbeeldingen van bladeren op.

‘Deze resultaten suggereren dat de geleerde representatie een betekenisvolle cross-modale structuur vastlegt.’

Scène-, object- en materiaalherkenning

De mogelijkheid van het model om geuren te herkennen zonder visuele invoer werd geëvalueerd door het model te trainen om scènes, objecten en materialen te identificeren op basis van alleen olfactorische gegevens; hiertoe werd een lineaire sonde (een eenvoudige classificator getraind op bevroren representaties) gebruikt om te beoordelen hoeveel informatie was ingesloten in de geleerde geur-insluitingen.

Labels werden afgeleid van de gepaarde afbeeldingen in de trainingsset met behulp van GPT-4o – maar alleen de olfactorische signaal werd gebruikt tijdens de classificatie.

Meerdere encodertypen werden getest: sommige werden willekeurig geïnitialiseerd, sommige werden getraind van scratch, en andere werden getraind met contrastieve leren om geur en zicht in een gedeelde representatieruimte te aligneren, met ruwe gegevens en geurafdrukken geëvalueerd:

Classificatie-accuratesse voor scènes, materialen en objecten werd beoordeeld met behulp van alleen olfactorische signalen. Ruwe sensorgegevens presteerden beter dan geurafdrukken, met CNN’s getraind van scratch die de hoogste resultaten opleverden, waaronder 99,5% voor scènes. SSL-voortraining hielp in sommige gevallen, maar werd over het algemeen overtroffen door toezichtstraining. Willekeurige gewichtsbaselines geven aan dat modelcapaciteit alleen ontoereikend is.

Aanzienlijk hogere accuratesse werd behaald toen ruwe olfactorische gegevens werden gebruikt, vooral in modellen getraind met cross-modale supervisie. De auteurs merken op**:

‘Modellen getraind op ruwe sensorinvoer presteren ook beter dan modellen getraind met de handgemaakte geurafdrukken. Deze resultaten tonen aan dat diepgaand leren van ruwe olfactorische signalen aanzienlijk beter is dan handgemaakte kenmerken.’

Fijne geuronderscheiding

Om te beoordelen of fijne geuronderscheidingen konden worden geleerd, werd een benchmark opgebouwd uit twee grassoorten die samen bestaan op hetzelfde campusgrasveld. Afwisselende monsters werden verzameld tijdens zes sessies van dertig minuten, waardoor 256 voorbeelden ontstonden. Een lineaire classificator werd getraind op kenmerken van olfactorisch-visuele contrastieve leren, en geëvalueerd op een afgezonderde set van 42 monsters:

Accuratesse van grassoortclassificatie op basis van geur alleen. Modellen werden geëvalueerd op hun vermogen om twee visueel vergelijkbare grassoorten te onderscheiden met behulp van alleen olfactorische invoer. Prestaties werden vergeleken over geurafdrukken en ruwe sensorgegevens, met modellen die of willekeurig werden geïnitialiseerd, van scratch werden getraind of werden getraind met zelfsupervisie (SSL) gevolgd door een lineaire sonde. De hoogste accuratesse, 92,9%, werd behaald met ruwe olfactorische signalen en SSL, wat aangeeft dat fijne geurverschillen het beste worden vastgelegd door ruwe invoer en visuele training.

Hier verklaren de onderzoekers:

‘Training op het ruwe olfactorische sensorteken (in plaats van handgemaakte kenmerken) levert de hoogste accuratesse – en overtreft alle varianten op basis van geurafdrukken.

‘Deze resultaten suggereren dat olfactorisch-visueel leren meer fijne informatie vastlegt dan leren met geurafdrukken, en dat visuele supervisie een signaal biedt voor het benutten van deze informatie.’

Conclusie

Hoewel geursynthese waarschijnlijk nog een onopgelost probleem zal blijven voor een tijdje, heeft een effectief en betaalbaar in-het-wild-geuranalyse-systeem enorm potentieel, niet alleen voor politie-, veiligheids- en medische doeleinden, maar ook voor kwaliteit van leven en stedelijke monitoring.

Op dit moment is de apparatuur die hierbij betrokken is, niche en meestal vrij duur; daarom zal echte vooruitgang in ‘olfactorische AI’ voor detectie waarschijnlijk een visionair en betaalbaar sensor in de Raspberry PI-geest vereisen.

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.

** Let op dat verdere illustraties (figuur 8) beschikbaar zijn in het bronpaper, maar het beste in die context worden bekeken.

Eerst gepubliceerd op vrijdag 28 november 2025