Haju aistin tuominen tekoälykehitykseen

Uusi tekoälydataset opettaa koneille hajuamisen liittämällä hajudatan kuvien kanssa, jolloin mallit voivat yhdistää hajut esineisiin, kohteisiin ja materiaaleihin.

Luultavasti siksi, että hajuulostuslaitteet ovat ollut niin vaihtelevia, hajuaisti on melko laiminlyöty aisti tekoälytutkimuksessa. Ellei sinä aikonut tehdä toista osaa smell-o-vision-sarjaan, soveltamisalat ovat aina vaikuttaneet melko erikoistuneilta verrattuna kuvien, äänen ja videoiden datasetien ja niiden koulutettujen tekoälymallien hyödyntämismahdollisuuksiin.

Todellisuudessa mahdollisuus automatisoida, teollistaa ja tehdä suositun pommitutkijakoirien, kuolintutkijakoirien, sairautta haistavien koirien ja muiden erilaisten koiranenäyksiköiden tarjoamia havaintopalvelujen hyödyntäminen olisi merkittävä etu kunnallisissa ja turvallisuuspalveluissa. Vaikka kysyntä on korkea, tarjonta on selvästi ylituotantoa, ja tutkijakoirien koulutus ja ylläpito on kallis asia, joka ei aina tarjoa hyvää vastinetta rahalle.

Tähän asti suurin osa tämän alan tutkimuksesta on ollut laboratoriossa, ja kuratoiduissa kokoelmissa on tyypillisesti ollut käsin tehtyjä piirteitä – profiili, joka on enemmän käsin tehtyjä ratkaisuja kuin teollisia sovellutuksia.

Edellä kuin nenä

Tähän melko tunkkaiseen ilmapiiriin tulee mielenkiintoinen uusi akateeminen/teollinen yhteistyö Yhdysvalloista, jossa tutkijaryhmä vietti useita kuukausia kartoittamalla erilaisia hajuja sisä- ja ulkoympäristöissä New Yorkissa – ja keräsi ensimmäistä kertaa kuvia, jotka liittyvät tallennettuihin hajuihin:

Huomaa keskellä oleva anturi, hajulaitteen ‘nenä’. Vain hajun perusteella koulutettu malli arvaa, haistaaanko graniittia, muovia vai nahkaa – ja tunnistaa myös huoneen, jossa se on, ilman yhtään näkyvää kuvaa. Lähde

Tämä tutkimus on johtanut tekijöiden kehittämään uuden työn, joka perustuu suositun CLIP -kehykseen, joka yhdistää tekstin ja kuvat, muodossa Contrastive Olfaction-Image Pretraining (COIP) – joka yhdistää hajut ja kuvat.

Yläreuna: videon ja hajusensordatan synkronoitu tallennus luonnollisissa olosuhteissa käyttäen kamera-e-nenä-rakennetta. Alareuna (b): yhteinen upottaminen opitaan ristimodaalisen itsevalvonnan kautta. (c): järjestelmä hakee visuaalisia vastineita pelkästään hajukyselyyn perustuen. (d): yksittäiset hajunäytteet luokitellaan ympäristön, kohteen ja materiaalin luokkiin. (e): erittäin samankaltaiset hajut, kuten kaksi ruohotyypin hajua, erotetaan ilman visuaalista syötettä. Lähde

Uusi dataset, joka on nimeltään New York Smells, sisältää 7 000 haju-kuvaparia, joissa on 3 500 eri esinettä. Kokeissa uusi data osoittautui ylittävän suositun käsin tehdyn piirteiden suosituksen useissa aiemmissa vastaavissa dataseteissä.

Tekijät toivovat, että heidän alkuvaiheensa avaa tien myöhemmille ja jatkuville töille hajututkimusjärjestelmiin, jotka on suunniteltu toimimaan villinä, samalla tavalla kuin haistelukoirat*:

‘Me näemme tämän datasetin askelena villiin, multimodaaliseen hajuaistimukseen sekä askelena yhdistämään näkemisen ja hajun. Vaikka hajuaisti on perinteisesti lähestytty rajoitetuissa olosuhteissa, kuten laadunvarmistuksessa, on monia sovellutuksia luonnollisissa olosuhteissa.

‘Esimerkiksi ihmisinä käytämme jatkuvasti hajuaistiamme arvioidaksemme ruoan laadun, tunnistamaan vaarat ja havaitsemaan näkymättömiä esineitä.

‘Lisäksi monet eläimet, kuten koirat, karhut ja hiiret, osoittavat yliluonnollisia hajuaistimiskykyjä kykyjä, mikä osoittaa, että ihmisen hajuaisti on kaukana koneiden kyvyistä.’

Vaikka uusi tutkimus, joka on nimeltään New York Smells: A Large Multimodal Dataset for Olfaction, lupaa, että data ja koodi julkaistaan, 27 Gt:n kokoinen datatiedosto on jo saatavilla tutkimuksen projektisivustolta. Tutkimus on tehty yhdeksän tutkijan voimin Columbian yliopistosta, Cornellin yliopistosta ja Osmo Labsista.

Menetelmä

Kerätäkseen aineistoa uuteen kokoelmaan tutkijat käyttivät Cyranose 320 -sähköistä nenää, johon oli kiinnitetty iPhone kameran yläpuolelle tallentamaan visuaalisesti, mitä hajuja rekisteröitiin:

Kädessä pidettävä anturirunko kerää parittaisia video- ja hajudatia luonnollisissa olosuhteissa kiinnittämällä iPhone-kameran Cyranose 320 -e-nenään. Nenä osoittaa kohteita, kun taas päästö- ja imuputki hallitsevat ilmavirtausta näytteenottovaiheessa. RGB-D-kamera tallentaa syvyyden, kun taas haihtuvien orgaanisten yhdisteiden (VOC) keskitys, lämpötila ja kosteus mitataan integroiduilla sensoreilla, mukaan lukien Proportional-integral-derivative  (PID) -moduuli ja ympäristöanturi.

Cyranose-laite toimii 2 Hz:n taajuudella ja tallentaa 32-ulotteisia hajuaikamuotoja. Haihtuvien orgaanisten yhdisteiden (VOC) pitoisuuksia mitattiin MiniPID2 PPM WR -anturilla.

Kädessä pidettävä yksikkö toimi ketteränä anturina ja välitti tietoja enemmän laskentakykyiseen kannettavaan asemaan prosessointia varten.

Tunnistamaan kohdehajun kontekstin rekisteröitiin “taustahaju”, ennen kuin kohde-esineä kohdistettiin suoraan Cyranosen “nenään”. Taustanäyte otettiin yksikön sivuportista, jotta se oli riittävän kaukana pääasiallisesta hajulähteestä, jotta se ei olisi saastunut.

Kaksi näytettä otettiin pääsensornin pääsisääntulosta, ja kummankin 10-sekuntisen tallennuksen otettiin eri paikoista esineen ympärillä parantamaan datan tehokkuutta. Näytteet yhdistettiin taustahajuun muodostamaan 28×32-matriisia, joka edustaa täydellistä hajumittausta:

Tässä esimerkissä näkyy signaali ja vastaava kuva kukasta. Täydellinen hajusignaali koostuu 28×32-matriisista, joka yhdistää 14-kehyksen taustahajun ja kaksi 10-sekuntisen näytettä, jotka on otettu eri kulmista kohde-esineen ympärillä.

Data ja testit

Visuaaliset kieli- ja mallit (VLM) käytettiin automaattisesti merkintöjen luomiseen esineille ja materiaaleille, jotka iPhone tallensi Cyranose-rungossa, GPT-4o käytettiin tehtävään; kuitenkin kohteen luokat merkittiin manuaalisesti:

Pieni otos laajasta kuvauksesta alkuperäisessä tutkimuksessa, jossa on esitetty moninaisia hajulähteitä ja ympäristöjä, joita projekti on käsittelyssä.

Datasetti jaettiin koulutus- ja validointijakoihin, ja molemmat esineen näytteet määriteltiin samalle jakolle estämään ristivalkaisu. Lopullinen kokoelma koostuu 7 000 haju-näkymäparista, jotka on poimittu 3 500:sta merkinnätöntä esinetä, sekä 70 tuntia videota ja 196 000 aikamuotoa raakaa hajudatia sekä taustavaiheesta että näytteenottovaiheesta.

Dataa kerättiin 60 istunnossa kahden kuukauden aikana, ja istunnot pidettiin puistoissa, yliopistorakennuksissa, toimistoissa, kaduilla, kirjastoissa, asunnoissa ja ruokailutiloissa, ja useita istuntoja pidettiin jokaisessa paikassa. Tuloksena oleva datasetti sisältää 41 %:a ulko- ja 59 %:a sisäympäristöjä.

Yleispätevien hajurepresentaatioiden kehittämiseksi tutkijat kouluttivat kontrastimallin liittämään synkronoituja kuva-hajupareja datasetistä. Tämä lähestymistapa, edellä mainittu COIP, käyttää häviöfunktiota, joka on sovellettu CLIP:stä, jotta visuaalisten ja hajuisien signaalien upotukset voidaan kohdistaa yhteiseen esitystilaan.

Koulutuksessa käytettiin sekä visuaalista koodausta että hajukoodausta, ja tavoitteena oli opettaa malli lähentämään vastaavia hajuja ja kuvia yhteisessä esitystilassa. Tuloksena olevat representaatiot tukevat monia alihankkeita, kuten hajun ja kuvan hakua, kohteen ja materiaalin tunnistamista sekä hienojakoinen hajuerottelua.

Malli koulutettiin käyttäen kahta tyyppistä hajusyötettä: täysin raakaa anturisignaalia ja tiivistettyä, käsin tehtyä tiivistelmää, jota kutsutaan hajupiirroksiksi – laajasti käytettyjä piirteitä hajututkimuksessa, jotka pakkaavat kunkin anturin vastauksen yhteen lukuun vertaamalla huippuresistanssia näytteenottovaiheessa keskimääräiseen resistanssiin taustahajuvaiheessa.

Toisin sanoen raaka syöte, joka on tallennettu ympäri New Yorkia, koostuu aikasarjasta 32:sta kemiallisesta anturista Cyranose-laitteessa, tallentamalla, miten kunkin anturin sähkönjohtavuus muuttui ajan myötä, kun se reagoi hajuun.

Datasetin kuratointiin tämä käsittelemätön signaali syötettiin suoraan neuroverkkoon, jolloin mahdollisti päästäväisen oppimisen joko konvoluution tai transformaattorin perustana. Mallit koulutettiin sekä hajupiirroksilla että raaka syötettä, joka kerättiin eri ympäristöistä New Yorkissa, ja molemmat syötteet arvioitiin kontrastiivisen oppimisen avulla.

Ristimodaalinen hakeminen

Ristimodaalista hakua arvioitiin upottamalla kunkin hajunäytteen ja sen parillinen kuva yhteiseen esitystilaan ja testaamalla, voitiinko oikea kuva hakea pelkästään hajusyötteen perusteella.

Luokitus määritettiin kunkin kuvaupotukseen lähimmän etäisyyden perusteella tässä tilassa, ja suorituskyky mitattiin keskiarvon, mediaaniarvon ja palautusarvon useilla kynnyksillä:

Ristimodaalisen hakemisen tarkkuus eri hajukoodareiden osalta, jotka osoittavat, miten hyvin kunkin malli tunnistaa oikean kuvan hajukyselystä. Tulokset vertailevat arkkitehtuureja, jotka on koulutettu raakaisiin hajusignaaleihin, niitä, jotka käyttävät hajupiirroksia.

Tutkijat toteavat näistä tuloksista:

‘Kontrastiivinen esikoulutus hajupiirroksilla suorittaa paremmin kuin sattuma kaikissa mittareissa. Kuitenkin hajukoodarin kouluttaminen raakaisiin hajusignaaleihin johtaa merkittävään parantumiseen verrattuna hajupiirroksia käyttävään koodariin, riippumatta arkkitehtuurista.

‘Tämä osoittaa rikkaamman tiedon läsnäolon raakaisissa hajudatassa, joka avaa voimakkaampia ristimodaaalisia yhteyksiä näön ja hajun välillä.’

Yksityiskohta seitsemännestä kuvauksesta alkuperäisessä tutkimuksessa, joka on liian tiivis toistaa tähän. Tässä ristimodaalisen hakemisen esimerkit, jotka osoittavat, miten malli liittää hajut vastaaviin kuviin. Kunkin rivin alku on hajukysely, seurataan ylhäältä alas sijoitettuja kuva-arvioita yhteisessä upotusavaruudessa. Oikea kuva kunkin kyselyn kohdalla on vihreällä kehyksellä, osoittaen, miten hajut kirjoista, kasveista, muurauksesta ja muista materiaaleista ohjaavat mallia visuaalisesti ja semanttisesti liittyviin kohteisiin.

Tutkijat toteavat myös, että hakutulokset osoittivat selviä semanttisia ryhmiä:

‘Hakumme tulokset usein osoittavat semanttisia ryhmiä. Kirjan haju hakee kuvia kirjoista, lehtien haju hakee kuvia kasvillisuudesta.

‘Nämä tulokset osoittavat, että opittu representaatio ottaa kiinni tarkoituksenmukaisesta ristimodaaalisesta rakenteesta.’

Kohteen, materiaalin ja ympäristön tunnistaminen

Mallin kykyä tunnistaa hajut ilman visuaalista syötettä arvioitiin kouluttamalla sitä tunnistamaan kohteita, materiaaleja ja ympäristöjä pelkästään hajudatan perusteella; tähän tarkoitukseen käytettiin lineaarista tutkintaa (yksinkertaista luokittelijaa, joka on koulutettu jäädytettyihin representaatioihin).

Luokat johdettiin parittaisista kuvista koulutusjoukossa käyttäen GPT-4o:ta – mutta ainoastaan hajusignaalia käytettiin luokittelussa.

Moneksi koodarityyppiä testattiin: jotkut alkoivat satunnaisesti, jotkut koulutettiin alusta alkaen, ja jotkut koulutettiin kontrastiivisen oppimisen avulla yhdistämään haju ja näkemys yhteiseen esitystilaan, ja sekä raakaa dataa että hajupiirroksia arvioitiin:

Luokittelun tarkkuus kohteille, materiaaleille ja ympäristöille arvioitiin pelkästään hajusignaaleilla. Raaka anturisyöte ylitti hajupiirrokset, ja CNN:t, jotka koulutettiin alusta alkaen, antoivat korkeimmat tulokset, mukaan lukien 99,5 %:n kohteille. SSL-esikoulutus auttoi joissakin tapauksissa, mutta yleensä se ylittyi valvotulla koulutuksella. Sattumanvaraiset painotukset osoittavat, että mallin kapasiteetti yksinään ei riitä.

Merkitsevästi korkeampi tarkkuus saavutettiin, kun raakaa hajudatia käytettiin, erityisesti malleissa, jotka oli koulutettu ristimodaaalisella valvonnalla. Tutkijat toteavat**:

‘Mallit, jotka on koulutettu raakaisiin aistisignaaleihin, saavuttavat myös korkeamman tarkkuuden kuin mallit, jotka on koulutettu käsin tehtyihin hajupiirroksiin. Nämä tulokset osoittavat, että syvä oppiminen raakaisista hajusignaaleista on merkittävästi parempaa kuin käsin tehtyjen piirteiden käyttäminen.’

Hienojakoinen erottelu

Arvioidakseen, voidaanko hienojakoinen hajuerottelu oppia, rakennettiin vertailu kahden ruohotyypin välille, jotka kasvoivat samalla kampuksella. Vuorotellen otetut näytteet kerättiin kuuden 30 minuutin istunnon aikana, ja niistä saatiin 256 esimerkkiä. Lineaari luokittelija koulutettiin hajun ja kuvan kontrastiivisen oppimisen piirteistä, ja arvioitiin pidätetyssä joukossa 42 näytteestä:

Ruohotyypin luokittelun tarkkuus pelkästään hajun perusteella. Mallit arvioitiin niiden kyvystä erottaa kaksi visuaalisesti samankaltaista ruohotyyppiä käyttäen ainoastaan hajusyötettä. Suorituskyky vertailtiin hajupiirrosten ja raakojen anturidatien välillä, ja malleja joko satunnaistettiin, koulutettiin alusta alkaen tai koulutettiin itseopillisella oppimisella (SSL), seurattuna lineaarisella tutkinnalla. Korkein tarkkuus, 92,9 %, saavutettiin käyttäen raakaa hajusignaalia SSL:llä, osoittaen, että hienojakoinen hajuerottelu on parhaiten pyydystetty raakaisilla syötteillä ja visuaalisella koulutuksella.

Tutkijat toteavat:

‘Kouluttaminen raakaan hajusignaaliin (sen sijaan, että käytettäisiin käsin tehtyjä piirteitä) antaa korkeimman tarkkuuden – ylittäen kaikki hajupiirroksiin perustuvat variantit.

‘Nämä tulokset osoittavat, että hajun ja kuvan oppiminen säilyttää enemmän hienojakoinen tieto kuin oppiminen hajupiirroksilla, ja että visuaalinen valvonta tarjoaa signaalin tämän tiedon hyödyntämiseen.’

Johtopäätös

Vaikka hajusynteesi näyttää säilyvän ratkaisemattomana ongelmana vielä pitkään, tehokas ja edullinen villin hajuanalyysijärjestelmä, jolla on valtava potentiaali, ei ainoastaan poliisi-, turvallisuus- ja lääketieteellisissä tarkoituksissa, vaan myös elämänlaadun ja kaupunkiseurannan seurannassa.

Tällä hetkellä laitteistot ovat yleensä erikoistuneita ja usein melko kalliita; siten oikea edistysaskel “hajutekoälyssä” näyttää vaativan visionäärisen ja edullisen anturin Raspberry PI -hengessä.

* Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

** Huomaa, että lisää kuvia (kuva 8) on saatavilla alkuperäisessä tutkimuksessa, mutta ne ovat parhaiten katseltavissa siinä kontekstissa.

Julkaistu ensimmäisen kerran perjantaina 28. marraskuuta 2025