Přinášejí smysl pro čich do vývoje AI

Nový dataset AI učí stroje čichat asociací čichových dat s obrázky, aby modely mohly odpovídat pachy na objekty, scény a materiály.

Možná proto, že stroje s výstupem čichu mají tak pohnutou historii, je čich relativně zanedbávaným smyslem ve výzkumu AI. Pokud jste neplánovali vytvořit další příspěvek do dlouho běžící (více než století, do dneška) ságy smell-o-vision, použití případů se vždy zdálo spíše “nišovým” ve srovnání s potenciálním využitím obrazových, audio a video dat a modelů AI, které jsou z nich trénovány.

Ve skutečnosti by možnost automatizace, industrializace a popularizace detekčních zařízení, nabízených bombovými psy, psy pro vyhledávání mrtvých těl, psy pro vyhledávání nemocí a různých dalších typů psích čichacích jednotek, by byla významným přínosem pro městské a bezpečnostní služby. Navzdory vysoké poptávce, je velmi nad nabídkou, trénování a údržba detekčních psů je drahý podnik, který ne vždy nabízí dobrou hodnotu za peníze.

Do dneška, většina výzkumu, který zasahuje do této oblasti studia, byla omezena na laboratoř, s kuriózními sbírkami, které typicky sestávají z příkladů s ručně vytvořenými funkcemi – profilem, který je více nakloněn k individuálním řešení než průmyslovým aplikacím.

Vpředu o nos

Do tohoto poněkud zaprášeného klimatu přichází zajímavá nová akademicko-průmyslová spolupráce z USA, ve které tým výzkumníků strávil několik měsíců katalogizací různých pachů v vnitřních a vnějších prostředích v New Yorku – a poprvé shromáždil obrázky spojené s zachycenými pachy:

Všimněte si centrálního senzoru, ‘nosu’ čichového zařízení. Trénován pouze na pach, model odhaduje, zda čichá granit, plast nebo kůži – a dokonce identifikuje místnost, ve které se nachází, bez zobrazení jediného pixelu. Zdroj

Tento výzkum vedl autory nové práce k vytvoření variace na velmi populární framework Contrastive Language-Image Pretraining (CLIP), který spojuje text a obrázky, ve formě Contrastive Olfaction-Image Pretraining (COIP) – který spojuje pachy a obrázky.

Nahoře: synchronizované video a čichové senzorové údaje jsou zachyceny v přirozených prostředích pomocí kamery-e-nos rigu. Dole vlevo (b): společné vložené jsou naučeny prostřednictvím cross-modální samo-supervize. (c): systém načte vizuální shody na základě jediného pachového dotazu. (d): jednotlivé pachové vzorky se používají k klasifikaci prostředí, objektů a materiálů. (e): velmi podobné pachy, jako dva typy trávy, jsou rozlišeny bez vizuálního vstupu. Zdroj

Nový dataset, nazvaný New York Smells, obsahuje 7 000 párů pachů a obrázků s 3 500 různými objekty. Když byl trénován v testech, nový dataset byl nalezen jako lepší než populární ručně vytvořené funkce v relativně malém počtu podobných předchozích datasetů.

Autoři doufají, že jejich počáteční výstup otevře cestu pro pozdější a následné práce na čichových detekčních systémech, navržených pro provoz v divočině, podobně jako to dělají čichací psi*:

‘Vidíme tento dataset jako krok směrem k čichovému vnímání v divočině, stejně jako krok směrem k propojení zraku a čichu. Zatímco čich byl tradičně přístupován v omezených prostředích, jako je kontrola kvality, existuje mnoho aplikací v přirozených prostředích.

‘Například, jako lidé, neustále používáme svůj čich, abychom zhodnotili kvalitu potravin, identifikovali nebezpečí a detekovali neviditelné objekty.

‘Navíc, mnoho zvířat, jako psi, medvědi a myši, ukazuje nadlidské čichové schopnosti, naznačující, že lidské čichové vnímání je daleko od limitu strojních schopností.’

Ačkoli nová práce, nazvaná New York Smells: Velký multimodální dataset pro čich, slibuje, že data a kód budou uvolněny, 27GB datový soubor je již k dispozici prostřednictvím projektové stránky. Práce byla vyrobena devíti výzkumníky napříč Columbijskou univerzitou, Cornellovou univerzitou a Osmo Labs.

Metoda

Pro sběr materiálu pro novou sbírku, výzkumníci použili Cyranose 320 elektronický nos, s iPhone připevněným nad předním vstupem, aby zachytil vizuálně, co pachy byly registrovány:

Ruku držený senzorový rig shromažďuje spárované video a pachová data tím, že připevňuje iPhone kameru na Cyranose 320 e-nos. Čumák je zaměřen na objekty, zatímco výfuk a purge inlet spravují průtok vzduchu během vzorkování. RGB‑D kamera zachycuje hloubku, zatímco koncentrace VOC, teplota a vlhkost jsou zaznamenány prostřednictvím integrovaných senzorů, včetně PID modulu a environmentálního probe.

Cyranose zařízení běží na 2Hz, zaznamenává 32-rozměrové čichové časové kroky. Koncentrace VOC byly zaznamenány s MiniPID2 PPM WR senzorem.

Přenosný jednotka fungovala jako hbitý senzor, přenášející data do více výpočetně schopného mobilního stanice pro zpracování.

Pro umístění cílového pachu do kontextu, byl registrován “základní pach”, předtím, než byl cílový objekt zaměřen přímo “čumákem” Cyranose. Ambientní vzorek byl poté odebrán ze strany jednotky, aby se zajistilo, že je dostatečně vzdálen od hlavního pachového zdroje, aby nebyl kontaminován.

Dva vzorky byly odebrány z hlavního vstupu senzoru, s každým 10-sekundovým záznamem zachyceným z jiného místa kolem objektu, aby se zlepšila efektivita dat. Vzorky byly poté kombinovány s ambientním základem, aby vytvořily 28×32 matici, reprezentující plné čichové měření:

Tento příklad ukazuje signál a odpovídající obrázek pro květinu. Plný čichový signál se skládá z 28×32 matice, kombinující 14-rámcový ambientní základ s dvěma 10-sekundovými vzorky odebranými z různých úhlů kolem cílového objektu.

Data a testy

Modely jazyka a zraku (VLMs) byly použity k automatickému označení objektů a materiálů zachycených iPhonem v Cyranose rigu, s GPT-4o použitým pro úkol; nicméně, kategorie scén byly ručně označeny:

Malý vzorek z rozsáhlé ilustrace v zdrojovém dokumentu, který podrobně popisuje různé pachové zdroje a prostředí zachycené v projektu.

Dataset byl rozdělen do trénovacích a validačních částí, s oběma vzorky z každého objektu přiřazeny ke stejné části, aby se zabránilo zkřížené kontaminaci. Konečná sbírka se skládá z 7 000 olfaktoricko-vizuálních párů odvozených z 3 500 nelabelovaných objektů, spolu s 70 hodinami videa a 196 000 časovými kroky surových čichových dat z obou fází.

Data byla shromážděna napříč 60 relacemi po dobu dvou měsíců, pokrývající parky, univerzitní budovy, kanceláře, ulice, knihovny, byty a jídelny, s několika relacemi provedenými na každém místě. Výsledný dataset obsahuje 41% venkovních a 59% vnitřních prostředí.

Pro vývoj obecných čichových reprezentací, autoři trénovali kontrastní model, aby spojili synchronizované obrazové a pachové páry z datasetu. Tento přístup, výše zmíněný COIP, používá funkci ztráty adaptovanou z CLIP, aby zarovnal vložené vizuálních a čichových signálů.

Trénování používalo jak vizuální, tak čichový kódovací, s cílem naučit model, aby přibližoval shodné pachy a obrázky v sdíleném reprezentačním prostoru. Výsledné reprezentace podporují řadu následujících úkolů, včetně pachové rekonstrukce, scénické a objektové rozpoznání, materiálové klasifikace a jemné rozlišení pachů.

Model byl trénován s dvěma typy čichových vstupů: plným surovým signálem a zkráceným ručně vytvořeným souhrnem, nazývaným smellprint – široce používané funkce v čichovém výzkumu, které komprimují každou odpověď senzoru do jediného čísla, porovnáním špičkové odporu během vzorkování s průměrným odporem během ambientního základu.

Naproti tomu, surový vstup zaznamenaný v celém New Yorku se skládá z časové řady z 32 chemických senzorů uvnitř Cyranose zařízení, zachycující, jak se každý senzorův elektrický odpor změnil v průběhu času, jak reagoval na pach.

Pro kuraci datasetu, tento nezpracovaný signál byl zaveden přímo do neuronové sítě, umožňující koncové učení s buď konvoluční nebo transformer-založeným základem. Modely byly trénovány s oběma smellprinty a surovými vstupy shromážděnými z různých prostředí v New Yorku, s oběma typy vstupů hodnocenými pomocí kontrastního učení.

Překřížená rekonstrukce

Překřížená rekonstrukce byla hodnocena vložením každého pachového vzorku a jeho spárovaného obrázku do sdíleného reprezentačního prostoru a testováním, zda lze správný obrázek rekonstruovat pouze na základě čichového vstupu.

Řazení bylo určeno blízkostí každé obrazové vložené k pachovému dotazu v tomto prostoru a výkon byl měřen pomocí průměrného řazení, mediánového řazení a přesnosti na více prahových hodnotách:

Překřížená rekonstrukční přesnost pro různé čichové kódovací, ukazující, jak dobře každý model identifikuje správný obrázek z pachového dotazu. Výsledky srovnávají architektury trénované na surových čichových signálech s těmi, které používají smellprinty.

Ohledně těchto výsledků, autoři uvádějí:

‘Kontrastní předtrénování pomocí smellprintu funguje lépe než náhoda ve všech metrikách. Nicméně, trénování čichového kódovacího na surovém čichovém signálu vede k významnému zlepšení ve srovnání se smellprintovým kódováním, nezávisle na architektuře.

‘To ukazuje bohatší informace přítomné v surových čichových datech, odemykající silnější překřížené asociace mezi zrakem a čichem.’

Podrobnost ze sedmé ilustrace v zdrojovém dokumentu, která je příliš kondenzovaná, aby se zde mohla reprodukovat smysluplně. Zde jsou příklady překřížené rekonstrukce, ukazující, jak model spojuje pachy s odpovídajícími obrázky. Každý řádek začíná pachovým dotazem, následovaným top-rankovanými obrazovými předpověďmi ve sdíleném vloženém prostoru. Správný obrázek pro každý dotaz je obklopen zelenou barvou, ilustrující, jak pachy z knih, rostlin, zdiva a dalších materiálů táhnou model směrem k vizuálně a sémanticky souvisejícím scénám.

Autoři také uvádějí, že výsledky rekonstrukce ukazují zřetelné sémantické vzorce:

‘Rekonstrukce z našeho modelu často ukazují sémantická seskupení. Pach knihy rekonstruuje obrázky dalších knih, pach listů rekonstruuje obrázky listoví.

‘Tyto výsledky naznačují, že naučená reprezentace zachycuje smysluplnou překříženou strukturu.’

Scénická, objektová a materiálová rozpoznání

Schopnost modelu rozpoznat pachy bez vizuálního vstupu byla hodnocena trénováním modelu, aby identifikoval scény, objekty a materiály na základě pouze čichových dat; k tomuto účelu byl použit lineární sondu (jednoduchý klasifikátor trénovaný na zmrazených reprezentacích) pro posouzení, kolik informací bylo zakódováno v naučených čichových vložených:

Štítky byly odvozeny z párovaných obrázků v trénovacím souboru pomocí GPT-4o – ale pouze čichový signál byl použit během klasifikace.

Byly testovány různé typy kódovacích: některé inicializovány náhodně, některé trénovány od začátku a některé trénovány pomocí kontrastního učení, aby se zarovnaly čich a zrak ve sdíleném reprezentačním prostoru, s surovými daty a smellprinty hodnocenými:

Klasifikační přesnost pro scény, materiály a objekty byla hodnocena pomocí pouze čichových signálů. Surové senzorové vstupy překonaly smellprinty, s CNNs trénovanými od začátku, které poskytly nejvyšší výsledky, včetně 99,5% pro scény. SSL předtrénování pomohlo v některých případech, ale bylo obecně překonáno supervizovaným trénováním. Náhodné váhové základy ukazují, že kapacita modelu sama o sobě je nedostatečná.

Byla získána podstatně vyšší přesnost, když byly použity surové čichové data, zejména v modelech trénovaných s cross-modální supervizí. Autoři komentují**:

‘Modely trénované na surových senzorových vstupech také dosahují vyšší přesnosti než modely trénované s ručně vytvořenými smellprintovými funkcemi. Tyto výsledky ukazují, že hluboké učení ze surových čichových signálů je významně lepší než ručně vytvořené funkce.’

Jemné rozlišení

Pro posouzení, zda lze naučit jemné rozlišení pachů, byl postaven benchmark z dvou druhů trávy, které koexistují na stejné univerzitní trávě. Střídavě byly shromážděny vzorky po dobu šesti 30-minutových relací, poskytující 256 příkladů. Lineární klasifikátor byl trénován na funkcích z čichově-vizuální kontrastní supervize a hodnocen na odděleném souboru 42 vzorků:

Přesnost klasifikace druhů trávy z pachu. Modely byly hodnoceny na jejich schopnost rozlišit mezi dvěma vizuálně podobnými druhy trávy pomocí pouze čichového vstupu. Výkon byl srovnán napříč smellprinty a surovými daty, s modely buď náhodně inicializovanými, trénovanými od začátku nebo trénovanými pomocí samo-supervizovaného učení (SSL) následovaného lineárním sondou. Nejvyšší přesnost, 92,9%, byla dosažena pomocí surových čichových signálů se SSL, ukazující, že jemné rozlišení pachů je nejlépe zachyceno prostřednictvím surových vstupů a vizuálně-vedeného trénování.

Zde výzkumníci uvádějí:

‘Trénování na surovém čichovém senzorovém signálu (místo ručně vytvořených funkcí) vede k nejvyšší přesnosti – překonávající všechny varianty založené na smellprintech.

‘Tyto výsledky naznačují, že čichově-vizuální učení zachovává více jemných informací než učení se smellprinty, a že vizuální supervize poskytuje signál pro využití této informace.’

Závěr

Ačkoli syntéza pachu se zdá být problémem, který zůstane nevyřešeným po nějakou dobu, efektivní a dostupný systém pro analýzu pachu v divočině má enormní potenciál, nejen pro policejní, bezpečnostní a lékařské účely, ale také pro kvalitu života a městské monitorování.

V současné době je zařízení zapojené do tohoto procesu ničivé a obvykle poměrně drahé; proto skutečný pokrok v “čichovém AI” pro detekci se zdá být závislý na vizi a dostupném senzoru v duchu Raspberry PI.

* Moje konverze autorů inline citací na hypertextové odkazy.

** Vezměte prosím na vědomí, že další ilustrace (obrázek 8) jsou k dispozici v zdrojovém dokumentu, ale jsou nejlépe prohlíženy v tom kontextu.

Poprvé publikováno v pátek, 28. listopadu 2025