Przynosząc zmysł węchu do rozwoju sztucznej inteligencji

Nowy zestaw danych AI uczy maszyn węchu, łącząc dane węchu z obrazami, pozwalając modelom dopasowywać zapachy do obiektów, scen i materiałów.

Może dlatego, że maszyny wytwarzające zapachy mają taką burzliwą historię, węch jest dość zaniedbanym zmysłem w literaturze badawczej AI. Chyba, że planujesz wyprodukować kolejny wpis w długiej serii (trwającej już ponad wiek) smell-o-vision saga, przypadki użycia wydawały się dość „niszowe” w porównaniu z potencjalnym wykorzystaniem zestawów danych obrazów, dźwięków i filmów oraz modeli AI szkolonych z nich.

W rzeczywistości możliwość zautomatyzowania, uprzemysłowienia i popularyzacji rodzaju urządzeń wykrywających, oferowanych przez psy wykrywające bomby, psy wykrywające zwłoki, psy wąchające choroby oraz różne inne rodzaje psów węszących, byłby znaczącą korzyścią w usługach komunalnych i bezpieczeństwa. Pomimo wysokiego popytu, znacznie przewyższa podaż, szkolenie i utrzymanie psów wykrywających jest drogim przedsięwzięciem, które nie zawsze daje dobrej jakości wyniki.

Do tej pory większość badań, które dotykają tej dziedziny, była ograniczona do laboratoriów, z kuratorowanymi kolekcjami, które składają się z przykładów o ręcznie wykonanych cechach – profilem bardziej skłaniającym się ku rozwiązaniom w stylu rzemieślniczym niż przemysłowym.

Wyprzedzając nos

W tym dość przytłaczającym klimacie pojawia się ciekawa nowa współpraca akademicko-przemysłowa z USA, w której zespół badaczy spędził kilka miesięcy na katalogowaniu różnych zapachów w środowiskach wewnętrznych i zewnętrznych w Nowym Jorku – i po raz pierwszy, gromadząc obrazy związane z wykrytymi zapachami:

Zwróć uwagę na centralny czujnik, „nos” urządzenia węchowego. Uczony tylko na zapachu, model zgaduje, czy wącha granit, plastik czy skórę – i nawet identyfikuje pomieszczenie, w którym się znajduje, bez widzenia jednego piksela. Źródło

Te badania doprowadziły autorów nowej pracy do opracowania wariacji na bardzo popularnej ramie Contrastive Language-Image Pretraining (CLIP), która łączy tekst i obrazy, w postaci Contrastive Olfaction-Image Pretraining (COIP) – która łączy zapachy i obrazy.

Góra: zsynchronizowane dane wideo i czujnika węchu są rejestrowane w naturalnych warunkach przy użyciu kamery-e-nosa. Dół lewy (b): wspólna osadzona jest uczona za pomocą samonadzorowanego uczenia się. (c): system pobiera wizualne dopasowania wyłącznie na podstawie zapytania o zapach. (d): indywidualne próbki zapachu są używane do klasyfikacji środowiska, obiektu i kategorii materiałów. (e): bardzo podobne zapachy, takie jak dwa rodzaje trawy, są rozróżniane bez wejścia wizualnego. Źródło

Nowy zestaw danych, zatytułowany New York Smells, zawiera 7 000 par zapachów i obrazów, w których występuje 3 500 różnych obiektów. Podczas szkolenia nowe dane okazały się lepsze od popularnych ręcznie wykonanych cech w niewielkiej liczbie podobnych wcześniejszych zestawów danych.

Autorzy mają nadzieję, że ich pierwsze wydanie otworzy drogę do późniejszych i następujących prac nad systemami wykrywania węchu zaprojektowanymi do pracy w terenie, podobnie jak psy węszące*:

‘Widzimy ten zestaw danych jako krok w stronę węchu wielomodalnego, a także krok w stronę połączenia wzroku z węchem. Podczas gdy węch tradycyjnie był podejściem w warunkach ograniczonych, takich jak kontrola jakości, istnieje wiele zastosowań w warunkach naturalnych.

‘Na przykład, jako ludzie, stale używamy naszego zmysłu węchu, aby ocenić jakość jedzenia, zidentyfikować zagrożenia i wykryć niewidoczne obiekty.

‘Ponadto wiele zwierząt, takich jak psy, niedźwiedzie i myszy, wykazuje nadludzkie zdolności węchu zdolności, co sugeruje, że ludzkie postrzeganie węchu jest daleko od granicy możliwości maszyn.’

Chociaż nowy artykuł, zatytułowany New York Smells: Duży wielomodalny zestaw danych do węchu, obiecuje, że dane i kod zostaną opublikowane, plik danych o wielkości 27 GB jest już dostępny za pośrednictwem strony projektu. Artykuł został wyprodukowany przez dziewięciu badaczy z Columbia University, Cornell University i Osmo Labs.

Metoda

Aby zebrać materiał do nowej kolekcji, badacze użyli Cyranose 320 elektronicznego nosa, z iPhone’m zamontowanym nad przednim wlotem, aby uwiecznić wizualnie, jakie zapachy były rejestrowane:

Ręczny zestaw czujników gromadzi sparowane dane wideo i zapachu, montując kamerę iPhone’a na Cyranose 320 e-nos. Nos jest skierowany na obiekty, podczas gdy wylot i wejście do czyszczenia zarządzają przepływem powietrza podczas próbkowania. Kamera RGB-D rejestruje głębię, a stężenie związków organicznych, temperatura i wilgotność są rejestrowane za pomocą zintegrowanych czujników, w tym modułu PID i sondy środowiskowej.

Urządzenie Cyranose działa z częstotliwością 2 Hz, rejestrując 32-wymiarowe kroki czasowe węchu. Stężenia lotnych związków organicznych były rejestrowane za pomocą czujnika MiniPID2 PPM WR.

Przenośna jednostka funkcjonowała jako zwinny czujnik, przekazując dane do bardziej wydajnej stacji mobilnej do przetwarzania.

Aby umieścić celowy zapach w kontekście, zarejestrowano „bazowy zapach”, zanim bardziej konkretny obiekt został bezpośrednio skierowany na „nos” Cyranose. Próbka tła została pobrana z bocznego portu w jednostce, aby upewnić się, że jest wystarczająco oddalona od głównego źródła zapachu, aby nie być zanieczyszczona.

Dwie próbki zostały pobrane przez główny wlot czujnika, z każdej dziesięciosekundowej rejestracji pobranej z innego położenia wokół obiektu, aby poprawić wydajność danych. Próbki zostały następnie połączone z bazową linią bazową, tworząc macierz 28×32, reprezentującą pełne pomiary węchu:

Ten przykład pokazuje sygnał i odpowiadający mu obraz kwiatu. Pełny sygnał węchu składa się z macierzy 28×32, łącząc 14-klatkowy bazowy sygnał z dwoma 10-sekundowymi próbkami pobranymi z różnych kątów wokół obiektu docelowego.

Dane i testy

Modele języka i wizji (VLM) zostały użyte do automatycznego oznaczania obiektów i materiałów przechwyconych przez iPhone’a w zestawie Cyranose, z GPT-4o używanym do tego zadania; sceny kategorie były jednak ręcznie oznaczone:

Mały przykład z obszernego ilustracji w artykule źródłowym, przedstawiającej różne źródła zapachu i środowiska przechwycone w projekcie.

Zestaw danych został podzielony na szkoleniowe i walidacyjne podziały, z obiema próbkami z każdego obiektu przypisanymi do tego samego podziału, aby uniknąć krzyżowego zanieczyszczenia. Ostateczna kolekcja składa się z 7 000 par węchu i wizji, pochodzących z 3 500 nieoznaczonych obiektów, wraz z 70 godzinami wideo i 196 000 kroków czasowych surowych danych węchu z faz bazowych i próbkowych.

Dane zostały zebrane w 60 sesjach przez okres dwóch miesięcy, obejmując parki, budynki uniwersyteckie, biura, ulice, biblioteki, mieszkania i sale jadalne, z wieloma sesjami przeprowadzonymi w każdej lokalizacji. Wynikowy zestaw danych zawiera 41% środowisk zewnętrznych i 59% środowisk wewnętrznych.

Aby opracować ogólnoużyteczne reprezentacje węchu, autorzy szkolili model kontrastowy, aby skojarzyć zsynchronizowane pary obrazu i zapachu z zestawu danych. To podejście, wymienione powyżej COIP, wykorzystuje funkcję straty dostosowaną do CLIP, aby wyalignować osadzenia współwystępujących sygnałów wizualnych i węchu.

Szkolenie wykorzystywało zarówno kodery wizualne, jak i czujniki węchu, z celem nauczania modelu, aby dopasowywał pasujące zapachy i obrazy w wspólnym przestrzeni reprezentacji. Wynikowe reprezentacje wspierają szereg zadań downstream, w tym pobieranie obrazu na podstawie zapachu, rozpoznawanie scen i obiektów, klasyfikację materiałów i drobne rozróżnianie zapachów.

Model został przeszkolony przy użyciu dwóch rodzajów danych węchu: pełnego surowego sygnału czujnika i zredukowanego podsumowania, zwanego smellprintami – powszechnie używanymi cechami w badaniach węchu, które kompresują odpowiedź każdego czujnika do jednej liczby, porównując szczytowy opór podczas próbkowania z średnim oporem podczas tła.

W przeciwieństwie do tego, surowe dane wejściowe zarejestrowane w całym Nowym Jorku składają się z szeregu czasowego z 32 czujników chemicznych w urządzeniu Cyranose, rejestrując, jak każdy czujnik elektryczny oporu zmienił się w czasie, gdy reagował na zapach.

Dla kuracji zestawu danych, ten nieprzetworzony sygnał został wprowadzony bezpośrednio do sieci neuronowej, umożliwiając uczenie się końca z końca z konwolucyjnym lub transformerowym modelem podstawowym. Modele zostały przeszkolone przy użyciu zarówno smellprintów, jak i surowych danych zebranych z różnych środowisk w Nowym Jorku, z obiema typami danych ocenianymi przy użyciu kontrastowego uczenia się.

Pobieranie cross-modalne

Pobieranie cross-modalne zostało ocenione, osadzając każdą próbkę zapachu i jej sparowany obraz w wspólnej przestrzeni reprezentacji i testując, czy poprawny obraz można pobrać wyłącznie na podstawie danych węchu.

Klasyfikacja była określona przez bliskość każdego osadzenia obrazu do zapytania o zapach w tej przestrzeni, a wyniki zostały ocenione przy użyciu średniego ranku, median ranku i odwołania na wielu progach:

Dokładność pobierania cross-modalnego dla różnych kodujących węch, pokazując, jak dobrze każdy model identyfikuje poprawny obraz z zapytania o zapach. Wyniki porównują architektury przeszkolone na surowych sygnałach węchu z tymi, które używają smellprintów.

Co do tych wyników, autorzy stwierdzają:

‘Przeszkolone przy użyciu smellprintów, przeciwstawne wstępne szkolenie wykonuje lepiej niż losowo we wszystkich metrykach. Jednak szkolenie kodera węchu na surowym sygnale węchu prowadzi do znacznej poprawy w porównaniu z kodującym smellprintami, niezależnie od architektury.

‘To pokazuje bogatsze informacje obecne w surowych danych węchu, odblokowując silniejsze skojarzenia cross-modalne między wzrokiem a węchem.’

Szczegół z siódmej ilustracji w artykule źródłowym, który jest zbyt skondensowany, aby go tutaj odtworzyć. Tutaj przykłady pobierania cross-modalnego, pokazujące, jak model łączy zapachy z dopasowanymi obrazami. Każdy wiersz zaczyna się od zapytania o zapach, po którym następują najlepsze przewidywania obrazu w wspólnej przestrzeni osadzeń. Poprawny obraz dla każdego zapytania jest otoczony zieloną ramką, ilustrując, jak zapachy z książek, roślin, kamieniarstwa i innych materiałów popychają model w stronę wizualnie i semantycznie powiązanych scen.

Autorzy zauważają również, że wyniki pobierania pokazują wyraźne wzorce semantyczne:

‘Pobierania z naszego modelu często pokazują grupowania semantyczne. Zapach książki pobiera obrazy innych książek, zapach liści pobiera obrazy liści.

‘Te wyniki sugerują, że nauczona reprezentacja przechwytuje znaczącą strukturę cross-modalną.’

Rozpoznawanie scen, obiektów i materiałów

Możliwość rozpoznawania zapachów bez wejścia wizualnego została oceniona, szkoląc model, aby identyfikował sceny, obiekty i materiały wyłącznie na podstawie danych węchu; w tym celu wykorzystano liniowy sonda (prosty klasyfikator szkolony na zamrożonych reprezentacjach), aby ocenić, ile informacji jest zakodowanych w nauczonych osadzeniach węchu.

Etykiety pochodziły z parzystych obrazów w zestawie szkoleniowym przy użyciu GPT-4o – ale tylko sygnał węchu był używany podczas klasyfikacji.

Przetestowano kilka typów kodujących: niektóre zainicjowane losowo, niektóre przeszkolone od podstaw, a inne przeszkolone przy użyciu kontrastowego uczenia się, aby wyalignować węch i wizję w wspólnej przestrzeni reprezentacji, z surowymi danymi i smellprintami:

Dokładność klasyfikacji scen, materiałów i obiektów została oceniona przy użyciu danych węchu wyłącznie. Surowe dane wejściowe węchu przewyższyły smellprinty, z CNN przeszkolonymi od podstaw, które dawały najwyższe wyniki, w tym 99,5% dla scen. Samo-nadzorowane wstępne szkolenie pomogło w niektórych przypadkach, ale ogólnie zostało przewyższone przez nadzorowane szkolenie. Losowe wagi podstawowe wskazują, że pojemność modelu sama w sobie jest niewystarczająca.

Znacznie wyższą dokładność uzyskano, gdy używano surowych danych węchu, szczególnie w modelach szkolonych z cross-modalnym nadzorem. Autorzy komentują**:

‘Modele przeszkolone na surowych danych wejściowych węchu również osiągają wyższą dokładność niż modele przeszkolone z ręcznie wykonanymi cechami smellprint. Te wyniki pokazują, że głębokie uczenie się z surowych sygnałów węchu jest znacznie lepsze niż ręcznie wykonane cechy.’

Drobne rozróżnianie

Aby ocenić, czy można nauczyć się drobnych różnic w zapachu, zbudowano benchmark z dwóch gatunków trawy współistniejących na tym samym kampusowym trawniku. Próbki zostały pobrane w sześciu sesjach trwających 30 minut, dając 256 przykładów. Liniowy klasyfikator został przeszkolony na cechach z kontrastowego uczenia się węchu i wizji, a następnie oceniony na oddzielonym zestawie 42 próbek:

Dokładność klasyfikacji gatunków trawy z wyłącznym użyciem węchu. Modele zostały ocenione pod kątem ich zdolności do rozróżnienia dwóch wizualnie podobnych gatunków trawy, używając tylko danych węchu. Wyniki porównują modele przeszkolone na smellprintach i surowych danych wejściowych, z modelami albo zlosowanymi losowo, albo przeszkolonymi od podstaw, albo przeszkolonymi przy użyciu samo-nadzorowanego uczenia się (SSL), a następnie liniowego sonda. Najwyższą dokładność, 92,9%, osiągnięto przy użyciu surowych danych węchu z SSL, co wskazuje, że drobne różnice w zapachu są najlepiej przechwytywane przez surowe dane wejściowe i szkolenie z wizją.

Tutaj badacze stwierdzają:

‘Szkolenie na surowym sygnale węchu (zamiast ręcznie wykonanych cech) daje najwyższą dokładność – przewyższając wszystkie warianty oparte na smellprintach.

‘Te wyniki sugerują, że uczenie się węchu i wizji zachowuje więcej informacji drobnych niż uczenie się z smellprintami, i że nadzór wizualny dostarcza sygnału do wykorzystania tej informacji.’

Podsumowanie

Chociaż synteza zapachu wydaje się pozostawać nierozwiązanym problemem na jakiś czas, skuteczny i przystępny system analizy zapachu w terenie ma ogromny potencjał, nie tylko dla celów policyjnych, bezpieczeństwa i medycznych, ale także dla monitorowania jakości życia i środowiska.

Obecnie sprzęt jest niszowy i zazwyczaj dość drogi; zatem prawdziwy postęp w „AI węchu” do wykrywania wydaje się wymagać wizjonerskiego i przystępnego czujnika w duchu Raspberry PI.

* Moja konwersja cytowań wstawionych przez autorów do łączy.

** Proszę zauważyć, że dalsze ilustracje (rysunek 8) są dostępne w artykule źródłowym, ale najlepiej są widoczne w tym kontekście.

Pierwotnie opublikowane w piątek, 28 listopada 2025