Ein Geruchssinn für die KI-Entwicklung bringen

Ein neues KI-Datenset lehrt Maschinen, Gerüche zu erkennen, indem es Geruchdaten mit Bildern verknüpft und Modelle dazu bringt, Gerüche mit Objekten, Szenen und Materialien in Verbindung zu bringen.

Vielleicht wegen der wechselhaften Geschichte von Geruchsausgabegeräten ist die Olfaktion in der KI-Forschungsliteratur ein ziemlich vernachlässigter Sinn. Es sei denn, man plant, einen weiteren Eintrag in die lange laufende (über ein Jahrhundert) Smell-o-Vision-Saga zu produzieren, schienen Anwendungsfälle immer eher “nischig” im Vergleich zur Ausbeutung von Bild-, Audio- und Video-Datensätzen und den aus ihnen trainierten KI-Modellen.

Tatsächlich wäre die Möglichkeit, die Art von Erkennungseinrichtungen zu automatisieren, zu industrialisieren und zu popularisieren, die von Bombenhunden, Leichenhunden, Krankheitserkennungshunden und diversen anderen Arten von Hundeeinheiten angeboten wird, ein bemerkenswerter Vorteil in kommunalen und Sicherheitsdiensten. Trotz hoher Nachfrage ist die Versorgung weit über der Nachfrage, und das Training und Unterhalten von Erkennungshunden ist ein teures Geschäft, das nicht immer einen guten Wert für das Geld bietet.

Bisher war die meisten Forschung, die in dieses Gebiet der Studie eindringt, auf ein Labor beschränkt, mit kuratierten Sammlungen, die typischerweise aus Beispielen mit handgefertigten Funktionen bestehen – ein Profil, das eher zu maßgeschneiderten Lösungen als zu industriellen Anwendungen neigt.

Vorwärts mit der Nase

In diese ziemlich staubige Atmosphäre kommt eine interessante neue akademische/industrielle Zusammenarbeit aus den USA, bei der ein Team von Forschern mehrere Monate damit verbrachte, diverse Gerüche in Innen- und Außenbereichen in New York City zu katalogisieren – und zum ersten Mal Bilder zu sammeln, die mit den aufgezeichneten Gerüchen verknüpft sind:

Beachten Sie den zentralen Sensor, die ‘Nase’ des Geräts. Trainiert nur auf Geruch, errät das Modell, ob es Granit, Plastik oder Leder riecht – und identifiziert sogar den Raum, in dem es sich befindet, ohne ein einziges Pixel zu sehen. Quelle

Diese Forschung hat die Autoren der neuen Arbeit dazu veranlasst, eine Variante des sehr beliebten Contrastive Language-Image Pretraining- (CLIP)-Frameworks zu entwickeln, das Text und Bilder verbindet, in Form von Contrastive Olfaction-Image Pretraining (COIP) – das Gerüche und Bilder verbindet.

Oben: synchronisierte Video- und olfaktorische Sensordaten werden in natürlichen Umgebungen mit einem Kamera-e-Nase-Rig aufgezeichnet. Unten links (b): eine gemeinsame Einbettung wird durch cross-modale Selbstüberwachung erlernt. (c): das System ruft visuelle Übereinstimmungen allein auf der Grundlage einer Geruchsanfrage ab. (d): einzelne Geruchsmuster werden verwendet, um Umgebung, Objekt und Materialkategorien zu klassifizieren. (e): sehr ähnliche Gerüche, wie zwei Arten von Gras, werden ohne visuelle Eingabe unterschieden. Quelle

Das neue Datenset, betitelt New York Smells, enthält 7.000 Geruch-Bild-Paare mit 3.500 verschiedenen Objekten. Wenn es in Tests trainiert wurde, wurde das neue Datenset festgestellt, um die beliebten handgefertigten Funktionen in den relativ wenigen ähnlichen vorherigen Datensätzen zu übertreffen.

Die Autoren hoffen, dass ihr erstes Vorhaben den Weg für spätere und nachfolgende Arbeiten zu olfaktorischen Erkennungssystemen ebnet, die so konzipiert sind, dass sie in der freien Natur funktionieren, ähnlich wie es bei Spürhunden der Fall ist*:

‘Wir sehen dieses Datenset als einen Schritt in Richtung olfaktorischer Wahrnehmung in der freien Natur und als einen Schritt in Richtung Verbindung von Sehen und Riechen. Während die Olfaktion traditionell in eingeschränkten Umgebungen angegangen wurde, wie z.B. der Qualitätssicherung, gibt es viele Anwendungen in natürlichen Umgebungen.

‘Zum Beispiel verwenden wir als Menschen unser Geruchssinn ständig, um die Qualität von Lebensmitteln zu beurteilen, Gefahren zu identifizieren und unsichtbare Objekte zu erkennen.

‘Darüber hinaus zeigen viele Tiere, wie Hunde, Bären und Mäuse, übermenschliche olfaktorische Fähigkeiten, was darauf hindeutet, dass die menschliche Geruchswahrnehmung weit von den Grenzen der maschinellen Fähigkeiten entfernt ist.’

Obwohl das neue Papier, betitelt New York Smells: Ein großes multimodales Datenset für die Olfaktion, verspricht, dass Daten und Code veröffentlicht werden, ist eine 27-GB-Datendatei bereits über die Projekt-Website verfügbar. Das Papier wurde von neun Forschern an der Columbia University, der Cornell University und den Osmo Labs erstellt.

Methode

Um Material für die neue Sammlung zu sammeln, verwendeten die Forscher die Cyranose 320-elektronische Nase, mit einem iPhone, das über dem vorderen Einlass montiert war, um visuell zu erfassen, welche Gerüche aufgezeichnet wurden:

Ein handgehaltenes Sensorengestell sammelt gepaarte Video- und Geruchsdaten, indem ein iPhone-Kamera auf eine Cyranose 320-e-Nase montiert wird. Die Schnauze ist auf Objekte gerichtet, während der Auslass und der Purge-Einlass den Luftstrom während der Probenahme steuern. Eine RGB-D-Kamera erfasst die Tiefe, während die Volatile organic compound (VOC)-Konzentration, die Temperatur und die Feuchtigkeit durch integrierte Sensoren, einschließlich eines Proportional-Integral-Derivative- (PID)-Moduls und einer Umweltsonde, aufgezeichnet werden.

Das Cyranose-Gerät läuft mit 2 Hz, wobei 32-dimensionale olfaktorische Zeitsschritte aufgezeichnet werden. Die Volatile Organic Compound (VOC)-Konzentrationen wurden mit einem MiniPID2 PPM WR-Sensor aufgezeichnet.

Die tragbare Einheit funktionierte als agiles Sensorengestell, das Daten an eine leistungsfähigere mobile Station für die Verarbeitung weiterleitete.

Um den Zielgeruch in den Kontext zu setzen, wurde ein “Basisgeruch” registriert, bevor das spezifische Objekt direkt mit der “Schnauze” der Cyranose angepeilt wurde. Die Umgebungsprobe wurde dann von einer Seitenöffnung in der Einheit entnommen, um sicherzustellen, dass sie weit genug vom Hauptgeruch entfernt war, um nicht kontaminiert zu werden.

Zwei Proben wurden durch den Hauptansaugkanal des Sensors entnommen, wobei jede zehnsekündige Aufzeichnung von einer anderen Position um das Objekt herum aufgezeichnet wurde, um die Daten effizienz zu verbessern. Die Proben wurden dann mit der Umgebungs-Basislinie kombiniert, um eine 28×32-Matrix zu bilden, die die vollständige olfaktorische Messung darstellt:

Dieses Beispiel zeigt das Signal und das entsprechende Bild für eine Blume. Das vollständige olfaktorische Signal besteht aus einer 28×32-Matrix, die eine 14-Frame-Umgebungs-Basislinie mit zwei 10-Sekunden-Proben kombiniert, die von verschiedenen Positionen um das Zielobjekt aufgezeichnet wurden.

Daten und Tests

Vision Language Modelle (VLMs) wurden verwendet, um automatisch Objekte und Materialien zu kennzeichnen, die von dem iPhone in der Cyranose-Einheit aufgezeichnet wurden, mit GPT-4o, das für diese Aufgabe verwendet wurde; jedoch wurden Szene-Kategorien manuell gekennzeichnet:

Ein kleiner Ausschnitt aus einer umfangreichen Abbildung in der Quelle, die die verschiedenen Geruchquellen und Umgebungen, die im Projekt aufgezeichnet wurden, zeigt.

Das Datenset wurde in Trainings- und Validierungs-Teilmengen aufgeteilt, wobei beide Proben von jedem Objekt der gleichen Teilmenge zugewiesen wurden, um eine Kreuzkontamination zu vermeiden. Die endgültige Sammlung umfasst 7.000 olfaktorisch-visuelle Paare, die aus 3.500 nicht gekennzeichneten Objekten stammen, sowie 70 Stunden Video und 196.000 Zeitsschritte von rohen olfaktorischen Daten aus beiden Phasen.

Daten wurden über 60 Sitzungen hinweg über einen Zeitraum von zwei Monaten gesammelt, der Parks, Universitätsgebäude, Büros, Straßen, Bibliotheken, Wohnungen und Speisesäle umfasste, wobei in jedem Ort mehrere Sitzungen durchgeführt wurden. Die resultierende Sammlung enthält 41 % Außen- und 59 % Innenumgebungen.

Um allgemeingültige olfaktorische Repräsentationen zu entwickeln, trainierten die Autoren ein kontrastives Modell, um synchronisierte Bild-Geruch-Paare aus dem Datenset zu verknüpfen. Dieser Ansatz, der oben genannte COIP, verwendet eine Verlustfunktion, die von CLIP adaptiert wurde, um die Einbettungen von ko-occurrenten visuellen und olfaktorischen Signalen auszurichten.

Das Training verwendete sowohl einen visuellen Encoder als auch einen Geruch-Encoder, mit dem Ziel, das Modell zu lehren, übereinstimmende Gerüche und Bilder in einem gemeinsamen Repräsentationsraum näher zusammenzubringen. Die resultierenden Repräsentationen unterstützen eine Reihe von Downstream-Aufgaben, einschließlich Geruch-Bild-Rückgewinnung, Szene- und Objekterkennung, Materialklassifizierung und feinkörniger Geruchsdiskriminierung.

Das Modell wurde mit zwei Arten von olfaktorischen Eingaben trainiert: dem vollständigen rohen Sensorsignal und einer reduzierten, handgefertigten Zusammenfassung, bekannt als Geruchsmuster – weithin verwendete Funktionen in der Olfaktionsforschung, die jeden Sensors Antwort in eine einzige Zahl komprimieren, indem sie den Spitzenwiderstand während der Probenahme mit dem Durchschnittswiderstand während der Umgebungs-Basislinie vergleichen.

Im Gegensatz dazu besteht die rohe Eingabe, die über ganz New York City aufgezeichnet wurde, aus einer Zeitreihe von 32 chemischen Sensoren innerhalb des Cyranose-Geräts, die aufzeichnet, wie jeder Sensors elektrischer Widerstand im Laufe der Zeit änderte, während er auf den Geruch reagierte.

Für die Kuration des Datensets wurde dieses unverarbeitete Signal direkt in ein neuronales Netzwerk eingespeist, um ein End-to-End-Lernen mit einem konvolutiven oder transformatorbasierten Backbone zu ermöglichen. Modelle wurden mit beiden Geruchsmustern und der rohen Eingabe aus verschiedenen Umgebungen in New York City trainiert, wobei beide Eingabetypen mit kontrastivem Lernen ausgewertet wurden.

Quermodale Rückgewinnung

Die quermodale Rückgewinnung wurde ausgewertet, indem jedes Geruchsmuster und sein zugehöriges Bild in einen gemeinsamen Repräsentationsraum eingebettet und getestet wurde, ob das korrekte Bild allein auf der Grundlage der olfaktorischen Eingabe abgerufen werden konnte.

Die Rangliste wurde durch die Nähe jeder Bild-Einbettung zur Abfrage-Geruch in diesem Raum bestimmt, und die Leistung wurde mit Mittelrang, Medianrang und Rückgewinnung bei mehreren Schwellenwerten gemessen:

Quermodale Rückgewinnungs-Genauigkeit für verschiedene Geruch-Encoder, die zeigt, wie gut jedes Modell das korrekte Bild aus einer Geruchsanfrage identifiziert. Die Ergebnisse vergleichen Architekturen, die auf rohen olfaktorischen Signalen trainiert wurden, mit denen, die Geruchsmuster verwenden.

In Bezug auf diese Ergebnisse erklären die Autoren:

‘Kontrastives Pretraining mit Geruchsmustern funktioniert besser als Zufall in allen Metriken. Allerdings führt das Training des olfaktorischen Encoders auf dem rohen olfaktorischen Signal zu einer signifikanten Verbesserung im Vergleich zum Geruchsmuster-Encoder, unabhängig von der Architektur.

‘Dies zeigt die reichhaltigere Information, die im rohen olfaktorischen Daten vorhanden ist, und ermöglicht stärkere quermodale Assoziationen zwischen Sehen und Riechen.’

Ein Detail aus der siebten Abbildung in der Quelle, die zu kondensiert ist, um sie hier sinnvoll zu reproduzieren. Hier quermodale Rückgewinnungs-Beispiele, die zeigen, wie das Modell Gerüche mit passenden Bildern verknüpft. Jede Zeile beginnt mit einer Geruchsanfrage, gefolgt von den Top-Ranked-Bildvorhersagen im gemeinsamen Einbettungsraum. Das korrekte Bild für jede Anfrage ist mit Grün umrandet, was zeigt, wie Gerüche von Büchern, Pflanzen, Mauerwerk und anderen Materialien das Modell in Richtung visuell und semantisch verwandter Szenen ziehen.

Die Autoren bemerken auch, dass die Rückgewinnungsergebnisse klare semantische Muster zeigen:

‘Rückgewinnungen von unserem Modell zeigen oft semantische Gruppierungen. Der Geruch eines Buches ruft Bilder von anderen Büchern hervor, der Geruch von Blättern ruft Bilder von Blättern hervor.

‘Diese Ergebnisse deuten darauf hin, dass die gelernte Repräsentation eine sinnvolle quermodale Struktur erfasst.’

Szene-, Objekt- und Materialerkennung

Die Fähigkeit des Modells, Gerüche ohne visuelle Eingabe zu erkennen, wurde ausgewertet, indem es trainiert wurde, Szenen, Objekte und Materialien allein auf der Grundlage olfaktorischer Daten zu identifizieren; zu diesem Zweck wurde ein linearer Sondierer (ein einfacher Klassifizierer, der auf festen Repräsentationen trainiert wurde) verwendet, um zu bewerten, wie viel Information in den gelernten Geruch-Einbettungen kodiert war.

Labels wurden aus den zugehörigen Bildern im Trainingsset mit GPT-4o abgeleitet – jedoch wurde nur das olfaktorische Signal während der Klassifizierung verwendet.

Es wurden mehrere Encodertypen getestet: einige wurden zufällig initialisiert, einige wurden von Grund auf trainiert, und andere wurden mit kontrastivem Lernen trainiert, um Geruch und Sicht in einem gemeinsamen Repräsentationsraum auszurichten, wobei rohe Daten und Geruchsmuster ausgewertet wurden:

Klassifizierungs-Genauigkeit für Szenen, Materialien und Objekte wurde allein auf der Grundlage olfaktorischer Signale bewertet. Rohes Sensorsignal übertraf Geruchsmuster, wobei CNNs, die von Grund auf trainiert wurden, die höchsten Ergebnisse erzielten, einschließlich 99,5 % für Szenen. SSL-Pretraining half in einigen Fällen, wurde jedoch im Allgemeinen von überwachtem Training übertroffen. Zufällige Gewichtsbasen zeigen, dass die Modellkapazität allein nicht ausreicht.

Es wurde eine wesentlich höhere Genauigkeit erzielt, wenn rohe olfaktorische Daten verwendet wurden, insbesondere in Modellen, die mit cross-modaler Aufsicht trainiert wurden. Die Autoren bemerken**:

‘Modelle, die auf rohe sensorische Eingaben trainiert werden, erzielen auch eine höhere Genauigkeit als Modelle, die mit handgefertigten Geruchsmustern trainiert werden. Diese Ergebnisse zeigen, dass tiefes Lernen aus rohen olfaktorischen Signalen wesentlich besser ist als handgefertigte Funktionen.’

Feinkörnige Diskriminierung

Um zu bewerten, ob feinkörnige Geruchsdifferenzierungen gelernt werden können, wurde ein Benchmark aus zwei Grasarten erstellt, die auf dem gleichen Campus-Rasen koexistieren. Alternierende Proben wurden über sechs 30-minütige Sitzungen hinweg gesammelt, was 256 Beispiele ergab. Ein linearer Klassifizierer wurde auf Funktionen aus olfaktorisch-visuellem kontrastivem Lernen trainiert und auf einem abgehaltenen Satz von 42 Beispielen ausgewertet:

Genauigkeit der Grasarten-Klassifizierung aus Geruch allein. Modelle wurden auf ihre Fähigkeit getestet, zwei visuell ähnliche Grasarten allein auf der Grundlage olfaktorischer Eingabe zu unterscheiden. Die Leistung wurde über Geruchsmuster und rohe Sensorsignale hinweg verglichen, wobei Modelle entweder zufällig initialisiert, von Grund auf trainiert oder mit selbstüberwachtem Lernen (SSL) trainiert und dann mit einem linearen Sondierer ausgewertet wurden. Die höchste Genauigkeit, 92,9 %, wurde mit rohen olfaktorischen Signalen und SSL erzielt, was darauf hindeutet, dass feinkörnige Geruchsdifferenzen am besten durch rohe Eingabe und visuell geführtes Training erfasst werden.

Hier erklären die Forscher:

‘Das Training auf dem rohen olfaktorischen Sensorsignal (anstatt handgefertigter Funktionen) ergibt die höchste Genauigkeit – und übertrifft alle Varianten, die auf Geruchsmustern basieren.

‘Diese Ergebnisse deuten darauf hin, dass olfaktorisch-visuelles Lernen mehr feinkörnige Informationen bewahrt als Lernen mit Geruchsmustern, und dass visuelle Aufsicht ein Signal für die Ausnutzung dieser Informationen bietet.’

Schlussfolgerung

Obwohl die Geruchssynthese wahrscheinlich ein ungelöstes Problem bleiben wird, hat ein effektives und erschwingliches In-the-Wild-Geruchsanalyse-System enormes Potenzial, nicht nur für Polizei-, Sicherheits- und medizinische Zwecke, sondern auch für die Lebensqualität und die Überwachung in Städten.

Derzeit ist die beteiligte Ausrüstung Nischenprodukte und in der Regel sehr teuer; daher ist echter Fortschritt in der “olfaktorischen KI” für die Erkennung wahrscheinlich von einem visionären und erschwinglichen Sensor im Raspberry-PI-Geist abhängig.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

** Bitte beachten Sie, dass weitere Abbildungen (Abbildung 8) im Quellenpapier verfügbar sind, aber am besten in diesem Kontext betrachtet werden.

Erstveröffentlichung am Freitag, den 28. November 2025