Membawa Indra Penciuman ke Pengembangan AI

Dataset AI baru mengajarkan mesin untuk mencium dengan mengasosiasikan data bau dengan gambar, memungkinkan model untuk mencocokkan bau dengan objek, adegan, dan bahan.

Mungkin karena mesin pengeluaran bau memiliki sejarah yang berantakan, indra penciuman adalah salah satu indra yang relatif diabaikan dalam literatur penelitian AI. Kecuali Anda berencana untuk menghasilkan entri lain dalam saga smell-o-vision yang sudah berlangsung lama (lebih dari satu abad, sampai saat ini), kasus penggunaan selalu tampak agak ‘niche’ dibandingkan dengan potensi eksploitasi dataset gambar, audio, dan video, serta model AI yang dilatih dari mereka.

Pada kenyataannya, kemungkinan untuk mengotomatisasi, mengindustrialisasi, dan mempopulerkan fasilitas deteksi yang ditawarkan oleh anjing pengebom, anjing mayat, anjing pencium penyakit, dan berbagai jenis unit pencium anjing lainnya, akan menjadi manfaat yang signifikan dalam layanan kota dan keamanan. Meskipun permintaan tinggi, jauh melebihi pasokan, pelatihan dan pemeliharaan anjing deteksi adalah bisnis yang mahal yang tidak selalu menawarkan nilai yang baik untuk uang.

Sampai saat ini, sebagian besar penelitian yang memasuki bidang studi ini telah terbatas pada laboratorium, dengan koleksi yang dikurasi biasanya terdiri dari contoh dengan fitur buatan tangan – profil yang lebih condong ke arah solusi industri daripada aplikasi industri.

Mendahului dengan Hidung

Dalam iklim yang agak kuno ini, datanglah kolaborasi akademis/industri menarik dari AS, di mana tim peneliti menghabiskan beberapa bulan untuk mengkatalogkan berbagai bau di lingkungan dalam dan luar ruangan di Kota New York – dan, untuk pertama kalinya, mengumpulkan gambar yang terkait dengan bau yang ditangkap:

Perhatikan sensor tengah, ‘hidung’ dari perangkat olfaktori. Dilatih hanya pada bau, model menebak apakah itu mencium granit, plastik, atau kulit – dan bahkan mengidentifikasi ruangan yang ada, tanpa melihat satu piksel pun. Sumber

Penelitian ini telah memimpin penulis karya baru untuk merancang spin pada kerangka kerja Contrastive Language-Image Pretraining (CLIP) yang sangat populer, yang menghubungkan teks dan gambar, dalam bentuk Contrastive Olfaction-Image Pretraining (COIP) – yang menghubungkan bau dan gambar.

Atas: video dan data sensor olfaktori yang disinkronkan ditangkap dalam pengaturan alami menggunakan rig kamera-e-nose. Bawah kiri (b): embedding gabungan dipelajari melalui self-supervisi cross-modal. (c): sistem mengambil gambar yang cocok berdasarkan pada bau kueri. (d): sampel bau individu digunakan untuk mengklasifikasikan kategori lingkungan, objek, dan bahan. (e): bau yang sangat mirip, seperti dua jenis rumput, dibedakan tanpa input visual. Sumber

Dataset baru, berjudul New York Smells, berisi 7.000 pasangan bau-gambar yang menampilkan 3.500 objek yang berbeda. Ketika dilatih dalam tes, data baru ditemukan untuk mengungguli fitur buatan tangan yang populer dalam jumlah kecil dataset serupa sebelumnya.

Para penulis berharap bahwa awal mereka akan membuka jalan bagi pekerjaan lanjutan dan pengembangan sistem deteksi olfaktori yang dirancang untuk beroperasi di alam liar, sama seperti anjing pencium melakukan*:

‘Kami melihat dataset ini sebagai langkah menuju persepsi olfaktori multimodal in-the-wild, serta langkah menuju menghubungkan penglihatan dengan bau. Sementara olfaktori secara tradisional telah didekati dalam pengaturan yang terbatas, seperti pengawasan kualitas, ada banyak aplikasi dalam pengaturan alami.

‘Misalnya, sebagai manusia, kita secara terus-menerus menggunakan indra penciuman kita untuk menilai kualitas makanan, mengidentifikasi bahaya, dan mendeteksi objek yang tidak terlihat.

‘Selain itu, banyak hewan, seperti anjing, beruang, dan tikus, menunjukkan kemampuan olfaktori yang luar biasa kapasitas, menunjukkan bahwa persepsi bau manusia jauh dari batas kemampuan mesin.’

Meskipun kertas baru, berjudul New York Smells: Dataset Multimodal Besar untuk Olfaktori, berjanji bahwa data dan kode akan dirilis, file data 27GB sudah tersedia melalui situs proyek. Kertas ini diproduksi oleh sembilan peneliti di Columbia University, Cornell University, dan Osmo Labs.

Metode

Untuk mengumpulkan materi untuk koleksi baru, para peneliti menggunakan Cyranose 320 hidung elektronik, dengan iPhone dipasang di atas intake depan untuk menangkap secara visual apa yang sedang didaftarkan:

Rig sensor portabel mengumpulkan data video dan bau yang dipasangkan dengan memasang kamera iPhone ke Cyranose 320 e-nose. Snout diarahkan ke objek sementara exhaust dan purge inlet mengelola aliran udara selama sampling. Kamera RGB-D mengambil kedalaman, sementara konsentrasi Volatile Organic Compound (VOC), suhu, dan kelembaban direkam melalui sensor terintegrasi termasuk modul Proportional-integral-derivative (PID) dan probe lingkungan.

Perangkat Cyranose berjalan pada 2Hz, merekam 32-dimensi langkah waktu olfaktori. Konsentrasi Volatile Organic Compound (VOC) direkam dengan MiniPID2 PPM WR sensor.

Unit portabel berfungsi sebagai sensor yang lincah, mengirimkan data ke stasiun mobile yang lebih mampu menghitung untuk pemrosesan.

Untuk meletakkan bau target dalam konteks, ‘bau dasar’ didaftarkan, sebelum objek yang lebih spesifik ditargetkan langsung dengan ‘snout’ dari Cyranose. Sampel ambient kemudian diambil dari sisi-port di unit, untuk memastikan bahwa itu jauh enough dari sumber bau utama untuk tidak terkontaminasi.

Dua sampel diambil melalui intake utama sensor, dengan setiap perekaman 10-detik diambil dari posisi yang berbeda di sekitar objek, untuk meningkatkan efisiensi data. Sampel kemudian digabungkan dengan baseline ambient untuk membentuk matriks 28×32, yang mewakili pengukuran olfaktori lengkap:

Contoh ini menunjukkan sinyal dan gambar yang sesuai untuk bunga. Sinyal olfaktori lengkap terdiri dari matriks 28×32, yang menggabungkan baseline ambient 14-frame dengan dua sampel 10-detik yang diambil dari sudut yang berbeda di sekitar objek target.

Data dan Tes

Model Bahasa Visi (VLMs) digunakan untuk secara otomatis melabeli objek dan bahan yang ditangkap oleh iPhone di rig Cyranose, dengan GPT-4o digunakan untuk tugas tersebut; namun, kategori scene secara manual diberi label:

Contoh kecil dari ilustrasi ekstensif dalam kertas sumber yang menjelaskan sumber bau dan lingkungan yang beragam yang ditangkap dalam proyek.

Dataset dibagi menjadi pelatihan dan validasi split, dengan kedua sampel dari setiap objek ditugaskan ke split yang sama untuk menghindari kontaminasi silang. Koleksi akhir terdiri dari 7.000 pasangan olfaktori-visi yang diambil dari 3.500 objek yang tidak dilabeli, serta 70 jam video dan 196.000 langkah waktu olfaktori mentah dari fase baseline dan sampel.

Data dikumpulkan selama 60 sesi selama periode dua bulan, yang mencakup taman, bangunan universitas, kantor, jalan, perpustakaan, apartemen, dan aula makan, dengan beberapa sesi dilakukan di setiap lokasi. Dataset yang dihasilkan berisi 41% lingkungan luar ruangan dan 59% lingkungan dalam ruangan.

Untuk mengembangkan representasi olfaktori umum, penulis melatih model kontrastif untuk mengasosiasikan pasangan gambar-bau yang disinkronkan dari dataset. Pendekatan ini, yang disebut COIP, menggunakan fungsi kerugian yang disesuaikan dari CLIP untuk menyelaraskan embeddings sinyal visual dan olfaktori yang berkoeksistensi.

Latihan menggunakan kedua encoder visual dan encoder bau, dengan tujuan mengajar model untuk membawa bau dan gambar yang cocok lebih dekat dalam ruang representasi yang dibagikan. Representasi yang dihasilkan mendukung berbagai tugas downstream, termasuk pengambilan gambar-bau, pengenalan adegan dan objek, klasifikasi bahan, dan diskriminasi bau halus.

Model dilatih menggunakan dua jenis input olfaktori: sinyal sensor mentah dan ringkasan buatan tangan yang disebut smellprints – fitur yang umum digunakan dalam penelitian olfaktori yang mengompresi setiap respons sensor menjadi satu angka dengan membandingkan resistansi puncak selama sampling dengan resistansi rata-rata selama baseline ambient.

Sebaliknya, input mentah yang direkam di seluruh NYC terdiri dari time-series dari 32 sensor kimia di dalam perangkat Cyranose, yang merekam bagaimana setiap sensor resistensi listrik berubah selama waktu sebagai reaksi terhadap bau.

Untuk kurasi dataset, sinyal yang tidak diproses ini dimasukkan langsung ke dalam jaringan saraf, memungkinkan pembelajaran ujung-ke-ujung dengan konvolusi atau transformer-basis. Model dilatih menggunakan smellprints dan input mentah yang dikumpulkan dari berbagai lingkungan di Kota New York, dengan kedua jenis input dievaluasi menggunakan pembelajaran kontrastif.

Pengambilan Cross-Modal

Pengambilan cross-modal dievaluasi dengan memasukkan setiap sampel bau dan gambar yang dipasangkan ke dalam ruang representasi yang dibagikan, dan menguji apakah gambar yang benar dapat diambil berdasarkan input olfaktori saja.

Peringkat ditentukan oleh kedekatan embedding gambar dengan kueri bau dalam ruang ini, dan kinerja diukur menggunakan mean rank, median rank, dan recall pada beberapa ambang batas:

Akurasi pengambilan cross-modal untuk berbagai encoder bau, menunjukkan seberapa baik setiap model mengidentifikasi gambar yang benar dari kueri bau. Hasilnya membandingkan arsitektur yang dilatih pada sinyal olfaktori mentah dengan yang menggunakan smellprints.

Mengenai hasil ini, penulis menyatakan:

‘Pra-pelatihan kontrastif menggunakan smellprint melakukan lebih baik dari kebetulan dalam semua metrik. Namun, melatih encoder olfaktori pada sinyal olfaktori mentah menghasilkan perbaikan yang signifikan dibandingkan dengan encoder smellprint, terlepas dari arsitektur.

‘Hal ini menunjukkan informasi yang lebih kaya dalam data olfaktori mentah, yang membuka asosiasi cross-modal yang lebih kuat antara penglihatan dan bau.’

Detail dari ilustrasi ketujuh dalam kertas sumber, yang terlalu padat untuk direproduksi dengan makna di sini. Di sini, contoh pengambilan cross-modal menunjukkan bagaimana model menghubungkan bau dengan gambar yang cocok. Setiap baris dimulai dengan kueri bau, diikuti oleh prediksi gambar teratas dalam ruang embedding yang dibagikan. Gambar yang benar untuk setiap kueri dilingkari dengan warna hijau, menunjukkan bagaimana bau dari buku, tanaman, bahan bangunan, dan bahan lainnya menarik model ke arah adegan yang terkait secara visual dan semantik.

Penulis juga mencatat bahwa hasil pengambilan menunjukkan pola semantik yang jelas:

‘Pengambilan dari model kami sering menunjukkan kelompok semantik. Bau buku mengambil gambar buku lain, bau daun mengambil gambar dedaunan.

‘Hasil ini menunjukkan bahwa representasi yang dipelajari menangkap struktur cross-modal yang bermakna.’

Pengenalan Adegan, Objek, dan Bahan

Kemampuan model untuk mengenali bau tanpa input visual dievaluasi dengan melatihnya untuk mengidentifikasi adegan, objek, dan bahan berdasarkan saja pada data olfaktori; untuk tujuan ini, probe linier (pengklasifikasi sederhana yang dilatih pada representasi beku) digunakan untuk menilai seberapa banyak informasi yang dikodekan dalam embedding bau yang dipelajari.

Label dihasilkan dari gambar yang dipasangkan dalam set pelatihan menggunakan GPT-4o – tetapi hanya sinyal olfaktori yang digunakan selama klasifikasi.

Berbagai jenis encoder diuji: beberapa diinisialisasi secara acak, beberapa dilatih dari awal, dan yang lain dilatih menggunakan pembelajaran kontrastif untuk menyelaraskan bau dan penglihatan dalam ruang representasi yang dibagikan, dengan data mentah dan smellprints dievaluasi:

Akurasi klasifikasi untuk adegan, bahan, dan objek dievaluasi menggunakan sinyal olfaktori saja. Input sensor mentah outperformed smellprints, dengan CNN yang dilatih dari awal menghasilkan hasil tertinggi, termasuk 99,5% untuk adegan. Prapengajaran SSL membantu dalam beberapa kasus, tetapi umumnya terlampaui oleh pelatihan yang diawasi. Baseline berat acak menunjukkan bahwa kapasitas model saja tidak cukup.

Akurasi yang jauh lebih tinggi diperoleh ketika data olfaktori mentah digunakan, terutama dalam model yang dilatih dengan pengawasan cross-modal. Penulis mengomentari**:

‘Model yang dilatih pada input sensor mentah juga mencapai akurasi yang lebih tinggi daripada model yang dilatih dengan fitur smellprint buatan tangan. Hasil ini menunjukkan bahwa pembelajaran dalam dari sinyal olfaktori mentah jauh lebih baik daripada fitur buatan tangan.’

Diskriminasi Halus

Untuk menilai apakah perbedaan bau halus dapat dipelajari, benchmark dibangun dari dua spesies rumput yang hidup bersama di lapangan kampus yang sama. Sampel bergantian dikumpulkan selama enam sesi 30 menit, menghasilkan 256 contoh. Pengklasifikasi linier linier dilatih pada fitur dari pembelajaran kontrastif olfaktori-visual, dan dievaluasi pada set yang dipegang 42 sampel:

Akurasi klasifikasi spesies rumput dari bau saja. Model dievaluasi pada kemampuan untuk membedakan antara dua jenis rumput yang secara visual mirip menggunakan hanya input olfaktori. Kinerja dibandingkan di seluruh smellprints dan data sensor mentah, dengan model yang diinisialisasi secara acak, dilatih dari awal, atau dilatih menggunakan pembelajaran mandiri (SSL) diikuti oleh probe linier. Akurasi tertinggi, 92,9%, dicapai menggunakan sinyal olfaktori mentah dengan SSL, menunjukkan bahwa perbedaan bau halus paling baik ditangkap melalui input mentah dan pelatihan yang diarahkan oleh penglihatan.

Di sini peneliti menyatakan:

‘Pelatihan pada sinyal sensor olfaktori mentah (bukan fitur buatan tangan) menghasilkan akurasi tertinggi – melebihi semua varian yang berbasis pada smellprints.

‘Hasil ini menunjukkan bahwa pembelajaran olfaktori-visual melestarikan lebih banyak informasi halus daripada pembelajaran dengan smellprints, dan bahwa pengawasan visual menyediakan sinyal untuk mengeksploitasi informasi ini.’

Kesimpulan

Meskipun sintesis bau tampaknya akan tetap menjadi masalah yang belum terpecahkan untuk beberapa waktu, sistem analisis bau yang efektif dan terjangkau di alam liar memiliki potensi besar, tidak hanya untuk kepolisian, keamanan, dan tujuan medis, tetapi juga untuk pemantauan kualitas hidup dan perkotaan.

Saat ini, peralatan yang terlibat adalah niche dan biasanya cukup mahal; oleh karena itu, kemajuan nyata dalam ‘AI olfaktori’ untuk deteksi tampaknya akan memerlukan sensor yang visioner dan terjangkau dalam semangat Raspberry PI.

* Konversi saya dari kutipan inline penulis ke tautan.

** Perhatikan bahwa ilustrasi lebih lanjut (figur 8) tersedia dalam kertas sumber, tetapi paling baik dilihat dalam konteks itu.

Dipublikasikan pertama kali pada hari Jumat, 28 November 2025