Mang lại cảm giác về mùi cho sự phát triển của Trí tuệ nhân tạo

Dữ liệu tập hợp mới này dạy máy tính cách ngửi bằng cách liên kết dữ liệu mùi với hình ảnh, cho phép mô hình khớp mùi với vật thể, cảnh và vật liệu.

Có lẽ vì các máy móc có đầu ra mùi có lịch sử phức tạp, khứu giác là một giác quan bị bỏ qua khá nhiều trong văn học nghiên cứu về Trí tuệ nhân tạo. Trừ khi bạn đang lên kế hoạch sản xuất một mục nhập khác trong loạt saga smell-o-vision đã chạy hơn một thế kỷ, các trường hợp sử dụng dường như khá ‘niche’ so với khả năng khai thác các tập dữ liệu hình ảnh, âm thanh và video, cũng như các mô hình Trí tuệ nhân tạo được đào tạo từ chúng.

Trên thực tế, khả năng tự động hóa, công nghiệp hóa và phổ biến các cơ sở phát hiện được cung cấp bởi chó phát hiện bom, chó phát hiện tử thi, chó phát hiện bệnh, và nhiều loại đơn vị đánh hơi khác, sẽ là một lợi ích đáng kể trong các dịch vụ đô thị và an ninh. Mặc dù nhu cầu cao, nhưng cung cấp vượt quá nhu cầu, đào tạo và duy trì chó phát hiện là một doanh nghiệp tốn kém không luôn mang lại giá trị tốt cho tiền bạc.

Cho đến nay, hầu hết nghiên cứu xâm phạm vào lĩnh vực này đã được giới hạn trong phòng thí nghiệm, với các bộ sưu tập được lập có tính năng được tạo thủ công – một hồ sơ nghiêng nhiều hơn về các giải pháp công nghiệp hóa hơn là các ứng dụng công nghiệp.

Làm chủ bằng mũi

Vào khí hậu khá cũ kỹ này, một sự hợp tác học thuật/công nghiệp thú vị từ Mỹ, trong đó một nhóm các nhà nghiên cứu đã dành vài tháng để lập danh mục các mùi khác nhau trong môi trường trong nhà và ngoài trời ở Thành phố New York – và, lần đầu tiên, thu thập hình ảnh liên kết với các mùi được thu thập:

Lưu ý cảm biến trung tâm, ‘mũi’ của thiết bị khứu giác. Được đào tạo chỉ trên mùi, mô hình đoán xem nó đang ngửi gì – đá granit, nhựa, hay da – và thậm chí xác định phòng nó đang ở, mà không nhìn thấy một pixel nào. Nguồn

Nghiên cứu này đã dẫn các tác giả của công việc mới đến việc tạo ra một phiên bản của khuôn khổ Contrastive Language-Image Pretraining (CLIP), kết nối văn bản và hình ảnh, dưới dạng Contrastive Olfaction-Image Pretraining (COIP) – kết nối mùi và hình ảnh.

Trên: video và dữ liệu cảm biến khứu giác được thu thập trong các môi trường tự nhiên bằng cách sử dụng một bộ khung máy ảnh-e-nose. Dưới trái (b): một bản nhúng chung được học thông qua tự giám sát chéo. (c): hệ thống thu lại các trận đấu hình ảnh dựa chỉ trên một truy vấn mùi. (d): các mẫu mùi riêng lẻ được sử dụng để phân loại môi trường, vật thể và vật liệu. (e): các mùi tương tự cao, chẳng hạn như hai loại cỏ, được phân biệt mà không có đầu vào hình ảnh. Nguồn

Tập dữ liệu mới, có tên New York Smells, chứa 7.000 cặp mùi-hình ảnh, với 3.500 vật thể khác nhau. Khi được đào tạo trong các thử nghiệm, dữ liệu mới này đã được tìm thấy để vượt trội so với các tính năng được tạo thủ công phổ biến trong số các tập dữ liệu trước đó tương tự.

Các tác giả hy vọng rằng lần ra mắt ban đầu của họ sẽ mở đường cho các công việc sau này và các công trình tiếp theo về các hệ thống phát hiện khứu giác được thiết kế để hoạt động trong tự nhiên, giống như cách chó đánh hơi làm:

‘Chúng tôi xem tập dữ liệu này như một bước tiến hacia nhận thức khứu giác đa phương thức trong tự nhiên, cũng như một bước tiến tới liên kết tầm nhìn với mùi. Trong khi khứu giác truyền thống đã được tiếp cận trong các môi trường bị giới hạn, chẳng hạn như đảm bảo chất lượng, có nhiều ứng dụng trong các môi trường tự nhiên.

‘Ví dụ, như con người, chúng ta liên tục sử dụng cảm giác về mùi để đánh giá chất lượng của thực phẩm, xác định các nguy cơ và phát hiện các vật thể không nhìn thấy.

‘Hơn nữa, nhiều động vật, chẳng hạn như chó, gấu và chuột, thể hiện khả năng khứu giác siêu phàm, cho thấy rằng nhận thức về mùi của con người còn xa mới đạt đến giới hạn của khả năng máy móc.’

Mặc dù bài báo mới, có tên New York Smells: Một tập dữ liệu đa phương thức lớn cho khứu giác, hứa hẹn rằng dữ liệu và mã sẽ được phát hành, một tệp dữ liệu 27GB đã có sẵn thông qua trang web dự án. Bài báo này được sản xuất bởi chín nhà nghiên cứu trên khắp Đại học Columbia, Đại học Cornell và Osmo Labs.

Phương pháp

Để thu thập tài liệu cho tập hợp mới, các nhà nghiên cứu đã sử dụng Cyranose 320 mũi điện tử, với iPhone gắn trên đầu vào phía trước để chụp hình ảnh những gì đang được đăng ký bởi mũi:

Một bộ khung cảm biến cầm tay thu thập dữ liệu video và mùi được ghép nối bằng cách gắn máy ảnh iPhone vào mũi điện tử Cyranose 320. Mũi được hướng vào các vật thể trong khi đầu vào và đầu ra quản lý luồng không khí trong quá trình lấy mẫu. Một máy ảnh RGB-D chụp độ sâu, trong khi nồng độ hợp chất hữu cơ dễ bay hơi (VOC), nhiệt độ và độ ẩm được ghi lại thông qua các cảm biến tích hợp, bao gồm cả mô-đun PID và cảm biến môi trường.

Thiết bị Cyranose hoạt động ở tốc độ 2Hz, ghi lại 32 bước thời gian khứu giác. Nồng độ VOC được ghi lại bằng cảm biến MiniPID2 PPM WR.

Đơn vị di động này hoạt động như một cảm biến linh hoạt, truyền dữ liệu đến một trạm di động có khả năng tính toán hơn để xử lý.

Để đặt mùi mục tiêu vào bối cảnh, một ‘mùi cơ bản’ được đăng ký, trước khi đối tượng cụ thể được nhắm mục tiêu trực tiếp với ‘mũi’ của Cyranose. Mẫu môi trường được lấy từ một cổng bên của đơn vị, để đảm bảo nó đủ xa nguồn mùi chính để không bị ô nhiễm.

Hai mẫu được lấy thông qua đầu vào chính của cảm biến, với mỗi bản ghi 10 giây được thu từ một vị trí khác nhau xung quanh vật thể, để cải thiện hiệu quả dữ liệu. Các mẫu sau đó được kết hợp với mẫu cơ bản để tạo thành một ma trận 28×32, đại diện cho toàn bộ phép đo khứu giác:

Ví dụ này cho thấy tín hiệu và hình ảnh tương ứng cho một bông hoa. Tín hiệu khứu giác đầy đủ bao gồm một ma trận 28×32, kết hợp một mẫu cơ bản 14 khung với hai mẫu 10 giây lấy từ các góc khác nhau xung quanh vật thể mục tiêu.

Dữ liệu và Kiểm tra

Các mô hình ngôn ngữ tầm nhìn (VLMs) được sử dụng để tự động gắn nhãn cho các vật thể và vật liệu được chụp bởi iPhone trong bộ khung Cyranose, với GPT-4o được sử dụng cho nhiệm vụ này; tuy nhiên, các thể loại cảnh được gắn nhãn thủ công:

Một mẫu nhỏ từ một minh họa rộng rãi trong bài báo nguồn chi tiết các nguồn mùi và môi trường được thu thập trong dự án.

Tập dữ liệu được chia thành các phần đào tạo và xác thực, với cả mẫu từ mỗi vật thể được gán cho cùng một phần để tránh ô nhiễm chéo. Bộ sưu tập cuối cùng bao gồm 7.000 cặp khứu giác-tầm nhìn được thu từ 3.500 vật thể không được gắn nhãn, cùng với 70 giờ video và 196.000 bước thời gian dữ liệu khứu giác thô từ cả giai đoạn cơ bản và mẫu.

Dữ liệu được thu thập trong 60 phiên trong hai tháng, bao gồm các công viên, tòa nhà trường đại học, văn phòng, đường phố, thư viện, căn hộ và phòng ăn, với nhiều phiên được thực hiện tại mỗi địa điểm. Tập dữ liệu kết quả chứa 41% môi trường ngoài trời và 59% môi trường trong nhà.

Để phát triển các biểu diễn khứu giác chung, các tác giả đã đào tạo một mô hình tương phản để liên kết các cặp hình ảnh-mùi được đồng bộ hóa từ tập dữ liệu. Cách tiếp cận này, COIP được đề cập trước đó, sử dụng một hàm mất mát được điều chỉnh từ CLIP để căn chỉnh các bản nhúng của các tín hiệu hình ảnh và khứu giác đồng thời trong một không gian biểu diễn chung.

Mô hình được đào tạo bằng cách sử dụng cả mã hóa hình ảnh và mã hóa mùi, với mục tiêu dạy cho mô hình đưa các mùi và hình ảnh khớp nhau lại gần nhau trong không gian biểu diễn chung. Các biểu diễn kết quả hỗ trợ một loạt các nhiệm vụ hạ游, bao gồm thu hồi hình ảnh-mùi, nhận dạng cảnh và vật thể, phân loại vật liệu và phân biệt mùi tinh tế.

Mô hình được đào tạo bằng cách sử dụng hai loại đầu vào khứu giác: tín hiệu cảm biến thô và một bản tóm tắt được tạo thủ công có tên là smellprints – các tính năng được sử dụng rộng rãi trong nghiên cứu về khứu giác, nén mỗi phản ứng của cảm biến vào một số bằng cách so sánh điện trở đỉnh trong quá trình lấy mẫu với điện trở trung bình trong mẫu cơ bản.

Ngược lại, đầu vào thô được ghi lại trên toàn thành phố New York bao gồm một dãy thời gian từ 32 cảm biến hóa học bên trong thiết bị Cyranose, ghi lại cách mỗi cảm biến thay đổi điện trở theo thời gian khi nó phản ứng với mùi.

Đối với việc lập danh mục tập dữ liệu, tín hiệu chưa được xử lý này được đưa trực tiếp vào một mạng nơ-ron, cho phép học từ đầu đến cuối với một hệ thống dựa trên mạng nơ-ron tích chập hoặc hệ thống dựa trên mạng nơ-ron chuyển đổi. Các mô hình được đào tạo bằng cách sử dụng cả smellprints và đầu vào thô thu được từ các môi trường khác nhau ở Thành phố New York, với cả hai loại đầu vào được đánh giá bằng cách học tương phản.

Thu hồi chéo

Thu hồi chéo được đánh giá bằng cách nhúng mỗi mẫu mùi và hình ảnh tương ứng vào một không gian biểu diễn chung, và kiểm tra xem hình ảnh chính xác có thể được thu hồi dựa chỉ trên đầu vào khứu giác.

Xếp hạng được xác định bởi sự gần gũi của mỗi bản nhúng hình ảnh với truy vấn mùi trong không gian này, và hiệu suất được đo bằng xếp hạng trung bình, xếp hạng trung vị, và độ nhớ tại nhiều ngưỡng:

Độ chính xác của thu hồi chéo cho các mã hóa mùi khác nhau, cho thấy mức độ mô hình xác định hình ảnh chính xác từ một truy vấn mùi. Kết quả so sánh các kiến trúc được đào tạo trên tín hiệu khứu giác thô với những kiến trúc sử dụng smellprints.

Về những kết quả này, các tác giả tuyên bố:

‘Đào tạo tương phản bằng cách sử dụng smellprint thực hiện tốt hơn may mắn trong tất cả các chỉ số. Tuy nhiên, đào tạo bộ mã hóa khứu giác trên tín hiệu khứu giác thô dẫn đến sự cải thiện đáng kể so với bộ mã hóa smellprint, độc lập với kiến trúc.

‘Điều này cho thấy thông tin phong phú hơn có trong dữ liệu khứu giác thô, mở khóa các mối quan hệ chéo mạnh mẽ hơn giữa tầm nhìn và mùi.’

Chi tiết từ minh họa thứ bảy trong bài báo nguồn, quá nhỏ để tái tạo có ý nghĩa ở đây. Đây, các ví dụ về thu hồi chéo cho thấy cách mô hình liên kết các mùi với hình ảnh tương ứng. Mỗi hàng bắt đầu với một truy vấn mùi, tiếp theo là các dự đoán hình ảnh hàng đầu trong không gian nhúng chung. Hình ảnh chính xác cho mỗi truy vấn được bao quanh bởi màu xanh lá cây, cho thấy cách các mùi từ sách, cây cối, đá và các vật liệu khác kéo mô hình về phía các cảnh và ngữ nghĩa liên quan về mặt hình ảnh.

Các tác giả cũng lưu ý rằng kết quả thu hồi cho thấy các mẫu ngữ nghĩa rõ ràng:

‘Thu hồi từ mô hình của chúng tôi thường cho thấy các nhóm ngữ nghĩa. Mùi của một cuốn sách thu hồi hình ảnh của các cuốn sách khác, mùi của lá cây thu hồi hình ảnh của tán lá.

‘Những kết quả này cho thấy rằng biểu diễn đã học nắm bắt được cấu trúc chéo có ý nghĩa.’

Nhận dạng cảnh, vật thể và vật liệu

Khả năng của mô hình nhận ra các mùi mà không có đầu vào hình ảnh được đánh giá bằng cách đào tạo nó để xác định các cảnh, vật thể và vật liệu dựa chỉ trên dữ liệu khứu giác; để thực hiện điều này, một dấu hiệu tuyến tính (một phân loại器 đơn giản được đào tạo trên các biểu diễn đông) được sử dụng để đánh giá bao nhiêu thông tin được mã hóa trong các biểu diễn mùi đã học:

Nhãn được dẫn xuất từ các hình ảnh ghép nối trong tập đào tạo bằng cách sử dụng GPT-4o – nhưng chỉ tín hiệu khứu giác được sử dụng trong quá trình phân loại.

Nhiều loại mã hóa được thử nghiệm: một số được khởi tạo ngẫu nhiên, một số được đào tạo từ đầu, và một số được đào tạo bằng cách học tương phản để căn chỉnh khứu giác và tầm nhìn trong một không gian biểu diễn chung, với dữ liệu thô và smellprints được đánh giá:

Độ chính xác phân loại cho cảnh, vật liệu và vật thể được đánh giá bằng cách sử dụng tín hiệu khứu giác alone. Đầu vào cảm biến thô vượt trội so với smellprints, với các CNN được đào tạo từ đầu cho kết quả cao nhất, bao gồm 99,5% cho cảnh. SSL tiền đào tạo giúp trong một số trường hợp, nhưng nói chung bị vượt qua bởi đào tạo giám sát. Các baseline trọng lượng ngẫu nhiên cho thấy khả năng của mô hình alone là không đủ.

Độ chính xác cao hơn được đạt được khi dữ liệu khứu giác thô được sử dụng, đặc biệt là trong các mô hình được đào tạo với giám sát chéo. Các tác giả nhận xét:

‘Các mô hình được đào tạo trên đầu vào cảm biến thô cũng đạt được độ chính xác cao hơn so với các mô hình được đào tạo với các tính năng smellprint. Những kết quả này cho thấy rằng học sâu từ tín hiệu khứu giác thô tốt hơn nhiều so với các tính năng được tạo thủ công.’

Phân biệt tinh tế

Để đánh giá xem các phân biệt mùi tinh tế có thể được học hay không, một điểm chuẩn được xây dựng từ hai loài cỏ cùng tồn tại trên cùng một cánh đồng trường. Các mẫu xen kẽ được thu thập trong sáu phiên 30 phút, cho 256 ví dụ. Một phân loại tuyến tính được đào tạo trên các tính năng từ học tương phản khứu giác-tầm nhìn, và được đánh giá trên một tập hợp được giữ lại gồm 42 mẫu:

Độ chính xác phân loại loài cỏ từ mùi alone. Các mô hình được đánh giá về khả năng phân biệt giữa hai loại cỏ tương tự về mặt hình ảnh bằng cách sử dụng chỉ đầu vào khứu giác. Hiệu suất được so sánh trên smellprints và dữ liệu cảm biến thô, với các mô hình được khởi tạo ngẫu nhiên, đào tạo từ đầu, hoặc đào tạo bằng học tự giám sát (SSL) sau đó là một dấu hiệu tuyến tính. Độ chính xác cao nhất, 92,9%, được đạt được bằng cách sử dụng tín hiệu khứu giác thô với SSL, cho thấy rằng các khác biệt mùi tinh tế được nắm bắt tốt nhất thông qua đầu vào thô và đào tạo có hướng dẫn bởi tầm nhìn.

Tại đây, các nhà nghiên cứu tuyên bố:

‘Đào tạo trên tín hiệu cảm biến khứu giác thô (thay vì các tính năng được tạo thủ công) cho kết quả độ chính xác cao nhất – vượt trội so với tất cả các biến thể dựa trên smellprints.

‘Những kết quả này cho thấy rằng học khứu giác-tầm nhìn bảo tồn nhiều thông tin tinh tế hơn so với học bằng smellprints, và rằng giám sát tầm nhìn cung cấp một tín hiệu để khai thác thông tin này.’

Kết luận

Mặc dù tổng hợp mùi có vẻ sẽ vẫn là một vấn đề chưa được giải quyết trong một thời gian, một hệ thống phân tích mùi trong tự nhiên hiệu quả và có giá cả phải chăng có tiềm năng rất lớn, không chỉ cho các mục đích cảnh sát, an ninh và y tế, mà còn cho các dịch vụ theo dõi chất lượng cuộc sống và đô thị.

Hiện tại, thiết bị liên quan là một sản phẩm đặc biệt và thường khá đắt tiền; do đó, tiến bộ thực sự trong ‘Trí tuệ nhân tạo khứu giác’ cho phát hiện có vẻ sẽ cần một cảm biến có tầm nhìn và có giá cả phải chăng theo tinh thần Raspberry PI.

* Sự chuyển đổi của tôi từ các trích dẫn nội tuyến của tác giả thành các liên kết.

** Vui lòng lưu ý rằng các minh họa bổ sung (hình 8) có sẵn trong bài báo nguồn, nhưng tốt nhất nên xem trong bối cảnh đó.

Được xuất bản lần đầu vào thứ Sáu, ngày 28 tháng 11 năm 2025