Tấn công đối thủ quang học có thể thay đổi ý nghĩa của biển báo đường

Các nhà nghiên cứu tại Mỹ đã phát triển một cuộc tấn công đối thủ chống lại khả năng của các hệ thống học máy để giải thích chính xác những gì chúng nhìn thấy – bao gồm cả các mục quan trọng như biển báo đường – bằng cách chiếu ánh sáng có mẫu lên các vật thể trong thế giới thực. Trong một thí nghiệm, phương pháp này đã thành công trong việc khiến ý nghĩa của một biển báo đường “DỪNG” bị biến thành một biển báo giới hạn tốc độ “30mph”.

Perturbations trên một biển báo, được tạo ra bằng cách chiếu ánh sáng được thiết kế lên nó, làm biến dạng cách nó được giải thích trong một hệ thống học máy. Nguồn: https://arxiv.org/pdf/2108.06247.pdf

Nghiên cứu này có tiêu đề Tấn công đối thủ quang học, và đến từ Đại học Purdue ở Indiana.

Một cuộc tấn công đối thủ quang học (OPAD), như được đề xuất trong bài báo, sử dụng chiếu sáng có cấu trúc để thay đổi ngoại hình của các vật thể mục tiêu, và chỉ yêu cầu một máy chiếu hàng hóa, một máy ảnh và một máy tính. Các nhà nghiên cứu đã có thể thực hiện thành công cả tấn công trắng và đen bằng kỹ thuật này.

Cấu hình OPAD, và sự biến dạng tối thiểu (được nhận thức bởi con người) đủ để gây ra sự phân loại sai.

Cấu hình cho OPAD bao gồm một máy chiếu ViewSonic 3600 Lumens SVGA, một máy ảnh Canon T6i và một máy tính xách tay.

Tấn công hộp đen và mục tiêu

Tấn công trắng là các kịch bản không thể xảy ra, nơi một kẻ tấn công có thể có quyền truy cập trực tiếp vào quy trình đào tạo mô hình hoặc vào quản lý dữ liệu đầu vào. Tấn công hộp đen, ngược lại, thường được xây dựng bằng cách suy luận cách một hệ thống học máy được tạo thành, hoặc ít nhất cách nó hoạt động, tạo ra các mô hình “bóng tối” và phát triển các cuộc tấn công đối thủ được thiết kế để hoạt động trên mô hình gốc.

Ở đây chúng ta thấy số lượng biến dạng hình ảnh cần thiết để đánh lừa phân loạier.

Trong trường hợp sau, không cần quyền truy cập đặc biệt, mặc dù các cuộc tấn công như vậy được hỗ trợ rất nhiều bởi sự phổ biến của các thư viện và cơ sở dữ liệu tầm nhìn máy tính mã nguồn mở trong nghiên cứu học thuật và thương mại hiện nay.

Tất cả các cuộc tấn công OPAD được mô tả trong bài báo mới là “tấn công mục tiêu”, nhằm thay đổi cách giải thích các vật thể nhất định. Mặc dù hệ thống cũng đã được chứng minh là có khả năng đạt được các cuộc tấn công trừu tượng, tổng quát, các nhà nghiên cứu cho rằng một kẻ tấn công trong thế giới thực sẽ có một mục tiêu phá hoại cụ thể.

Cuộc tấn công OPAD chỉ đơn giản là một phiên bản thế giới thực của nguyên tắc thường được nghiên cứu về việc tiêm nhiễu vào các hình ảnh sẽ được sử dụng trong các hệ thống tầm nhìn máy tính. Giá trị của phương pháp này là một người có thể đơn giản “chiếu” các biến dạng lên vật thể mục tiêu để kích hoạt sự phân loại sai, trong khi việc đảm bảo rằng các hình ảnh “ngựa thành Troia” kết thúc trong quá trình đào tạo là khá khó khăn để thực hiện.

Trong trường hợp OPAD có thể áp đặt ý nghĩa băm của hình ảnh “tốc độ 30” trong một tập dữ liệu lên một biển báo “DỪNG”, hình ảnh cơ sở được thu được bằng cách chiếu sáng vật thể đồng đều ở cường độ 140/255. Sau đó, chiếu sáng được bù bởi máy chiếu được áp dụng như một cuộc tấn công gradient descent.

Ví dụ về các cuộc tấn công phân loại sai OPAD.

Các nhà nghiên cứu quan sát thấy rằng thách thức chính của dự án đã là hiệu chỉnh và thiết lập cơ chế máy chiếu để đạt được một “lừa dối” sạch, vì các góc, quang học và một số yếu tố khác là một thách thức đối với khai thác.

Ngoài ra, phương pháp này chỉ có khả năng hoạt động vào ban đêm. Liệu sự chiếu sáng rõ ràng có thể tiết lộ “hacks” cũng là một yếu tố; nếu một vật thể như một biển báo đã được chiếu sáng, máy chiếu phải bù cho sự chiếu sáng đó, và lượng phản xạ biến dạng cũng cần phải chống lại đèn pha. Nó dường như là một hệ thống sẽ hoạt động tốt nhất trong môi trường đô thị, nơi ánh sáng môi trường có khả năng ổn định hơn.

Nghiên cứu này hiệu quả xây dựng một phiên bản định hướng học máy của nghiên cứu năm 2004 của Đại học Columbia về việc thay đổi ngoại hình của các vật thể bằng cách chiếu các hình ảnh khác lên chúng – một thí nghiệm dựa trên quang học thiếu tiềm năng độc hại của OPAD.

Trong thử nghiệm, OPAD đã có thể đánh lừa một phân loại器 trong 31 trên 64 cuộc tấn công – một tỷ lệ thành công 48%. Các nhà nghiên cứu lưu ý rằng tỷ lệ thành công phụ thuộc rất nhiều vào loại vật thể bị tấn công. Các bề mặt mờ hoặc cong (như một con gấu bông và một chiếc cốc) không thể cung cấp đủ phản xạ trực tiếp để thực hiện cuộc tấn công. Mặt khác, các bề mặt phẳng phản chiếu có chủ ý như biển báo đường là môi trường lý tưởng cho sự biến dạng OPAD.

Mặt tấn công mã nguồn mở

Tất cả các cuộc tấn công đều được thực hiện chống lại một tập hợp cụ thể các cơ sở dữ liệu: Cơ sở dữ liệu nhận dạng biển báo giao thông Đức (GTSRB, được gọi là GTSRB-CNN trong bài báo mới), được sử dụng để đào tạo mô hình cho một kịch bản tấn công tương tự vào năm 2018; tập dữ liệu ImageNet VGG16; và tập dữ liệu ImageNet Resnet-50.

Vậy, những cuộc tấn công này có “chỉ là lý thuyết”, vì chúng nhắm vào các tập dữ liệu mã nguồn mở, và không nhắm vào các hệ thống độc quyền trong xe tự hành? Chúng sẽ như vậy, nếu các cánh tay nghiên cứu chính không dựa vào cấu trúc sinh thái mã nguồn mở, bao gồm cả thuật toán và tập dữ liệu, và thay vào đó làm việc trong bí mật để sản xuất các tập dữ liệu và thuật toán nhận dạng độc quyền.

Nhưng nói chung, điều đó không phải là cách nó hoạt động. Các tập dữ liệu nổi bật trở thành các điểm chuẩn mà tất cả tiến bộ (và uy tín) trở nên đo lường được, trong khi các hệ thống nhận dạng hình ảnh mã nguồn mở như loạt YOLO vượt qua, thông qua hợp tác toàn cầu, bất kỳ hệ thống độc quyền nào được phát triển để hoạt động trên các nguyên tắc tương tự.

Sự phơi bày FOSS

Ngay cả khi dữ liệu trong một khuôn khổ tầm nhìn máy tính sẽ cuối cùng được thay thế bằng dữ liệu độc quyền hoàn toàn, trọng lượng của các mô hình “trống” vẫn thường được hiệu chỉnh trong các giai đoạn đầu của phát triển bởi dữ liệu FOSS mà sẽ không bao giờ bị loại bỏ hoàn toàn – điều này có nghĩa là các hệ thống kết quả có thể bị nhắm mục tiêu bởi các phương pháp FOSS.

Ngoài ra, việc dựa vào một cách tiếp cận mã nguồn mở đối với các hệ thống tầm nhìn máy tính như vậy làm cho các công ty tư nhân có thể tận dụng các đổi mới phân nhánh từ các dự án nghiên cứu toàn cầu khác, thêm một động lực tài chính để giữ kiến trúc này có thể tiếp cận được. Sau đó, họ có thể cố gắng đóng hệ thống chỉ tại thời điểm thương mại hóa, tại thời điểm đó một loạt các số liệu FOSS có thể suy luận được đã được nhúng sâu vào nó.