Tấn công đối thủ quang học có thể thay đổi ý nghĩa của biển báo giao thông

Các nhà nghiên cứu tại Hoa Kỳ đã phát triển một phương pháp tấn công đối kháng nhằm vào khả năng diễn giải chính xác những gì hệ thống máy học nhìn thấy - bao gồm cả các vật thể quan trọng như biển báo giao thông - bằng cách chiếu ánh sáng có hoa văn lên các vật thể trong thế giới thực. Trong một thí nghiệm, phương pháp này đã thành công trong việc biến ý nghĩa của biển báo "DỪNG" ven đường thành biển báo giới hạn tốc độ "30 dặm/giờ".

Các nhiễu loạn trên một biển báo, được tạo ra bằng cách chiếu ánh sáng thủ công lên biển báo, làm biến dạng cách diễn giải biển báo trong hệ thống máy học. Nguồn: https://arxiv.org/pdf/2108.06247.pdf

nghiên cứu được quyền Tấn công đối thủ quang học, và đến từ Đại học Purdue ở Indiana.

Một cuộc tấn công đối nghịch quang học (OPAD), như được đề xuất bởi bài báo, sử dụng chiếu sáng có cấu trúc để thay đổi hình thức của các đối tượng mục tiêu và chỉ yêu cầu một máy chiếu hàng hóa, máy ảnh và máy tính. Các nhà nghiên cứu đã có thể thực hiện thành công cả tấn công hộp trắng và hộp đen bằng kỹ thuật này.

Thiết lập OPAD và các biến dạng được nhận thức tối thiểu (bởi mọi người) đủ để gây ra sự phân loại sai.

Thiết lập cho OPAD bao gồm máy chiếu ViewSonic 3600 Lumens SVGA, máy ảnh Canon T6i và máy tính xách tay.

Hộp đen và các cuộc tấn công có mục tiêu

Tấn công hộp trắng là những tình huống khó xảy ra, trong đó kẻ tấn công có thể truy cập trực tiếp vào quy trình mô hình huấn luyện hoặc quản lý dữ liệu đầu vào. Ngược lại, tấn công hộp đen thường được xây dựng bằng cách suy ra cách thức hoạt động của máy học, hoặc ít nhất là cách thức hoạt động của nó, tạo ra các mô hình "bóng" và phát triển các cuộc tấn công đối kháng được thiết kế để hoạt động trên mô hình gốc.

Ở đây chúng ta thấy mức độ nhiễu thị giác cần thiết để đánh lừa phân loạilà.

Trong trường hợp thứ hai, không cần quyền truy cập đặc biệt, mặc dù các cuộc tấn công như vậy được hỗ trợ rất nhiều bởi sự phổ biến của các thư viện và cơ sở dữ liệu thị giác máy tính nguồn mở trong nghiên cứu học thuật và thương mại hiện nay.

Tất cả các cuộc tấn công OPAD được nêu trong bài báo mới đều là các cuộc tấn công "có mục tiêu", cụ thể là nhằm thay đổi cách diễn giải một số đối tượng nhất định. Mặc dù hệ thống cũng đã được chứng minh là có khả năng thực hiện các cuộc tấn công tổng quát, trừu tượng, các nhà nghiên cứu cho rằng kẻ tấn công trong thế giới thực sẽ có mục tiêu phá hoại cụ thể hơn.

Tấn công OPAD đơn giản là một phiên bản thực tế của nguyên lý thường được nghiên cứu về việc đưa nhiễu vào hình ảnh sẽ được sử dụng trong các hệ thống thị giác máy tính. Giá trị của phương pháp này là người ta có thể dễ dàng "chiếu" nhiễu lên đối tượng mục tiêu để kích hoạt phân loại sai, trong khi việc đảm bảo các hình ảnh "ngựa thành Troy" xuất hiện trong quá trình huấn luyện lại khó thực hiện hơn nhiều.

Trong trường hợp OPAD có thể áp đặt ý nghĩa băm của hình ảnh 'tốc độ 30' trong tập dữ liệu lên biển báo 'DỪNG', hình ảnh cơ sở được thu được bằng cách chiếu sáng vật thể đồng đều ở cường độ 140/255. Sau đó, chiếu sáng bù trừ bằng máy chiếu được áp dụng như một hình chiếu. tấn công giảm độ dốc.

Ví dụ về các cuộc tấn công phân loại sai OPAD.

Các nhà nghiên cứu nhận thấy rằng thách thức chính của dự án là hiệu chỉnh và thiết lập cơ chế máy chiếu sao cho đạt được "sự lừa dối" sạch sẽ, vì góc độ, quang học và một số yếu tố khác là thách thức đối với việc khai thác.

Ngoài ra, phương pháp này chỉ có thể hiệu quả vào ban đêm. Việc ánh sáng rõ ràng có thể làm lộ ra "vết xước" hay không cũng là một yếu tố; nếu một vật thể như biển báo đã được chiếu sáng, máy chiếu phải bù trừ cho ánh sáng đó, và lượng nhiễu phản xạ cũng cần phải chống lại được đèn pha. Hệ thống này dường như hoạt động tốt nhất trong môi trường đô thị, nơi ánh sáng môi trường có thể ổn định hơn.

Nghiên cứu này xây dựng một cách hiệu quả một phiên bản định hướng ML của Đại học Columbia Nghiên cứu 2004 vào việc thay đổi diện mạo của các đối tượng bằng cách chiếu các hình ảnh khác lên chúng – một thử nghiệm dựa trên quang học không có tiềm năng nguy hiểm của OPAD.

Trong quá trình thử nghiệm, OPAD có thể đánh lừa một bộ phân loại trong 31 trên 64 cuộc tấn công – tỷ lệ thành công là 48%. Các nhà nghiên cứu lưu ý rằng tỷ lệ thành công phụ thuộc rất lớn vào loại đối tượng bị tấn công. Các bề mặt có đốm hoặc cong (chẳng hạn như gấu bông và cốc) không thể cung cấp đủ phản xạ trực tiếp để thực hiện cuộc tấn công. Mặt khác, các bề mặt phẳng phản chiếu có chủ ý như biển báo giao thông là môi trường lý tưởng cho biến dạng OPAD.

Bề mặt tấn công mã nguồn mở

Tất cả các cuộc tấn công đều được thực hiện nhằm vào một bộ cơ sở dữ liệu cụ thể: Cơ sở dữ liệu nhận dạng biển báo giao thông của Đức (GTSRB, được gọi là GTSRB-CNN trong bài báo mới), được sử dụng để huấn luyện mô hình cho một kịch bản tấn công tương tự năm 2018; ImageNet VGG16 bộ dữ liệu; và ImageNet mạng lại-50 thiết lập.

Vậy, liệu những cuộc tấn công này có "chỉ mang tính lý thuyết" khi chúng nhắm vào các tập dữ liệu nguồn mở, chứ không phải các hệ thống khép kín, độc quyền trong xe tự hành? Chúng sẽ là như vậy nếu các nhóm nghiên cứu lớn không dựa vào cấu trúc hệ sinh thái nguồn mở, bao gồm các thuật toán và tập dữ liệu, mà thay vào đó, họ âm thầm nỗ lực tạo ra các tập dữ liệu nguồn đóng và các thuật toán nhận dạng mờ ám.

Nhưng nhìn chung, mọi thứ không diễn ra như vậy. Các tập dữ liệu mang tính bước ngoặt trở thành chuẩn mực để đo lường mọi tiến bộ (và sự tôn trọng/tôn vinh), trong khi các hệ thống nhận dạng hình ảnh nguồn mở như dòng YOLO, thông qua hợp tác toàn cầu chung, đang vượt lên trên bất kỳ hệ thống khép kín nào được phát triển nội bộ, hoạt động theo các nguyên tắc tương tự.

Phơi nhiễm FOSS

Ngay cả khi dữ liệu trong khuôn khổ thị giác máy tính cuối cùng sẽ được thay thế bằng dữ liệu hoàn toàn đóng, trọng số của các mô hình "được làm trống" vẫn thường xuyên được hiệu chỉnh trong giai đoạn đầu phát triển bằng dữ liệu FOSS mà sẽ không bao giờ bị loại bỏ hoàn toàn - điều đó có nghĩa là các hệ thống kết quả có khả năng bị nhắm mục tiêu bởi các phương pháp FOSS.

Ngoài ra, việc dựa vào cách tiếp cận nguồn mở đối với các hệ thống CV có tính chất này giúp các công ty tư nhân có thể tận dụng miễn phí các đổi mới nhánh từ các dự án nghiên cứu toàn cầu khác, bổ sung thêm động lực tài chính để giữ cho kiến ​​trúc có thể truy cập được. Sau đó, họ chỉ có thể cố gắng đóng hệ thống tại thời điểm thương mại hóa, khi đó toàn bộ mảng các chỉ số FOSS có thể suy luận được nhúng sâu vào trong đó.