Cuộc tấn công đối kháng quang học có thể thay đổi ý nghĩa của biển báo đường bộ

Những nhà nghiên cứu tại Mỹ đã phát triển một cuộc tấn công đối kháng chống lại khả năng của các hệ thống học máy để giải thích chính xác những gì chúng nhìn thấy – bao gồm cả các mục quan trọng như biển báo đường bộ – bằng cách chiếu ánh sáng có mẫu lên các vật thể trong thế giới thực. Trong một thí nghiệm, phương pháp này đã thành công trong việc khiến ý nghĩa của một biển báo đường bộ “Dừng lại” bị biến thành một biển báo giới hạn tốc độ “30 dặm/giờ”.

Perturbations trên một biển báo, được tạo ra bằng cách chiếu ánh sáng được thiết kế lên nó, làm biến dạng cách nó được giải thích trong một hệ thống học máy. Nguồn: https://arxiv.org/pdf/2108.06247.pdf

Nghiên cứu này có tiêu đề Cuộc tấn công đối kháng quang học, và đến từ Đại học Purdue ở Indiana.

Một cuộc tấn công đối kháng quang học (OPAD), như được đề xuất trong bài báo, sử dụng chiếu sáng có cấu trúc để thay đổi hình dạng của các vật thể mục tiêu, và chỉ yêu cầu một máy chiếu hàng hóa, một máy ảnh và một máy tính. Những nhà nghiên cứu đã có thể thực hiện thành công cả các cuộc tấn công trắng và đen bằng kỹ thuật này.

Cấu hình OPAD, và các biến dạng tối thiểu (được nhận thức bởi con người) đủ để gây ra sự phân loại sai.

Cấu hình cho OPAD bao gồm một máy chiếu ViewSonic 3600 Lumens SVGA, một máy ảnh Canon T6i và một máy tính xách tay.

Cuộc tấn công hộp đen và mục tiêu

Các cuộc tấn công trắng là những kịch bản không thể xảy ra, nơi một kẻ tấn công có thể có quyền truy cập trực tiếp vào một thủ tục mô hình đào tạo hoặc vào quản lý dữ liệu đầu vào. Các cuộc tấn công hộp đen, ngược lại, thường được xây dựng bằng cách suy luận cách một hệ thống học máy được tạo thành, hoặc至少 cách nó hoạt động, tạo ra các “mô hình bóng tối” và phát triển các cuộc tấn công đối kháng được thiết kế để hoạt động trên mô hình ban đầu.

Ở đây, chúng ta thấy lượng biến dạng hình ảnh cần thiết để đánh lừa bộ phân loại.

Trong trường hợp sau, không cần quyền truy cập đặc biệt, mặc dù các cuộc tấn công như vậy được hỗ trợ rất nhiều bởi sự phổ biến của các thư viện và cơ sở dữ liệu tầm nhìn máy tính mã nguồn mở trong nghiên cứu học thuật và thương mại hiện nay.

Tất cả các cuộc tấn công OPAD được đề cập trong bài báo mới là các cuộc tấn công “mục tiêu”, nhằm thay đổi cách giải thích các đối tượng nhất định. Mặc dù hệ thống cũng đã được chứng minh là có khả năng đạt được các cuộc tấn công trừu tượng, tổng quát, những nhà nghiên cứu cho rằng một kẻ tấn công trong thế giới thực sẽ có một mục tiêu phá hoại cụ thể hơn.

Cuộc tấn công OPAD chỉ đơn giản là một phiên bản thế giới thực của nguyên tắc thường được nghiên cứu về việc tiêm nhiễu vào các hình ảnh sẽ được sử dụng trong các hệ thống tầm nhìn máy tính. Giá trị của phương pháp này là một người có thể đơn giản “chiếu” các biến dạng lên đối tượng mục tiêu để kích hoạt sự phân loại sai, trong khi việc đảm bảo rằng các hình ảnh “ngựa thành Troy” sẽ kết thúc trong quá trình đào tạo là khá khó khăn để thực hiện.

Trong trường hợp OPAD có thể áp đặt ý nghĩa của hình ảnh “giới hạn tốc độ 30” trong một tập dữ liệu lên một biển báo “Dừng lại”, hình ảnh cơ bản được thu được bằng cách chiếu sáng đối tượng đồng đều ở cường độ 140/255. Sau đó, ánh sáng được bù đắp bởi máy chiếu được áp dụng như một cuộc tấn công gradient descent.

Ví dụ về các cuộc tấn công phân loại sai OPAD.

Những nhà nghiên cứu nhận thấy rằng thách thức chính của dự án đã là hiệu chỉnh và thiết lập cơ chế máy chiếu để nó đạt được một “mối lừa dối” sạch sẽ, vì các góc, quang học và một số yếu tố khác là một thách thức đối với việc khai thác.

Ngoài ra, phương pháp này chỉ có khả năng hoạt động vào ban đêm. Liệu sự chiếu sáng rõ ràng có thể tiết lộ “hacking” hay không cũng là một yếu tố; nếu một đối tượng như một biển báo đã được chiếu sáng, máy chiếu phải bù đắp cho sự chiếu sáng đó, và lượng biến dạng phản xạ cũng cần phải chống lại đèn pha. Nó dường như là một hệ thống sẽ hoạt động tốt nhất trong môi trường đô thị, nơi ánh sáng môi trường có khả năng ổn định hơn.

Nghiên cứu này hiệu quả xây dựng một phiên bản học máy của nghiên cứu năm 2004 của Đại học Columbia về việc thay đổi hình dạng của các đối tượng bằng cách chiếu các hình ảnh khác lên chúng – một thí nghiệm quang học thiếu tiềm năng độc hại của OPAD.

Trong thử nghiệm, OPAD đã có thể đánh lừa một bộ phân loại trong 31 trong số 64 cuộc tấn công – tỷ lệ thành công 48%. Những nhà nghiên cứu lưu ý rằng tỷ lệ thành công phụ thuộc rất nhiều vào loại đối tượng bị tấn công. Các bề mặt có vân hoặc cong (như một con gấu bông và một chiếc cốc) không thể cung cấp đủ độ phản xạ trực tiếp để thực hiện cuộc tấn công. Mặt khác, các bề mặt phẳng phản xạ có chủ ý như biển báo đường bộ là môi trường lý tưởng cho sự biến dạng OPAD.

Diện tấn công mã nguồn mở

Tất cả các cuộc tấn công đều được thực hiện chống lại một tập hợp cụ thể các cơ sở dữ liệu: Cơ sở dữ liệu nhận dạng biển báo giao thông Đức (GTSRB, được gọi là GTSRB-CNN trong bài báo mới), được sử dụng để đào tạo mô hình cho một kịch bản tấn công tương tự vào năm 2018; tập dữ liệu ImageNet VGG16; và tập dữ liệu ImageNet Resnet-50.

Vậy, những cuộc tấn công này có “chỉ là lý thuyết”, vì chúng nhắm vào các tập dữ liệu mã nguồn mở, và không phải là các hệ thống độc quyền, đóng trong các phương tiện tự hành? Chúng sẽ là như vậy, nếu các cánh tay nghiên cứu chính không dựa vào hệ sinh thái mã nguồn mở, bao gồm cả thuật toán và cơ sở dữ liệu, và thay vào đó làm việc trong bí mật để sản xuất các tập dữ liệu độc quyền, đóng và các thuật toán nhận dạng không rõ ràng.

Nhưng nói chung, điều đó không phải là cách nó hoạt động. Các tập dữ liệu nổi bật trở thành các điểm chuẩn mà tất cả tiến bộ (và uy tín) trở nên đo lường được, trong khi các hệ thống nhận dạng hình ảnh mã nguồn mở như loạt YOLO dẫn đầu, thông qua hợp tác toàn cầu, bất kỳ hệ thống đóng nào được phát triển nội bộ để hoạt động trên các nguyên tắc tương tự.

Sự phơi bày của FOSS

Ngay cả khi dữ liệu trong một khuôn khổ tầm nhìn máy tính cuối cùng sẽ được thay thế bằng dữ liệu độc quyền, hoàn toàn, trọng lượng của các mô hình “trống” vẫn thường được hiệu chỉnh trong các giai đoạn đầu của phát triển bằng dữ liệu FOSS sẽ không bao giờ bị loại bỏ hoàn toàn – điều này có nghĩa là các hệ thống kết quả có thể bị nhắm mục tiêu bởi các phương pháp FOSS.

Ngoài ra, việc dựa vào một phương pháp mã nguồn mở đối với các hệ thống tầm nhìn máy tính như vậy làm cho các công ty tư nhân có thể tận dụng, miễn phí, các đổi mới phân nhánh từ các dự án nghiên cứu toàn cầu khác, thêm một động lực tài chính để giữ cho kiến trúc được tiếp cận. Sau đó, họ có thể cố gắng đóng hệ thống chỉ tại điểm thương mại hóa, vào thời điểm mà một loạt các chỉ số FOSS có thể suy ra đã được nhúng sâu vào nó.