การโจมตีเชิงรุกด้านแสงสามารถเปลี่ยนความหมายของป้ายจราจร

นักวิจัยในสหรัฐฯ ได้พัฒนาการโจมตีเชิงรุกต่อความสามารถของระบบการเรียนรู้ของเครื่องในการตีความสิ่งที่เห็นอย่างถูกต้อง รวมถึงสิ่งของที่สำคัญต่อภารกิจ เช่น ป้ายจราจร โดยการส่องแสงแบบมีรูปแบบไปยังวัตถุในโลกแห่งความเป็นจริง ในการทดลองหนึ่ง วิธีการนี้ประสบความสำเร็จในการทำให้ความหมายของป้าย “หยุด” ถูกเปลี่ยนเป็นป้าย “จำกัดความเร็ว 30 ไมล์ต่อชั่วโมง”

การเปลี่ยนแปลงบนป้ายที่สร้างขึ้นโดยการส่องแสงแบบมีรูปแบบ ทำให้ระบบการเรียนรู้ของเครื่องตีความสิ่งนั้นผิด Source: https://arxiv.org/pdf/2108.06247.pdf

การวิจัย นี้ มีชื่อเรื่องว่า การโจมตีเชิงรุกด้านแสง และมาจากมหาวิทยาลัย Purdue ในรัฐอินเดียนา

การโจมตีเชิงรุกด้านแสง (OPAD) ตามที่เสนอในเอกสารนี้ ใช้แสงแบบมีโครงสร้างเพื่อเปลี่ยนแปลง外貌ของวัตถุเป้าหมาย และต้องการเพียงโปรเจคเตอร์ที่ใช้ในทั่วไป กล้องถ่ายรูป และคอมพิวเตอร์ นักวิจัยสามารถโจมตีได้สำเร็จทั้งแบบ white-box และ black box โดยใช้เทคนิคนี้

การเตรียมการสำหรับ OPAD และการเปลี่ยนแปลงที่มองไม่เห็นสำหรับมนุษย์ แต่เพียงพอในการทำให้เกิดการจำแนกประเภทผิด.

การเตรียมการสำหรับ OPAD ประกอบด้วยโปรเจคเตอร์ ViewSonic 3600 Lumens SVGA กล้องถ่ายรูป Canon T6i และคอมพิวเตอร์โน้ตบุ๊ก

การโจมตีแบบ Black Box และการโจมตีแบบมุ่งเป้า

การโจมตีแบบ white box เป็นสถานการณ์ที่ไม่น่าจะเกิดขึ้น โดยที่ผู้โจมตีอาจมีการเข้าถึงแบบตรงไปยังกระบวนการฝึกอบรมแบบจำลองหรือการกำกับดูแลข้อมูลการเข้า การโจมตีแบบ black box เป็นสถานการณ์ที่มักถูกกำหนดโดยการอนุมานว่าระบบการเรียนรู้ของเครื่องประกอบด้วยสิ่งใด หรืออย่างน้อยว่ามันทำงานอย่างไร โดยการสร้างแบบจำลอง “เงา” และพัฒนาการโจมตีเชิงรุกที่ออกแบบมาเพื่อทำงานบนแบบจำลองต้นฉบับ

ที่นี่เราจะเห็นปริมาณการเปลี่ยนแปลงที่จำเป็นในการหลอกลวงการจำแนกประเภท.

ในกรณีหลัง ไม่ต้องการการเข้าถึงพิเศษ แต่การโจมตีดังกล่าวได้รับการช่วยเหลืออย่างมากจากความแพร่หลายของไลบรารีและฐานข้อมูลการมองเห็นของคอมพิวเตอร์ที่เปิดกว้างในงานวิจัยเชิงวิชาการและเชิงพาณิชย์ในปัจจุบัน

การโจมตีทั้งหมดที่อธิบายไว้ในเอกสารใหม่นี้เป็นการโจมตีแบบมุ่งเป้า ซึ่งมีจุดมุ่งหมายเพื่อเปลี่ยนแปลงวิธีการตีความวัตถุบางอย่างโดยเฉพาะ แม้ว่าระบบจะแสดงให้เห็นถึงความสามารถในการบรรลุการโจมตีแบบทั่วไปและแบบนามธรรม แต่นักวิจัยแย้งว่าผู้โจมตีในโลกแห่งความเป็นจริงจะมีวัตถุประสงค์ที่จะรบกวนการทำงานที่เฉพาะเจาะจง

การโจมตี OPAD เป็นเพียงรูปแบบของโลกแห่งความเป็นจริงของหลักการที่มักถูกวิจัยซึ่งก็คือการฉีดสัญญาณรบกวนเข้าไปในภาพที่จะใช้ในระบบการมองเห็นของคอมพิวเตอร์ คุณค่าของวิธีการนี้คือสามารถ “ฉาย” การเปลี่ยนแปลงไปยังวัตถุเป้าหมายเพื่อกระตุ้นให้เกิดการจำแนกประเภทผิด ในขณะที่การรับประกันว่าภาพ “ม้าโทรจัน” จะเข้าสู่กระบวนการฝึกอบรมนั้นเป็นเรื่องที่ยากกว่าในการทำได้

ในกรณีที่ OPAD สามารถบังคับให้ความหมายของภาพ “ความเร็ว 30” ในชุดข้อมูลเข้ากับป้าย “หยุด” ได้成功 ภาพฐานถูกได้รับโดยการให้แสงสว่างวัตถุอย่างสม่ำเสมอในความเข้ม 140/255 จากนั้นการฉายแสงแบบมีการชดเชยถูกใช้เป็นการโจมตี การล่องหน้าแบบการลาก

ตัวอย่างของการโจมตี OPAD ที่ทำให้เกิดการจำแนกประเภทผิด.

นักวิจัยสังเกตว่าความท้าทายหลักของโครงการคือการปรับและตั้งค่ากลไกโปรเจคเตอร์ให้ได้การหลอกลวงที่ “สะอาด” เนื่องจากมุม ตัวเลนส์ และปัจจัยอื่นๆ มีความท้าทายต่อการเอาเปรียบ

นอกจากนี้ วิธีการนี้มีแนวโน้มที่จะทำงานได้เฉพาะในเวลากลางคืนเท่านั้น และไม่ว่าการให้แสงสว่างที่เห็นได้ชัดจะทำให้ “การแฮก” เปิดเผยหรือไม่ก็ตาม หากวัตถุ เช่น ป้าย ถูกให้แสงสว่างแล้ว โปรเจคเตอร์จะต้องชดเชยการให้แสงสว่างนั้น และปริมาณการสะท้อนของการเปลี่ยนแปลงจะต้องสามารถต้านทานแสงไฟหน้ารถได้ ดูเหมือนว่าจะเป็นระบบที่ทำงานได้ดีที่สุดในสภาพแวดล้อมเมือง โดยที่การให้แสงสว่างสภาพแวดล้อมมีแนวโน้มที่จะคงที่มากกว่า

การวิจัยนี้สร้างการวนซ้ำของการเรียนรู้ของเครื่องแบบใหม่ของการวิจัยของมหาวิทยาลัย Columbia ในปี 2004 ซึ่งเกี่ยวกับการเปลี่ยนแปลงการมองเห็นของวัตถุโดยการฉายภาพอื่นลงไป – การทดลองด้าน光学ที่ไม่มีศักยภาพที่เป็นอันตรายเช่นเดียวกับ OPAD

ในการทดสอบ OPAD สามารถหลอกลวงการจำแนกประเภทได้ 31 ใน 64 การโจมตี – อัตราความสำเร็จ 48% นักวิจัยสังเกตว่าอัตราความสำเร็จขึ้นอยู่กับประเภทของวัตถุที่ถูกโจมตี พื้นผิวที่มีลวดลายหรือโค้ง (เช่น ตุ๊กตาเท็ดดี้และถ้วยกาแฟ) ไม่สามารถให้การสะท้อนที่ตรงจุดเพียงพอในการโจมตี ในทางกลับกัน พื้นผิวที่สะท้อนแสงแบบตั้งใจ เช่น ป้ายจราจร เป็นสภาพแวดล้อมที่เหมาะสมสำหรับการเปลี่ยนแปลงของ OPAD

พื้นผิวการโจมตีที่เปิดกว้าง

การโจมตีทั้งหมดที่ดำเนินการในเอกสารใหม่นี้มุ่งเป้าไปที่ชุดข้อมูลเฉพาะ: ฐานข้อมูลการรู้จำป้ายจราจรของเยอรมัน (GTSRB ซึ่งเรียกว่า GTSRB-CNN ในเอกสารใหม่) ซึ่งใช้ในการฝึกแบบจำลองสำหรับ สถานการณ์การโจมตีแบบคล้ายกันในปี 2018; ชุดข้อมูล ImageNet VGG16; และชุดข้อมูล ImageNet Resnet-50

那么 การโจมตีเหล่านี้เป็น “เพียงทางทฤษฎี” หรือไม่ เนื่องจากมุ่งเป้าไปที่ชุดข้อมูลที่เปิดกว้าง และไม่ใช่ระบบที่ปิดในรถยนต์ไร้คนขับ? มันจะเป็นเช่นนั้น หากหน่วยวิจัยหลักไม่นำโครงสร้างพื้นฐานที่เปิดกว้าง รวมถึงอัลกอริทึมและชุดข้อมูล และแทนที่จะทำงานลับๆ เพื่อสร้างชุดข้อมูลและอัลกอริทึมการรู้จำที่ไม่โปร่งใส

แต่โดยทั่วไป มันไม่ได้ทำงานเช่นนั้น ชุดข้อมูลที่สำคัญกลายเป็นมาตรฐานที่ความก้าวหน้า (และเกียรติภูมิ/ชื่อเสียง) จะถูกวัด ในขณะที่ระบบการรู้จำภาพที่เปิดกว้าง เช่น ซีรีส์ YOLO ก้าวหน้าไปอย่างรวดเร็วผ่านการทำงานร่วมกันระดับโลก มากกว่าระบบที่พัฒนาภายในที่มีจุดมุ่งหมายในการทำงานบนหลักการเดียวกัน

การเปิดเผยของ FOSS

แม้ว่าข้อมูลในชุดข้อมูลการมองเห็นของคอมพิวเตอร์จะถูกแทนที่ด้วยข้อมูลที่ปิดในภายหลัง น้ำหนักของแบบจำลองที่ “ถูกทำให้ว่าง” ยังคงถูกปรับให้เหมาะสมในขั้นตอนแรกของการพัฒนาโดยใช้ข้อมูล FOSS ซึ่งจะไม่ถูกทิ้งไปเลย – ซึ่งหมายความว่าระบบที่ได้ผลสามารถถูกโจมตีได้โดยวิธีการ FOSS

นอกจากนี้ การพึ่งพาวิธีการที่เปิดกว้างสำหรับระบบการมองเห็นของคอมพิวเตอร์ประเภทนี้ทำให้บริษัทเอกชนสามารถใช้ประโยชน์จากนวัตกรรมที่แตกออกจากโครงการวิจัยระดับโลกอื่นๆ ได้ฟรี โดยการเพิ่มแรงจูงใจทางการเงินในการรักษาโครงสร้างให้สามารถเข้าถึงได้ จากนั้นพวกเขาสามารถพยายามปิดระบบได้เฉพาะจุดการค้าเท่านั้น โดยที่เมทริกซ์ FOSS ที่สามารถอนุมานได้จะฝังอยู่ลึกๆ ในระบบแล้ว