การโจมตีระบบประมวลผลภาษาธรรมชาติด้วยตัวอย่างที่เป็นอันตราย

นักวิจัยในสหราชอาณาจักรและแคนาดาได้พัฒนาการโจมตีแบบกล่องดำต่อระบบประมวลผลภาษาธรรมชาติ (NLP) ที่มีประสิทธิภาพต่อเฟรมเวิร์กการประมวลผลภาษาที่ได้รับความนิยมอย่างกว้างขวาง รวมถึงระบบที่ใช้กันอย่างแพร่หลายจาก Google, Facebook, IBM และ Microsoft

การโจมตีนี้สามารถใช้เพื่อทำให้ระบบแปลภาษาเสียหายได้โดยการบังคับให้ระบบผลิตข้อความที่ไม่มีความหมายหรือเปลี่ยนแปลงลักษณะของการแปล เพื่อขัดขวางการฝึกอบรมโมเดล NLP เพื่อทำให้ระบบจำแนกเนื้อหาที่เป็นอันตรายผิดพลาด เพื่อทำให้ผลลัพธ์ของการค้นหาของเครื่องมือค้นหาขัดขวางโดยการทำให้เครื่องมือค้นหาล้มเหลวในการระบุเนื้อหาที่เป็นอันตรายหรือลบหลู่ และแม้กระทั่งทำให้เกิดการโจมตีแบบ Denial-of-Service (DoS) ต่อเฟรมเวิร์ก NLP

แม้ว่าผู้เขียนจะได้รับแจ้งเกี่ยวกับช่องโหว่ในเอกสารแก่ผู้ที่ไม่ได้ระบุชื่อซึ่งมีผลิตภัณฑ์ที่อยู่ในงานวิจัย แต่พวกเขาก็ считว่า อุตสาหกรรม NLP ได้ล่าช้าในการปกป้องตัวเองจากการโจมตีแบบอันตราย เอกสารระบุ:

‘การโจมตีเหล่านี้ใช้ลักษณะการเข้ารหัสภาษา เช่น ตัวอักษรที่มองไม่เห็นและฮอมโกลิฟ แม้ว่าพวกมันจะปรากฏขึ้นเป็นครั้งคราวในอดีตในจดหมายขยะและกลอุบายการหลอกลวง แต่นักออกแบบของหลาย ๆ ระบบ NLP ที่กำลังใช้งานอยู่ดูเหมือนจะเพิกเฉยต่อพวกมันโดยสิ้นเชิง’

การโจมตีหลายครั้งถูกดำเนินการใน “กล่องดำ” มากที่สุดเท่าที่จะเป็นไปได้ โดยใช้ API ของระบบ MLaaS แทนที่จะใช้ระบบ NLP ที่ติดตั้งบนเครื่องของตนเอง เกี่ยวกับประสิทธิภาพรวมของระบบ ผู้เขียนเขียนว่า:

‘การทดลองทั้งหมดดำเนินการในสถานการณ์ “กล่องดำ” ซึ่งอนุญาตให้มีการประเมินแบบไม่มีข้อจำกัด แต่ไม่อนุญาตให้เข้าถึงน้ำหนักหรือสถานะของโมเดลที่ถูกประเมิน ซึ่งแสดงถึงรูปแบบการคุกคามที่แข็งแกร่งที่สุดซึ่งการโจมตีสามารถทำได้ในเกือบทุกสถานการณ์ รวมถึงการโจมตีระบบ Machine-Learning-as-a-Service (MLaaS) ที่ใช้เชิงพาณิชย์ ทุก ๆ โมเดลที่ตรวจสอบนั้นเปราะบางต่อการโจมตีแบบไม่มองเห็นได้’

‘เรามั่นใจว่าการใช้งานการโจมตีเหล่านี้ควรจะขยายออกไปสำหรับโมเดล NLP ที่ใช้ข้อความตามที่ผู้ใช้กำหนดโดยไม่มีการป้องกันที่เหมาะสม’

เอกสาร เรื่องนี้ มีชื่อเรื่องว่า Bad Characters: Imperceptible NLP Attacks และมาจากนักวิจัยสามคนจากมหาวิทยาลัยเคมบริดจ์และมหาวิทยาลัยเอดินบะระ และนักวิจัยหนึ่งคนจากมหาวิทยาลัยโทรอนโต

ชื่อเรื่องของเอกสารนั้นเป็นตัวอย่างที่ดี: มันเต็มไปด้วยตัวอักษร Unicode ที่ “มองไม่เห็น” ซึ่งเป็นพื้นฐานของวิธีการโจมตีหลัก ๆ ของนักวิจัย

…

วิธีการ

เอกสารเสนอสามวิธีการโจมตีที่มีประสิทธิภาพ: ตัวอักษรที่มองไม่เห็น; ฮอมโกลิฟ; และ การเรียงลำดับใหม่ นี่คือวิธีการ “สากล” ที่นักวิจัยพบว่ามีประสิทธิภาพต่อเฟรมเวิร์ก NLP ในสถานการณ์ “กล่องดำ”

1: ตัวอักษรที่มองไม่เห็น

การโจมตีนี้ใช้ตัวอักษรที่เข้ารหัสในฟอนต์ที่ไม่สอดคล้องกับตัวอักษรในระบบ Unicode ระบบ Unicode ถูกออกแบบมาเพื่อมาตรฐานข้อความอิเล็กทรอนิกส์ และปัจจุบันครอบคลุมตัวอักษร 143,859 ตัวในหลาย ๆ ภาษาและกลุ่มสัญลักษณ์

…

2: ฮอมโกลิฟ

ฮอมโกลิฟคือตัวอักษรที่ดูเหมือนตัวอักษรอื่น ๆ ซึ่งเป็นจุดอ่อนทางภาษาที่ถูกใช้ในการสร้าง การหลอกลวง ในปี 2000

…

3: การเรียงลำดับใหม่

Unicode อนุญาตให้ใช้ภาษาที่เขียนจากซ้ายไปขวา โดยมีการจัดการลำดับโดยอัลกอริทึม Bidirectional (BIDI) ของ Unicode การผสมตัวอักษรจากซ้ายไปขวาและจากขวาไปซ้ายในตัวอักษรเดียวกันจึงทำให้เกิดความสับสน และ Unicode ได้ทำการเปลี่ยนแปลงโดยการอนุญาตให้ BIDI ถูกข้ามโดยตัวอักษรควบคุมพิเศษ

…

การลบ

การโจมตีนี้เกี่ยวข้องกับการใช้ตัวอักษรที่แทนการลบหรือคำสั่งควบคุมอื่น ๆ ซึ่งจะถูกนำไปใช้โดยระบบการอ่านภาษาในลักษณะที่คล้ายกับแมครโอ

…

ประสิทธิภาพต่อระบบ NLP ปัจจุบัน

นักวิจัยได้ทำการทดลองโจมตีแบบไม่มุ่งหมายและแบบมุ่งหมายต่อโมเดลปิดที่ได้รับความนิยมสูงจาก Facebook, IBM, Microsoft, Google และ HuggingFace รวมถึงโมเดลเปิดที่ได้รับความนิยมสูง

…

การรู้จำตัวอักษรแบบสากล?

การโจมตีเหล่านี้ขึ้นอยู่กับ “ช่องโหว่” ใน Unicode และจะถูกป้องกันในระบบ NLP ที่แปลงข้อความที่เข้ามาเป็นรูปภาพและใช้การรู้จำตัวอักษรแบบออปติคัล (OCR) เป็นมาตรการรักษาความปลอดภัย

…

‘[เรา] แนะนำให้บริษัททั้งหมดที่สร้างและใช้งานระบบ NLP ที่ใช้ข้อความนำการป้องกันเหล่านี้ไปใช้ หากต้องการให้แอปพลิเคชันของตนมีความแข็งแกร่งต่อผู้กระทำความผิด’

* การแปลงอ้างอิงภายในให้เป็นลิงก์

18:08 14 ธันวาคม 2021 – ลบการกล่าวถึง IBM ซ้ำ มีการย้ายลิงก์ภายในอัตโนมัติจากคำพูด – MA