การโจมตีด้วยพิษต่อ 3D Gaussian Splatting

การวิจัยร่วมใหม่ระหว่างสิงคโปร์และจีนได้เสนอวิธีการโจมตีวิธีสังเคราะห์ที่ได้รับความนิยม 3D Gaussian Splatting (3DGS)

วิธีการโจมตีใหม่นี้ใช้ข้อมูลแหล่งที่มาแบบคราฟต์ในการโหลดหน่วยความจำ GPU ที่มีอยู่ของระบบเป้าหมาย และทำให้การฝึกอบรมใช้เวลานานจนอาจทำให้เซิร์ฟเวอร์เป้าหมายไม่สามารถทำงานได้ ซึ่งเทียบเท่ากับการโจมตีแบบปฏิเสธการให้บริการ (DOS)

การโจมตีนี้ใช้ภาพฝึกอบรมที่มีความซับซ้อนสูงจนอาจทำให้บริการออนไลน์ที่อนุญาตให้ผู้ใช้สร้างการแสดง 3DGS ล่ม

แนวทางนี้ได้รับการอำนวยความสะดวกโดยธรรมชาติแบบปรับเปลี่ยนของ 3DGS ซึ่งออกแบบมาเพื่อบวกรายละเอียดการแสดงตามที่ภาพแหล่งที่มาต้องการสำหรับการแสดงภาพที่สมจริง

ระบบโจมตี ‘poison-splat’ ได้รับการช่วยเหลือจากแบบจำลองพร็อกซี่ที่ประมาณการและทำซ้ำศักยภาพของภาพแหล่งที่มาเพื่อเพิ่มความซับซ้อนและตัวอย่าง Gaussian Splat ให้กับแบบจำลองจนกว่าระบบโฮสต์จะถูกโหลดเกินขีดจำกัด

กระดาษวิจัยระบุว่าแพลตฟอร์มออนไลน์ เช่น LumaAI, KIRI, Spline และ Polycam มีการให้บริการ 3DGS มากขึ้น และวิธีการโจมตีใหม่นี้มีศักยภาพที่จะผลักดันให้ 3DGS ไปสู่ ‘ความซับซ้อนที่เลวร้ายที่สุด‘ ในโดเมนเหล่านี้ และอาจทำให้เกิดการโจมตีแบบปฏิเสธการให้บริการ (DOS) ได้

ตามที่นักวิจัยระบุ 3DGS อาจมีความอ่อนไหวมากกว่าบริการฝึกอบรมแบบประสาทพันธุ์ออนไลน์อื่นๆ

นอกจากนี้ ผู้เขียนยังระบุด้วยว่าผู้ให้บริการไม่สามารถป้องกันการโจมตีนี้ได้โดยการจำกัดความซับซ้อนหรือความหนาแน่นของแบบจำลอง เนื่องจากสิ่งนี้จะทำให้ประสิทธิภาพของบริการลดลงในสถานการณ์ปกติ

จากงานวิจัยใหม่นี้ เราจะเห็นว่าระบบโฮสต์ที่จำกัดจำนวน Gaussian Splats ที่ได้รับมอบหมายไม่สามารถทำงานปกติได้ เนื่องจากความยืดหยุ่นของพารามิเตอร์เหล่านี้เป็นคุณลักษณะพื้นฐานของ 3DGS

กระดาษวิจัยระบุว่า:

‘[3DGS] โมเดลที่ฝึกอบรมภายใต้ข้อจำกัดเหล่านี้มีประสิทธิภาพต่ำกว่าเมื่อเทียบกับโมเดลที่ฝึกอบรมโดยไม่มีข้อจำกัด โดยเฉพาะในแง่ของการกู้คืนรายละเอียด

‘การลดลงของคุณภาพนี้เกิดขึ้นเนื่องจาก 3DGS ไม่สามารถแยกแยะรายละเอียดที่จำเป็นจากข้อความที่เป็นพิษได้

การโจมตีด้วยพิษข้อมูลต้องใช้วิธีการที่ซับซ้อนกว่านี้

ผู้เขียนได้นำวิธีการแบบจำลองพร็อกซี่มาใช้ ซึ่งภาพโจมตีได้รับการปรับให้เหมาะสมในแบบจำลอง 3DGS ออฟไลน์ที่พัฒนาและควบคุมโดยผู้โจมตี

ทางซ้าย เราจะเห็นกราฟที่แสดงค่าใช้จ่ายในการคำนวณและความจุหน่วยความจำ GPU บนชุดข้อมูล MIP-NeRF360 ‘ห้อง’ ซึ่งแสดงถึงประสิทธิภาพพื้นฐาน การบิดเบือนแบบง่าย และข้อมูลที่ได้รับการชี้นำจากแบบจำลองพร็อกซี่

วิธีการ

ผู้เขียนวิเคราะห์ถึงระดับที่จำนวน Gaussian Splats (โดยพื้นฐานแล้วเป็น ‘พิกเซล’ สามมิติ) ที่ได้รับมอบหมายให้กับแบบจำลองภายใต้กระบวนการ 3DGS ส่งผลต่อค่าใช้จ่ายในการคำนวณและแสดงผลแบบจำลอง

การศึกษาของผู้เขียนเผยให้เห็นถึงความสัมพันธ์ที่ชัดเจนระหว่างจำนวน Gaussian ที่ได้รับมอบหมายและค่าใช้จ่ายในการฝึกอบรมและใช้หน่วยความจำ GPU

รูปภาพทางด้านขวาสุดในภาพด้านบนแสดงถึงความสัมพันธ์ที่ชัดเจนระหว่างความชัดเจนของภาพและจำนวน Gaussian ที่ได้รับมอบหมาย

กระดาษวิจัยระบุว่า:

‘[เรา] พบว่า 3DGS มีแนวโน้มที่จะกำหนด Gaussian มากขึ้นสำหรับวัตถุที่มีโครงสร้างที่ซับซ้อนและพื้นผิวที่ไม่เรียบ

‘โดย直觉 พื้นผิวที่ไม่เรียบของวัตถุสามมิตินั้น ต้องการ Gaussian มากขึ้นเพื่อกู้คืนรายละเอียดทั้งหมดจากภาพฉายสองมิติ

การโจมตีด้วยพิษข้อมูลต้องใช้วิธีการที่ซับซ้อนกว่านี้

ผู้เขียนได้นำวิธีการแบบจำลองพร็อกซี่มาใช้ ซึ่งภาพโจมตีได้รับการปรับให้เหมาะสมในแบบจำลอง 3DGS ออฟไลน์ที่พัฒนาและควบคุมโดยผู้โจมตี

ทางซ้าย เราจะเห็นกราฟที่แสดงค่าใช้จ่ายในการคำนวณและความจุหน่วยความจำ GPU บนชุดข้อมูล MIP-NeRF360 ‘ห้อง’ ซึ่งแสดงถึงประสิทธิภาพพื้นฐาน การบิดเบือนแบบง่าย และข้อมูลที่ได้รับการชี้นำจากแบบจำลองพร็อกซี่

ข้อมูลและการทดสอบ

ผู้วิจัยได้ทดสอบการโจมตี poison-splat กับชุดข้อมูลสามชุด: NeRF-Synthetic; Mip-NeRF360; และ Tanks-and-Temples

พวกเขาใช้การนำไปใช้ อย่างเป็นทางการ ของ 3DGS เป็นสภาพแวดล้อมของเหยื่อ

การทดสอบได้รับการดำเนินการบน GPU NVIDIA A800-SXM4-80G

สำหรับมาตรการ พวกเขาใช้จำนวน Gaussian Splats ที่ผลิตขึ้นเป็นตัวบ่งชี้หลัก

ผลลัพธ์ของการทดสอบครั้งแรกแสดงด้านล่าง:

ผลลัพธ์เต็มของการทดสอบการโจมตีบนชุดข้อมูลทั้งสามชุด

จากผลลัพธ์เหล่านี้ ผู้เขียนแสดงความคิดเห็นว่า:

‘[การโจมตี] Poison-splat ของเราแสดงให้เห็นถึงความสามารถในการสร้างภาระการคำนวณที่มากเกินไปบนชุดข้อมูลหลายชุด

‘แม้จะมีการบิดเบือนภายในช่วงเวลาที่จำกัด การโจมตีนี้ก็สามารถเพิ่มความจุหน่วยความจำ GPU สูงสุดได้มากกว่า 2 เท่า ทำให้ความจุ GPU สูงสุดมากกว่า 24 GB

สรุป

การโจมตี Poison-splat ที่พัฒนาโดยนักวิจัยนี้ใช้ประโยชน์จากจุดอ่อนที่พื้นฐานของ Gaussian Splatting – ความจริงที่ว่ามันกำหนดความซับซ้อนและความหนาแน่นของ Gaussian ตามวัสดุที่ได้รับมอบหมายให้ฝึกอบรม

กระดาษวิจัยปี 2024 F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting ได้สังเกตเห็นว่าการกำหนดสแพลตของ Gaussian Splatting เป็นวิธีการที่ไม่มีประสิทธิภาพ ซึ่งบ่อยครั้งผลิตตัวอย่างที่เกินจำเป็น:

‘[สิ่งนี้] ไม่มีประสิทธิภาพเนื่องมาจากความไม่สามารถของ 3DGS ในการใช้รูปแบบโครงสร้างหรือความซ้ำซ้อน

‘เราพบว่า 3DGS สร้าง Gaussian จำนวนมากเกินไปแม้สำหรับการแสดงโครงสร้างทางเรขาคณิตที่เรียบง่าย เช่น พื้นผิวเรียบ

เนื่องจากการจำกัดการสร้าง Gaussian จะทำลายคุณภาพของการสร้างภาพในสถานการณ์ที่ไม่ใช่การโจมตี ผู้ให้บริการ 3DGS ที่เพิ่มขึ้นจำนวนมากที่ให้บริการ 3DGS จากข้อมูลที่อัปโหลดโดยผู้ใช้อาจต้องศึกษาลักษณะของภาพแหล่งที่มาเพื่อกำหนดลายเซ็นที่บ่งบอกถึงความตั้งใจที่เป็นอันตราย

ในกรณีใดๆ ผู้เขียนของงานวิจัยใหม่นี้สรุปว่าวิธีการป้องกันที่ซับซ้อนกว่านี้จำเป็นต้องมีสำหรับบริการออนไลน์ในการเผชิญหน้ากับการโจมตีประเภทนี้