มุมมองของ Anderson

รูปภาพที่ ‘ป้องกัน’ นั้นง่ายต่อการขโมย ไม่ใช่ยากกว่า โดยใช้ AI

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
A shadowy man steals into an art gallery as the guard sleeps. Krita/Flux-1 Dev + Firefly

งานวิจัยใหม่ชี้ว่าเครื่องมือทำลายน้ำและการป้องกันที่ออกแบบมาเพื่อหยุดการแก้ไขภาพด้วย AI อาจให้ผลตรงกันข้าม แทนที่จะขัดขวางโมเดลอย่าง Stable Diffusion การป้องกันบางชนิดกลับช่วยให้ AI ทำตามพรอมป์การแก้ไขได้แม่นยำขึ้น และทำให้การดัดแปลงที่ไม่พึงประสงค์ง่ายกว่าเดิม

งานวิจัยด้านคอมพิวเตอร์วิทัศน์สายหนึ่งมุ่งปกป้องภาพลิขสิทธิ์ไม่ให้ถูกนำไปฝึกโมเดล AI หรือใช้โดยตรงในกระบวนการภาพสู่ภาพ ระบบเหล่านี้มักเจาะจง Latent Diffusion Model เช่น Stable Diffusion และ Flux ซึ่งใช้กระบวนการบนสัญญาณรบกวนเพื่อเข้ารหัสและถอดรหัสภาพ

การแทรกสัญญาณรบกวนแบบปฏิปักษ์ในภาพที่ดูปกติอาจทำให้ตัวตรวจจับเดาเนื้อหาผิด และขัดขวางระบบสร้างภาพไม่ให้นำข้อมูลลิขสิทธิ์ไปใช้

ตัวอย่างภาพต้นฉบับที่ได้รับการป้องกันจากการดัดแปลงในงานวิจัยของ MIT
ตัวอย่างภาพต้นฉบับที่ได้รับการป้องกันจากการดัดแปลงในงานวิจัยของ MIT

หลังจากศิลปินต่อต้านการใช้ภาพที่เก็บจากเว็บของ Stable Diffusion ในปี 2023 วงการวิจัยได้เสนอวิธีหลายแบบภายใต้แนวคิดเดียวกัน คือทำให้ภาพถูก “วางยา” อย่างมองไม่เห็นเพื่อไม่ให้ใช้ฝึก AI หรือป้อนเข้าสายงาน generative AI โดยไม่ลดคุณภาพที่ผู้ชมทั่วไปมองเห็น

อย่างไรก็ดี ทุกวิธีมีความสัมพันธ์โดยตรงระหว่างความรุนแรงของการรบกวน ระดับการป้องกัน และระดับความเสียหายต่อรูปลักษณ์ของภาพ ยิ่งเพิ่มการรบกวนเพื่อความปลอดภัยมาก คุณภาพก็มักลดลงมาก

การแลกคุณภาพภาพกับระดับการป้องกันในโครงการ Fawkes
การแลกคุณภาพภาพกับระดับการป้องกันในโครงการ Fawkes

สำหรับศิลปินที่ต้องการปกป้องสไตล์จากการนำไปใช้โดยไม่ได้รับอนุญาต ระบบเหล่านี้พยายามทั้งซ่อนอัตลักษณ์และทำให้กระบวนการฝึก AI เชื่อว่ากำลังเห็นสิ่งอื่น เพื่อไม่ให้เชื่อมโยงโดเมนภาษาเข้ากับโดเมนภาพ เช่น พรอมป์ “ในสไตล์ของ Paul Klee” วิธีอย่าง Mist และ Glaze ได้รับความนิยมเพื่อขัดขวางการนำสไตล์ลิขสิทธิ์ไปใช้ในเวิร์กโฟลว์และการฝึก AI

Mist และ Glaze เป็นวิธีป้องกันสไตล์ลิขสิทธิ์ในเวิร์กโฟลว์ AI
Mist และ Glaze เป็นวิธีป้องกันสไตล์ลิขสิทธิ์ในเวิร์กโฟลว์ AI

การทำเข้าประตูตัวเอง

งานวิจัยใหม่จากสหรัฐฯ พบว่าการรบกวนไม่เพียงอาจล้มเหลวในการปกป้องภาพ แต่ยังเพิ่มความสามารถของระบบ AI ในการใช้ภาพนั้นในกระบวนการที่การป้องกันตั้งใจจะขัดขวาง

ทีมวิจัยทดลองวิธีป้องกันด้วยการรบกวนหลายชนิด ทั้งกับภาพธรรมชาติและงานศิลปะ ในงานสร้างภาพสู่ภาพและการแก้สไตล์ ผลคือการป้องกันไม่บรรลุเป้าหมายอย่างสมบูรณ์ ในสถานการณ์ส่วนใหญ่ การแก้ไขด้วย diffusion สร้างผลลัพธ์ที่ต้องการและทำตามพรอมป์ได้แม่นยำ

ผู้เขียนอธิบายว่าการเพิ่มสัญญาณรบกวนอาจเพิ่มความสัมพันธ์ระหว่างภาพกับพรอมป์ข้อความระหว่างการสร้าง ทำให้ผลการแก้ไขดีขึ้นอย่างย้อนแย้ง ดังนั้นวิธีบนการรบกวนอาจไม่ใช่คำตอบที่แข็งแรงสำหรับการป้องกันภาพจากการแก้ไขด้วย diffusion

ภาพที่ได้รับการป้องกันถูกทดสอบในสองสถานการณ์ทั่วไป ได้แก่ การสร้างภาพสู่ภาพและการถ่ายโอนสไตล์ ซึ่งสะท้อนวิธีที่โมเดลอาจใช้เนื้อหาที่ป้องกัน ทั้งด้วยการเปลี่ยนภาพโดยตรงและยืมลักษณะสไตล์ไปใช้ที่อื่น

ภาพถ่ายและงานศิลปะจากแหล่งมาตรฐานถูกส่งผ่านสายงานดังกล่าวเพื่อตรวจว่าการรบกวนจะหยุดหรือลดคุณภาพการแก้ไขหรือไม่ แต่การป้องกันมักทำให้โมเดลสอดคล้องกับพรอมป์มากขึ้น และสร้างผลลัพธ์สะอาดแม่นยำในจุดที่คาดว่าจะล้มเหลว

ผู้เขียนจึงเตือนว่าวิธีป้องกันยอดนิยมนี้อาจสร้างความมั่นใจผิด ๆ และควรทดสอบการป้องกันด้วยการรบกวนอย่างละเอียดกับกระบวนการโจมตีที่งานนี้นำเสนอ

วิธีการ

นักวิจัยทดสอบวิธีป้องกันสามชนิดที่เพิ่มการรบกวนแบบปฏิปักษ์ซึ่งออกแบบอย่างระมัดระวัง ได้แก่ PhotoGuard, Mist และ Glaze โดยใช้ PhotoGuard กับภาพฉากธรรมชาติ ส่วน Mist และ Glaze ใช้กับงานศิลปะ

ตัวอย่างการป้องกันด้วย Glaze สำหรับศิลปินสามคน
ตัวอย่างการป้องกันด้วย Glaze สำหรับศิลปินสามคน

การทดสอบครอบคลุมทั้งภาพธรรมชาติและภาพศิลป์เพื่อสะท้อนการใช้งานจริง ประสิทธิภาพวัดจากว่าโมเดล AI ยังสร้างการแก้ไขที่สมจริงและตรงพรอมป์จากภาพป้องกันได้หรือไม่ หากผลลัพธ์น่าเชื่อและตรงคำสั่ง จะถือว่าการป้องกันล้มเหลว

งานนี้ใช้ Stable Diffusion v1.5 เป็นตัวสร้างภาพที่ฝึกไว้ล่วงหน้า และใช้เมล็ดสุ่มห้าค่า ได้แก่ 9222, 999, 123, 66 และ 42 เพื่อให้ทำซ้ำได้ การตั้งค่าอื่น เช่น guidance scale, strength และจำนวนขั้น ใช้ค่าปริยายของการทดลอง PhotoGuard

PhotoGuard ถูกทดสอบกับชุดข้อมูล Flickr8k ซึ่งมีภาพมากกว่า 8,000 ภาพและคำบรรยายสูงสุดภาพละห้ารายการ

พรอมป์ใกล้และพรอมป์ไกล

ทีมวิจัยสร้างคำบรรยายดัดแปลงสองชุดจากคำบรรยายแรกของแต่ละภาพ ชุดหนึ่งมีบริบทใกล้เคียงต้นฉบับ อีกชุดมีบริบทแตกต่างมาก ตัวอย่างจาก “เด็กหญิงสวมชุดสีชมพูกำลังเข้าไปในกระท่อมไม้” พรอมป์ใกล้อาจเป็น “เด็กชายสวมเสื้อสีน้ำเงินกำลังเข้าไปในบ้านอิฐ” ส่วนพรอมป์ไกลคือ “แมวสองตัวนอนเล่นบนโซฟา”

พรอมป์ใกล้สร้างด้วยการแทนคำนามและคำคุณศัพท์ด้วยคำที่มีความหมายคล้ายกัน ส่วนพรอมป์ไกลสั่งให้สร้างคำบรรยายที่ต่างจากต้นฉบับอย่างมาก คำบรรยายทั้งหมดได้รับการตรวจคุณภาพและความเกี่ยวข้องด้วยคน และใช้ Universal Sentence Encoder ของ Google คำนวณความคล้ายทางความหมาย

การกระจายความคล้ายทางความหมายของคำบรรยายที่ดัดแปลงใน Flickr8k
การกระจายความคล้ายทางความหมายของคำบรรยายที่ดัดแปลงใน Flickr8k

แต่ละภาพและรุ่นที่ได้รับการป้องกันถูกแก้ด้วยพรอมป์ทั้งใกล้และไกล จากนั้นใช้ BRISQUE ประเมินคุณภาพภาพ ผลลัพธ์ที่สร้างได้คะแนน 17.88 โดยพรอมป์ใกล้ 17.82 และพรอมป์ไกล 17.94 ขณะที่ภาพต้นฉบับได้ 22.27 แสดงว่าภาพแก้ไขยังมีคุณภาพใกล้เคียงต้นฉบับ

ผลการสร้างภาพสู่ภาพบนภาพถ่ายธรรมชาติที่ป้องกันด้วย PhotoGuard
ผลการสร้างภาพสู่ภาพบนภาพถ่ายธรรมชาติที่ป้องกันด้วย PhotoGuard

ตัวชี้วัด

เพื่อดูว่าการป้องกันรบกวนการแก้ไขได้ดีเพียงใด ทีมวิจัยวัดว่าภาพสุดท้ายตรงกับคำสั่งมากแค่ไหน ตัวชี้วัด CLIP-S ใช้โมเดลที่เข้าใจทั้งภาพและข้อความ ส่วน PAC-S++ เพิ่มตัวอย่างที่ AI สร้างเพื่อให้การประเมินใกล้เคียงมนุษย์ขึ้น

คะแนน Image-Text Alignment แสดงว่า AI ทำตามคำสั่งได้แม่นเพียงใด หากภาพป้องกันยังนำไปสู่ผลลัพธ์ที่ตรงข้อความสูง หมายความว่าการป้องกันล้มเหลวในการหยุดการแก้ไข

ผลของการป้องกันบน Flickr8k วัดด้วย CLIP-S และ PAC-S++
ผลของการป้องกันบน Flickr8k วัดด้วย CLIP-S และ PAC-S++

นักวิจัยเปรียบเทียบการทำตามพรอมป์เมื่อแก้ภาพป้องกันกับภาพที่ไม่ป้องกัน ความแตกต่างแรกเรียกว่า Actual Change แล้วปรับสเกลเป็น Percentage Change เพื่อเปรียบเทียบผลหลายชุด การทดลองทำซ้ำห้าครั้งด้วยเมล็ดสุ่มต่างกัน ครอบคลุมทั้งการเปลี่ยนแปลงเล็กและใหญ่

การโจมตีด้านสไตล์ศิลปะ

การทดสอบภาพถ่ายธรรมชาติอีกชุดใช้ Flickr1024 ซึ่งมีภาพคุณภาพสูงมากกว่าหนึ่งพันภาพ แต่ละภาพได้รับพรอมป์ “เปลี่ยนสไตล์เป็น [V]” โดย [V] เป็นหนึ่งในเจ็ดสไตล์ ได้แก่ Cubism, Post-Impressionism, Impressionism, Surrealism, Baroque, Fauvism และ Renaissance

ทีมงานใช้ PhotoGuard กับภาพต้นฉบับ สร้างรุ่นที่ป้องกันแล้ว แล้วส่งทั้งภาพป้องกันและไม่ป้องกันผ่านการถ่ายโอนสไตล์ชุดเดียวกัน

ภาพธรรมชาติรุ่นต้นฉบับและรุ่นป้องกันหลังถ่ายโอนหลายสไตล์
ภาพธรรมชาติรุ่นต้นฉบับและรุ่นป้องกันหลังถ่ายโอนหลายสไตล์

สำหรับงานศิลปะ ใช้ภาพจาก WikiArt ซึ่งรวบรวมสไตล์หลากหลาย พรอมป์สั่งให้เปลี่ยนเป็นสไตล์อื่นที่สุ่มจากป้ายกำกับ WikiArt ก่อนแก้ไข ทีมงานใช้ Mist และ Glaze กับภาพเพื่อดูว่าแต่ละวิธีหยุดหรือบิดเบือนผลการถ่ายโอนสไตล์ได้เพียงใด

ผลของ Mist และ Glaze ต่อการถ่ายโอนสไตล์ของงานศิลปะ
ผลของ Mist และ Glaze ต่อการถ่ายโอนสไตล์ของงานศิลปะ

ผลเชิงปริมาณเผยข้อจำกัดสำคัญของการรบกวนแบบปฏิปักษ์ แทนที่จะลดความสอดคล้อง การรบกวนมักเพิ่มการตอบสนองของโมเดลต่อพรอมป์ และช่วยให้ผู้ใช้ที่ต้องการแสวงประโยชน์สร้างผลลัพธ์ตรงเป้าหมายยิ่งขึ้น การป้องกันจึงไม่ได้ขัดจังหวะการแก้ไขและอาจหยุดผู้ไม่หวังดีจากการคัดลอกเนื้อหาไม่ได้

การเปลี่ยนแปลงคะแนนความสอดคล้องระหว่างภาพกับข้อความหลังถ่ายโอนสไตล์
การเปลี่ยนแปลงคะแนนความสอดคล้องระหว่างภาพกับข้อความหลังถ่ายโอนสไตล์

ผู้เขียนระบุว่าผลกระทบที่ไม่ตั้งใจนี้เผยช่องโหว่ของวิธีปัจจุบันและเน้นความจำเป็นเร่งด่วนของเทคนิคป้องกันที่มีประสิทธิภาพกว่า

เหตุใดสัญญาณรบกวนจึงช่วยการแก้ไข

คำอธิบายอยู่ในวิธีทำงานของโมเดล diffusion โมเดลแปลงภาพเป็นตัวแทนบีบอัดที่เรียกว่า latent แล้วเพิ่มสัญญาณรบกวนผ่านหลายขั้นจนข้อมูลเกือบสุ่ม

ระหว่างสร้างภาพ โมเดลย้อนกระบวนการและลบสัญญาณรบกวนทีละขั้น ในแต่ละขั้นพรอมป์ข้อความชี้นำว่าควรทำความสะอาดอย่างไร ทำให้ภาพค่อย ๆ มีรูปร่างตรงคำสั่ง

สถานะ latent ระหว่างการสร้างจากภาพปกติและภาพที่ป้องกันด้วย PhotoGuard
สถานะ latent ระหว่างการสร้างจากภาพปกติและภาพที่ป้องกันด้วย PhotoGuard

วิธีป้องกันเพิ่มสัญญาณรบกวนเล็กน้อยลงในภาพก่อนเข้าสู่กระบวนการ แม้เริ่มต้นเพียงเล็กน้อย แต่จะสะสมเมื่อโมเดลเพิ่มชั้นสัญญาณรบกวนของตนเอง

การสะสมนี้ทำให้ส่วนต่าง ๆ ของภาพมีความไม่แน่นอนมากขึ้นเมื่อโมเดลเริ่มลบสัญญาณรบกวน เมื่อความไม่แน่นอนสูง โมเดลจะพึ่งพรอมป์ข้อความมากขึ้นเพื่อเติมรายละเอียดที่หายไป ทำให้ข้อความมีอิทธิพลมากกว่าปกติ

ผลคือการป้องกันทำให้ AI ปรับรูปร่างภาพให้ตรงพรอมป์ได้ง่ายขึ้น แทนที่จะยากขึ้น

สุดท้าย นักวิจัยแทนการรบกวนที่ออกแบบเฉพาะจากงาน Raising the Cost of Malicious AI-Powered Image Editing ด้วยสัญญาณรบกวน Gaussian ธรรมดา ผลยังเป็นแบบเดิม โดยค่า Percentage Change เป็นบวกในการทดสอบทั้งหมด แม้สัญญาณรบกวนสุ่มไร้โครงสร้างก็เพิ่มความสอดคล้องระหว่างภาพที่สร้างกับพรอมป์

ผลของการจำลองการป้องกันด้วยสัญญาณรบกวน Gaussian บน Flickr8k
ผลของการจำลองการป้องกันด้วยสัญญาณรบกวน Gaussian บน Flickr8k

ผลนี้สนับสนุนคำอธิบายว่า สัญญาณรบกวนใด ๆ ไม่ว่าจะออกแบบอย่างไร จะเพิ่มความไม่แน่นอนระหว่างการสร้างและเปิดทางให้พรอมป์ข้อความควบคุมภาพสุดท้ายมากขึ้น

แหล่งข้อมูลและลิงก์อ้างอิง

งานวิจัย ชุดข้อมูล เครื่องมือ และเอกสารที่กล่าวถึงในบทความ:

บทสรุป

วงการวิจัยผลักดันการรบกวนแบบปฏิปักษ์เพื่อแก้ปัญหาลิขสิทธิ์ของโมเดล diffusion แทบตั้งแต่โมเดลประเภทนี้ถือกำเนิด แต่ยังไม่มีคำตอบที่ทนทานจากงานจำนวนมากที่ตีพิมพ์ตามแนวทางนี้

การรบกวนอาจลดคุณภาพภาพมากเกินไป หรือรูปแบบป้องกันไม่ทนต่อการดัดแปลงและกระบวนการเปลี่ยนรูป

อย่างไรก็ตาม เป็นความฝันที่ละทิ้งได้ยาก เพราะทางเลือกดูเหมือนเป็นระบบตรวจสอบและที่มาจากบุคคลที่สาม เช่น C2PA ซึ่งนำโดย Adobe และพยายามรักษาสายการครอบครองภาพตั้งแต่เซ็นเซอร์กล้อง แต่ไม่มีความเชื่อมโยงโดยกำเนิดกับเนื้อหาที่ภาพแสดง

หากการรบกวนแบบปฏิปักษ์ทำให้ปัญหาแย่ลงจริงดังที่งานใหม่ชี้ว่าเกิดขึ้นได้ในหลายกรณี การค้นหาวิธีปกป้องลิขสิทธิ์ด้วยแนวทางนี้ก็อาจเข้าใกล้สิ่งที่เรียกว่า “การเล่นแร่แปรธาตุ”

เผยแพร่ครั้งแรกวันจันทร์ที่ 9 มิถุนายน 2025

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai