สื่อสังเคราะห์: ประเภท, การใช้งาน, ความเสี่ยง, และแหล่งกำเนิด

สื่อสังเคราะห์ คือเนื้อหาดิจิทัลที่ถูกสร้างหรือเปลี่ยนแปลงอย่างมีนัยสำคัญด้วยระบบอัตโนมัติ รวมถึงข้อความ, ภาพ, เสียง, วิดีโอ, อวาตาร์และการผสมหลายโหมดบางส่วนของเนื้อหาอาจถูกสร้างขึ้นทั้งหมด; ส่วนอื่น ๆ จะเปลี่ยนแปลงการบันทึกจริง, ใบหน้า, เสียง, วัตถุ หรือพื้นหลัง

สื่อสังเคราะห์ไม่ได้หมายความว่าเป็นการหลอกลวง เทคนิคเดียวกันสนับสนุนการผลิตภาพยนตร์, การเข้าถึง, การแปลภาษา, การศึกษาและการออกแบบ ในขณะเดียวกันก็ทำให้เกิดการปลอมแปลง, ภาพที่ไม่ได้รับความยินยอม, การฉ้อโกงและข้อมูลเท็จ ความตั้งใจ, ความยินยอม, บริบทและการเปิดเผยเป็นปัจจัยสำคัญในการกำหนดความเสี่ยง

ประเด็นสำคัญ

• สื่อสังเคราะห์ครอบคลุมการสร้างและการแก้ไขทั้งข้อความ, ภาพ, เสียง, วิดีโอและอวาตาร์เชิงโต้ตอบ
• การตรวจจับเป็นแบบความน่าจะเป็นและอาจเสื่อมหลังการบีบอัด, การแก้ไขหรือการเปลี่ยนแปลงโมเดล
• ลายน้ำ, ป้ายกำกับและแหล่งกำเนิดเป็นสัญญาณเสริม; ไม่มีสัญญาณใดพิสูจน์ว่าข้ออ้างเป็นความจริง
• ความยินยอม, อัตลักษณ์, บริบทการกระจายและการตอบสนองอย่างรวดเร็วควรเป็นส่วนหนึ่งของกระบวนการผลิต

วิธีการสร้างสื่อสังเคราะห์

โมเดลออโต้รีเกรสซีฟสร้างลำดับโทเคน; โมเดลการกระจาย (diffusion) ทำความสะอาดสัญญาณภาพ, เสียง หรือวิดีโอ; GANs เรียนรู้ตัวสร้างแบบต่อสู้; ระบบเสียงสังเคราะห์คำพูดจากข้อความหรือแปลงเสียงหนึ่งเป็นอีกเสียงหนึ่ง

การกำหนดเงื่อนไขอาจรวมถึงพรอมต์, ภาพอ้างอิง, การเคลื่อนไหว, ตัวอย่างผู้พูด หรือการควบคุมแบบโครงสร้าง เครื่องมือแก้ไขอาจเติมพื้นที่ที่หาย, ปรับเวลา หรือซิงโครไนซ์การเคลื่อนไหวของริมฝีปาก ขอบเขตระหว่างสื่อที่จับได้และสื่อที่สร้างขึ้นจึงเป็นต่อเนื่อง

การใช้งานที่ถูกต้องตามกฎหมาย

ผู้สร้างใช้ส่วนประกอบสังเคราะห์สำหรับสตอรีบอร์ด, เอฟเฟกต์ภาพและการสร้างต้นแบบอย่างรวดเร็ว การใช้งานเพื่อการเข้าถึงรวมถึงการสร้างเสียงพูด, การใส่คำบรรยายและอุปกรณ์สื่อสารส่วนบุคคล การแปลภาษาอาจแปลและทำเสียงใหม่ให้กับเนื้อหาการศึกษา หรือบันเทิงโดยได้รับอนุญาต

การจำลองการฝึกอบรมสามารถสร้างสถานการณ์ที่หายาก, และชุดข้อมูลสังเคราะห์ที่รักษาความเป็นส่วนตัวอาจลดการเปิดเผยข้อมูลจริง การใช้งานเหล่านี้ยังต้องผ่านการทดสอบคุณภาพ เนื่องจากข้อมูลสังเคราะห์อาจทำซ้ำอคติหรือละเว้นกรณีขอบที่สำคัญ

อันตรายและแบบจำลองภัยคุกคาม

ความเสี่ยงรวมถึงการหลอกลวงโดยอ้างเป็นบุคคลอื่น, หลักฐานปลอม, ภาพส่วนตัวที่ไม่ได้รับความยินยอม, การคุกคาม, เนื้อหาการเมืองที่ถูกดัดแปลง, ข้อพิพาทลิขสิทธิ์และการสึกหรอของความเชื่อมั่นต่อสื่อที่แท้จริง ข้อความและเสียงอาจมีผลกระทบเทียบเท่ากับดีพเฟคที่มีภาพสวยงาม

การสร้างแบบจำลองภัยคุกคามต้องถามว่าอัตลักษณ์ของใครถูกแสดง, ใครให้ความยินยอม, เนื้อหาจะถูกกระจายอย่างไร, การอ้างอิงที่ปรากฏสนับสนุนอะไรและอันตรายจะกระจายเร็วแค่ไหน มาตรการป้องกันควรสอดคล้องกับบริบทนั้น ไม่ใช่ใช้ฟิลเตอร์ทั่วไปเดียว

การตรวจจับ, การใส่ลายน้ำและแหล่งกำเนิด

ตัวตรวจจับประเมินว่ามีเนื้อหาเหมือนกับลักษณะผิดปกติที่พบระหว่างการฝึกหรือไม่; โมเดลใหม่, การแก้ไขและการบีบอัดอาจลดความแม่นยำ ลายน้ำฝังหรือเชื่อมโยงสัญญาณ แต่บางครั้งอาจถูกลบหรือไม่มีอยู่ ป้ายกำกับช่วยได้เฉพาะเมื่อยังคงติดอยู่และเข้าใจได้

C2PA Content Credentials ผูกข้ออ้างแหล่งกำเนิดเกี่ยวกับการสร้างและการแก้ไขกับสินทรัพย์ด้วยการเข้ารหัส พวกมันสามารถทำให้การดัดแปลงเป็นที่สังเกตได้ภายใต้โมเดลความเชื่อถือ แต่ไม่ได้ตัดสินว่ากิจกรรมที่แสดงหรือข้ออ้างที่เขียนนั้นเป็นความจริงหรือไม่

กระบวนการเผยแพร่แบบหลายชั้น

รับความยินยอมและบันทึกสิทธิ์แหล่งที่มาก่อนการสร้าง ใช้การควบคุมโมเดลและพรอมต์, ตรวจสอบผลลัพธ์ที่อ่อนไหวต่ออัตลักษณ์, แนบแหล่งกำเนิดที่คงทน, เปิดเผยการเปลี่ยนแปลงสำคัญและรักษาช่องทางการอุทธรณ์สำหรับข้อร้องเรียนหรือการปลอมแปลง

แพลตฟอร์มและผู้เผยแพร่ควรรวมแหล่งกำเนิด, การตรวจจับ, สัญญาณบัญชี, การตรวจสอบข้อเท็จจริงและหลักฐานเชิงบริบท เชื่อมโยงการควบคุมเหล่านี้กับ ความปลอดภัยไซเบอร์ และกระบวนการเหตุการณ์ AI สร้างสรรค์ เพราะไม่มีสัญญาณเทคนิคเดียวที่ตัดสินได้

วิธีการและหลักฐานของสื่อสังเคราะห์

สื่อสังเคราะห์รวมถึงภาพ, เสียง, วิดีโอ, ข้อความ, อวาตาร์และสภาพแวดล้อมเสมือนที่ถูกสร้างหรือดัดแปลง วิธีการรวมถึง GANs, การกระจาย, โมเดลออโต้รีเกรสซีฟ, การเรนเดอร์แบบประสาท, การทำซ้ำใบหน้า, การโคลนเสียง, การสังเคราะห์คำพูด, การรวมภาพ, และการแก้ไขแบบดั้งเดิม ขอบเขตระหว่างสังเคราะห์และการแก้ไขเป็นต่อเนื่อง สิ่งของที่ดูสมจริงไม่ใช่หลักฐานว่ามีเหตุการณ์เกิดขึ้น, และสิ่งของที่ตรวจพบไม่ใช่หลักฐานของเจตนาที่เป็นอันตราย การประเมินควรเก็บไฟล์ต้นฉบับ, เมตาดาต้า, แหล่งที่มาและห่วงโซ่การดูแลรักษา

การสร้างสามารถสนับสนุนภาพยนตร์, การเข้าถึง, การแปลภาษา, การศึกษา, อวาตาร์ที่รักษาความเป็นส่วนตัว, การจำลองและการสร้างต้นแบบเชิงสร้างสรรค์ นอกจากนี้ยังอาจทำให้เกิดการปลอมแปลง, การฉ้อโกง, การคุกคาม, ภาพส่วนตัวที่ไม่ได้รับความยินยอม, โฆษณาชวนเชื่อและหลักฐานปลอม ความเสี่ยงขึ้นอยู่กับอัตลักษณ์, ความยินยอม, ผู้ชม, การเปิดเผย, บริบท, การกระจายและผลลัพธ์ การอนุญาตเสียงหรือลักษณะควรระบุการใช้งานที่อนุญาตและระยะเวลา บุคคลสาธารณะและคนทั่วไปต่างมีสิทธิและความสนใจด้านความปลอดภัยที่สำคัญ แม้กฎหมายอาจแตกต่างกัน

แหล่งกำเนิด, การใส่ลายน้ำ, และการตรวจจับ

แหล่งกำเนิดของเนื้อหาสามารถลงลายเซ็นแบบเข้ารหัสต่อเหตุการณ์การจับภาพและการแก้ไขและแนบข้ออ้างผ่านมาตรฐานเช่น C2PA มันช่วยยืนยันห่วงโซ่เมื่อเครื่องมือและแพลตฟอร์มรักษา credential ไว้ แต่การไม่มีแหล่งกำเนิดไม่ได้พิสูจน์ว่าผิดและเมตาดาต้าอาจถูกลบ ลายน้ำอาจเป็นที่มองเห็นหรือซ่อนและสามารถสื่อสัญญาณแหล่งที่มาได้ แต่การบีบอัด, การตัด, การสร้างใหม่และการลบแบบต่อสู้จำกัดความทนทาน ใช้แหล่งกำเนิด, การเปิดเผย, ประวัติบัญชี, การยืนยันแหล่งที่มาและการวิเคราะห์นิติวิทยาศาสตร์ร่วมกัน

ตัวตรวจจับเรียนรู้ลักษณะผิดปกติหรือรูปแบบสถิติแต่ประสิทธิภาพลดลงกับเครื่องสร้างใหม่, การประมวลผลต่อ, ภาษาและการเปลี่ยนแปลงการกระจาย ผลบวกเท็จอาจทำอันตรายต่อผู้คนและการสื่อสารข่าวที่แท้จริง รายงานความไม่แน่นอนที่ปรับเทียบและเงื่อนไขการตรวจสอบ; อย่าออกข้อกล่าวหาอย่างสำคัญจากคะแนนของตัวตรวจจับเดียว นักวิเคราะห์มนุษย์ควรเปรียบเทียบหลักฐานอิสระและบันทึกเครื่องมือและเวอร์ชัน แพลตฟอร์มต้องการการรายงานที่รวดเร็ว, การเก็บรักษา, การอุทธรณ์และการตอบสนองต่อการละเมิดที่อิงอัตลักษณ์และการดัดแปลงในการเลือกตั้งหรือเหตุฉุกเฉิน

การผลิตและการตรวจสอบอย่างรับผิดชอบ

ผู้สร้างควรขอความยินยอม, ปกป้องข้อมูลอ้างอิง, ป้ายกำกับวัสดุที่อาจทำให้เข้าใจผิด, และเก็บบันทึกการสร้างไว้ องค์กรควรฝึกอบรมพนักงานให้ตรวจสอบคำขอเสียงหรือวิดีโอเร่งด่วนผ่านช่องทางอิสระ โดยเฉพาะสำหรับการชำระเงินหรือข้อมูลประจำตัว ปกป้องโมเดลและสายงานสื่อ, จำกัดอัตราการใช้คุณลักษณะปลอมแปลง, และป้องกันเสียงหรือใบหน้าที่กำหนดเองโดยไม่ได้รับอนุญาต สื่อสังเคราะห์กำลังกลายเป็นเครื่องมือการผลิตทั่วไป การใช้งานที่เชื่อถือได้ขึ้นกับแหล่งกำเนิดและบริบท ในขณะที่ผู้ชมและสถาบันที่ทนทานต้องตรวจสอบข้ออ้างแทนการพึ่งพาความสมจริงของภาพ

ตัวอย่างการทำงาน: การตรวจสอบข้อความเสียงสังเคราะห์เร่งด่วน

พนักงานฝ่ายการเงินได้รับข้อความเสียงที่ดูเหมือนมาจากซีอีโอขอการโอนเงินฉุกเฉิน นโยบายห้ามอนุมัติจากเสียงอย่างเดียว พนักงานติดต่อผู้บริหารผ่านช่องทางอิสระที่รู้จัก, ตรวจสอบการทำธุรกรรมในระบบชำระเงิน, และรายงานข้อความนั้น ทีมรักษาความปลอดภัยเก็บไฟล์ต้นฉบับ, ส่วนหัว, ประวัติบัญชีและเวลา แทนการพึ่งพาตัวตรวจจับดีพเฟคเพียงอย่างเดียว

การสืบสวนรวมเมตาดาต้าแหล่งกำเนิด, การวิเคราะห์เสียงพร้อมระบุความไม่แน่นอน, การตรวจสอบการละเมิดอัตลักษณ์, และข้อมูลข่าวสารของแคมเปญ ผลลัพธ์การตรวจจับไม่เคยถูกนำเสนอว่าเป็นข้อสรุปแก่พนักงานหรือเจ้าหน้าที่บังคับใช้กฎหมายโดยไม่มีการยืนยันเพิ่มเติม องค์กรบล็อกแหล่งที่มา, เตือนทีมที่เกี่ยวข้อง, รีเซ็ตข้อมูลประจำตัวที่ได้รับผลกระทบ, และตรวจสอบตัวอย่างเสียงสาธารณะและขั้นตอนของผู้จัดจำหน่าย การฝึกอบรมเน้นกระบวนการ: ความเร่งด่วนและความสมจริงไม่สามารถลบล้างการอนุมัติสองขั้นได้ ความทนทานของสื่อสังเคราะห์มาจากช่องทางที่ตรวจสอบได้และขอบเขตอำนาจเช่นเดียวกับโมเดลนิติวิทยาศาสตร์

หลักฐานการดำเนินการและความพร้อมในการปฏิบัติการ

การตัดสินใจผลิตต้องการมากกว่าการสาธิตที่ประสบความสำเร็จ กำหนดผู้ใช้เป้าหมาย, สภาพแวดล้อมการทำงาน, อินพุต, เอาต์พุต, การพึ่งพา, เจ้าของ, และผลของความล้มเหลวสำคัญแต่ละรายการ สร้างฐานข้อมูลที่ทำซ้ำได้และชุดการประเมินที่เวอร์ชันก่อนการปรับแต่ง ทดสอบกรณีทั่วไป, เงื่อนไขขอบเขต, อินพุตที่ผิดรูปหรือหาย, การเปลี่ยนแปลงการกระจาย, การหยุดทำงานของการพึ่งพา, การใช้ในทางที่ผิด, และกลุ่มหรือสภาพแวดล้อมที่อาจไม่ได้รับบริการอย่างเพียงพอ วัดคุณภาพงานพร้อมกับการปรับเทียบหรือความไม่แน่นอน, ความหน่วง, ปริมาณผ่าน, ต้นทุนทรัพยากร, การเข้าถึง, ความเป็นส่วนตัวและความปลอดภัย บันทึกการแปลงและเกณฑ์ทุกอย่างเพื่อให้ผู้ตรวจสอบอิสระสามารถทำซ้ำผลลัพธ์และแยกแยะหลักฐานจากต้นแบบที่น่าสนใจ

ก่อนเปิดใช้งาน ให้มอบอำนาจสำหรับการปล่อย, ข้อยกเว้น, การเปลี่ยนแปลง, การย้อนกลับและการยกเลิก ใช้การเปิดตัวเป็นขั้นตอน, รักษาการสำรองที่ปลอดภัย, และตรวจสอบการเฝ้าระวังด้วยการฉีดความล้มเหลวโดยเจตนา เทเลเมทรีการดำเนินงานควรเปิดเผยคุณภาพอินพุต, พฤติกรรมเอาต์พุต, เวอร์ชันโมเดลหรือกฎ, สภาพการทำงานของการพึ่งพา, การแทรกแซงของมนุษย์, และผลลัพธ์ที่ยืนยันโดยไม่เก็บข้อมูลที่ละเอียดอ่อนที่ไม่จำเป็น กำหนดเกณฑ์การแจ้งเตือนและเจ้าของการตอบสนอง, จากนั้นตรวจสอบหลักฐานในโลกจริงหลังการปรับใช้แทนการสมมติว่าประสิทธิภาพออฟไลน์จะคงอยู่ ประเมินใหม่เมื่อแหล่งข้อมูล, ผู้ใช้, โมเดล, ผู้จำหน่าย, นโยบาย, ฮาร์ดแวร์ หรือเป้าหมายเปลี่ยน ระบบที่ดูแลต้องมีเอกสารการกู้คืน, การเรียนรู้จากเหตุการณ์, ขั้นตอนการลบและการเก็บรักษา, และจุดชัดเจนที่ควรปิดการทำงานหรือเปลี่ยนทดแทน

คำถามที่พบบ่อย

รูปภาพที่แก้ไขทั้งหมดเป็นสื่อสังเคราะห์หรือไม่?

คำนิยามแตกต่างกัน การแก้ไขแบบดั้งเดิมเล็กน้อยอาจไม่ได้ถูกอธิบายว่าเป็นสังเคราะห์, ในขณะที่การเปลี่ยนแปลงที่สร้างหรือมีความหมายเชิงเซมานติกโดยอัตโนมัติมักถือว่าเป็นสังเคราะห์ การเปิดเผยควรเน้นที่การเปลี่ยนแปลงที่ส่งผลต่อการตีความ

Content Credentials สามารถพิสูจน์ว่าสื่อเป็นความจริงได้หรือไม่?

ไม่. พวกเขาสามารถให้ข้ออ้างแหล่งกำเนิดที่ตรวจจับการดัดแปลงได้ แต่บันทึกที่ถูกต้องอาจยังคงมาพร้อมกับบริบทที่ทำให้เข้าใจผิดหรือข้ออ้างที่เป็นเท็จ

อ้างอิงหลัก

• NIST AI 100-4: ลดความเสี่ยงจากเนื้อหาสังเคราะห์
• C2PA: สเปคเทคนิค Content Credentials รุ่น 2.2
• NIST AI 600-1: โปรไฟล์ AI สร้างสรรค์