AI อาจจัดอันดับภาพลับโดยยี่ห้ออุปกรณ์ ไม่ใช่เนื้อหา

การวิจัยใหม่พบว่าระบบ AI ที่มุ่งเน้นภาพไม่เพียงแต่มองเห็นสิ่งที่อยู่ในภาพ แต่ยังสามารถตรวจจับรายละเอียดที่ซ่อนอยู่ เช่น ประเภทกล้องหรือคุณภาพของภาพ ซึ่งอาจส่งผลต่อผลลัพธ์ที่ไม่ถูกต้องได้

ในปี 2012 มีการเปิดเผยว่าเว็บไซต์การเดินทางหนึ่งแสดงราคาที่สูงกว่าสำหรับผู้ใช้ที่สามารถอนุมานได้ว่ากำลังใช้อุปกรณ์ Apple (AAPL ) ซึ่งเทียบเท่ากับการมีอำนาจซื้อที่สูงกว่า การสืบสวนในภายหลังพบว่าการ “จับกลุ่มตามกระเป๋าสตางค์” ของอุปกรณ์นี้กลายเป็นเรื่องปกติสำหรับเว็บไซต์ thương mạiอิเล็กทรอนิกส์

ในทำนองเดียวกัน การใช้สมาร์ทโฟนหรืออุปกรณ์ถ่ายภาพสามารถอนุมานได้โดยวิธีการนิติเวช โดยอาศัยลักษณะที่ทราบของเลนส์ในรุ่นต่างๆ ในกรณีเหล่านี้ รุ่นของอุปกรณ์ถ่ายภาพมักจะถูกประมาณการโดยการตรวจจับ “รอยติดตาม” ที่มองเห็นได้ และเช่นเดียวกับเหตุการณ์ในปี 2012 การทราบรายละเอียดเกี่ยวกับอุปกรณ์ถ่ายภาพสามารถนำมาใช้ประโยชน์ได้

แม้ว่าอุปกรณ์ถ่ายภาพมักจะฝังเมตาดาต้าลงในภาพ แต่คุณลักษณะนี้สามารถปิดใช้งานโดยผู้ใช้ได้ และแม้ว่าจะเปิดใช้งานอยู่ ก็อาจถูกถอดออกโดยแพลตฟอร์มการกระจาย เช่น โซเชียลมีเดีย

อย่างไรก็ตาม เมตาดาต้าในภาพที่อัปโหลดโดยผู้ใช้บ่อยครั้งจะถูกเขียนใหม่หรือตีความ (ไม่ถูกลบ) หรือเหลืออยู่完整 เป็นแหล่งข้อมูลที่สองที่ไม่เกี่ยวกับสิ่งที่อยู่ในภาพ แต่เกี่ยวกับวิธีการถ่ายภาพ เช่นเดียวกับกรณีในปี 2012 ข้อมูลประเภทนี้มีคุณค่าไม่เพียงแต่สำหรับแพลตฟอร์มเชิงพาณิชย์ แต่ยังสำหรับแฮกเกอร์และผู้กระทำผิดด้วย

มุมมองคู่

การวิจัยร่วมใหม่ระหว่างญี่ปุ่นและเช็กเกียพบว่า รอยติดตามที่เหลืออยู่จากฮาร์ดแวร์ของกล้องและกระบวนการประมวลผลภาพ (เช่น คุณภาพ JPEG หรือการปรับแต่งเลนส์) ไม่เพียงแต่สามารถตรวจจับได้ด้วยเครื่องมือนิติเวช แต่ยังถูกเข้ารหัสไว้ใน “ความเข้าใจทั่วไป” ของโมเดล AI ที่มองเห็นภาพที่นำมาใช้กันอย่างแพร่หลาย

รวมถึง CLIP และเครื่องมือเข้ารหัสภาพขนาดใหญ่อื่นๆ ที่ใช้กันอย่างกว้างขวางใน mọiสิ่ง ตั้งแต่เครื่องมือค้นหาไปจนถึงการดูแลเนื้อหา การวิจัยใหม่นี้แสดงให้เห็นว่าโมเดลเหล่านี้ไม่เพียงแต่แปลความหมายสิ่งที่อยู่ในภาพ แต่ยังสามารถเรียนรู้วิธีการสร้างภาพได้ และสัญญาณที่ซ่อนอยู่นี้อาจมีผลกระทบต่อผลลัพธ์ได้

ตัวอย่างคู่ภาพจากชุดข้อมูล PairCams ที่สร้างขึ้นเพื่อทดสอบว่าประเภทกล้องส่งผลต่อโมเดล AI ภาพอย่างไร แต่ละคู่แสดงวัตถุหรือฉากที่ถ่ายในเวลาเดียวกันโดยใช้กล้องที่ไม่ใช่สมาร์ทโฟน (ซ้าย) และสมาร์ทโฟน (ขวา)

การวิจัยระบุว่าแม้ว่าโมเดล AI จะได้รับภาพที่มีการปิดบังหรือตัดทอนอย่างหนัก แต่ก็ยังสามารถเดาได้ว่ากล้องที่ใช้ถ่ายภาพนั้นคืออะไร โดยมีความแม่นยำที่น่าประหลาดใจ ซึ่งหมายความว่าพื้นที่การแสดงผลที่ระบบเหล่านี้ใช้ในการตัดสินความคล้ายคลึงกันของภาพอาจเกี่ยวข้องกับปัจจัยที่ไม่เกี่ยวข้อง เช่น อุปกรณ์ของผู้ใช้ โดยมีผลลัพธ์ที่ไม่คาดคิด

ตัวอย่างเช่น ในงานที่ต้องใช้การจำแนกประเภทหรือการค้นหาภาพ สิ่งนี้อาจทำให้ระบบให้ความสำคัญกับประเภทกล้องบางประเภท โดยไม่คำนึงถึงสิ่งที่ภาพแสดงอยู่จริง

เอกสารระบุว่า:

‘ป้ายกำกับเมตาดาต้าที่เหลืออยู่ในเครื่องมือเข้ารหัสภาพจนกลบเกลื่อนข้อมูลเชิงวัตถุสามารถนำไปสู่ผลลัพธ์ที่ไม่คาดคิด และกระทบต่อความสามารถในการทั่วไป ความแข็งแกร่ง และอาจกระทบต่อความน่าเชื่อถือของโมเดลเหล่านี้’

‘สิ่งนี้มีความสำคัญมากขึ้น เนื่องจากอาจถูกใช้เพื่อโจมตีในทางที่ผิด เช่น การโจมตีแบบก่อความขัดแย้ง ซึ่งอาจทำให้ระบบหลงเชื่อหรือหลอกลวงได้ โดยมีความเสี่ยงในโดเมนที่สำคัญ เช่น การดูแลสุขภาพ การเฝ้าระวัง หรือระบบอัตโนมัติ’

การวิจัยพบว่าระบบ CVL เช่น CLIP ซึ่งเป็นหนึ่งในเครื่องมือเข้ารหัสภาพที่มีอิทธิพลมากที่สุดในปัจจุบัน มีแนวโน้มที่จะรับข้อมูลนี้จากข้อมูล:

ผลลัพธ์การค้นหาสำหรับภาพที่มีการสอบถาม โดยแสดงว่าโมเดลพื้นฐานจัดอันดับภาพที่คล้ายคลึงกันไม่เพียงแต่จากเนื้อหาเชิงภาพ แต่ยังรวมถึงเมตาดาต้าที่ซ่อนอยู่ เช่น การบีบอัด JPEG หรือรุ่นกล้อง

เอกสารใหม่นี้มีชื่อว่า รอยติดตามการประมวลผลและการได้มาในเครื่องมือเข้ารหัสภาพ: CLIP รู้อะไรเกี่ยวกับกล้องของคุณ? และมาจากนักวิจัยหกรายจากมหาวิทยาลัยโอซาก้าและมหาวิทยาลัยเทคนิคเช็กเกียในปราก

วิธีการและข้อมูล

เพื่อทดสอบอิทธิพลของเมตาดาต้าที่ซ่อนอยู่ต่อเครื่องมือเข้ารหัสภาพ เช่น CLIP ผู้วิจัยได้ทำงานกับสองประเภทของเมตาดาต้า: พารามิเตอร์การประมวลผลภาพ (เช่น การบีบอัด JPEG หรือการปรับแต่งเลนส์) และพารามิเตอร์การได้มา (เช่น รุ่นกล้องหรือการตั้งค่าการเปิดรับ)

ผู้วิจัยได้ประเมินเครื่องมือเข้ารหัสภาพที่ใช้กันอย่างแพร่หลาย 47 รายการในสถานะที่ได้รับการฝึกอบรมและพรีเทรนแล้ว รวมถึงโมเดลภาษา-ภาพแบบก่อความขัดแย้ง เช่น CLIP โมเดลแบบฝึกด้วยตนเอง เช่น DINO และเครือข่ายแบบดูแล

สำหรับพารามิเตอร์การประมวลผล ผู้วิจัยได้ใช้การเปลี่ยนแปลงที่ควบคุมไว้บนชุดข้อมูล ImageNet และ iNaturalist 2018 รวมถึงการบีบอัด JPEG ระดับ六 การปรับแต่งเลนส์สามระดับ การปรับขนาดสามระดับ และวิธีการแทรกสอดสี่วิธี

ตัวอย่างภาพและคำอธิบายที่เกี่ยวข้องจากชุดข้อมูล iNaturalist

โมเดลเหล่านี้ถูกทดสอบความสามารถในการคืนค่าการตั้งค่าการประมวลผลแต่ละรายการโดยใช้เพียงเนื้อหาในภาพ โดยมีการทำนายที่สำเร็จบ่งชี้ว่าเครื่องมือเข้ารหัสภาพเหล่านี้รักษาข้อมูลเกี่ยวกับการเลือกประมวลผลเหล่านี้ไว้ในพื้นที่การแสดงผลภายใน

เพื่อตรวจสอบพารามิเตอร์การได้มา ผู้วิจัยได้รวบรวมชุดข้อมูลที่เรียกว่า FlickrExif ซึ่งมีภาพ 356,459 ภาพที่มีเมตาดาต้า Exif ที่ได้รับการอนุรักษ์ไว้ และสร้างชุดข้อมูลที่สองที่เรียกว่า PairCams ซึ่งประกอบด้วยคู่ภาพ 730 คู่ที่ถ่ายพร้อมกันโดยกล้องสมาร์ทโฟนและกล้องที่ไม่ใช่สมาร์ทโฟน

ชุดข้อมูล FlickrExif ถูกสร้างขึ้นโดยใช้ API ของ Flickr เพื่อดาวน์โหลดภาพที่มีเมตาดาต้า Exif ที่เกี่ยวข้อง ระหว่าง 2,000 ถึง 4,000 ภาพที่ปลอดภัยสำหรับการทำงานถูกเก็บทุกเดือน ตั้งแต่ปี 2000 ถึงกลางปี 2024 และถูกกรองเพื่อรวมเฉพาะภาพที่มีใบอนุญาตที่อนุญาตให้ใช้ได้

สำหรับชุดข้อมูล PairCams แต่ละภาพถูกถ่ายโดยใช้การตั้งค้อัตโนมัติและไม่มีแฟลช ทำให้สามารถเปรียบเทียบวิธีการที่เครื่องมือเข้ารหัสภาพตอบสนองต่อความแตกต่างของฮาร์ดแวร์กล้องเพียงอย่างเดียว โดยไม่คำนึงถึงเนื้อหาในภาพ

ตัวอย่างเพิ่มเติมจากชุดข้อมูล PairCams ที่จัดทำโดยผู้วิจัย

ผู้วิจัยทดสอบสำหรับสองชุดพารามิเตอร์: พารามิเตอร์การประมวลผลภาพ เช่น การบีบอัดและการแปลงสี และพารามิเตอร์การได้มา เช่น รุ่นกล้องหรือการตั้งค่าการเปิดรับ

พารามิเตอร์การประมวลผลและการได้มา ที่ถูกวิเคราะห์พร้อมจำนวนคลาสสำหรับแต่ละรายการ

การทดสอบ

เพื่อกำหนดว่าข้อมูลเกี่ยวกับการประมวลผลภาพและประเภทกล้องถูกเก็บไว้ในพื้นที่การแสดงผลของโมเดลหรือไม่ ผู้วิจัยได้ฝึกเครื่องจำแนกเพื่อคาดเดาเมตาดาต้าเหล่านี้โดยตรงจากพื้นที่การแสดงผล หากเครื่องจำแนกทำงานไม่ดีกว่าการเดาแบบสุ่ม จะบ่งชี้ว่ารายละเอียดเกี่ยวกับการประมวลผลหรืออุปกรณ์ไม่ได้รับการบันทึกโดยโมเดล

อย่างไรก็ตาม การทำงานที่เหนือกว่าการเดาแบบสุ่มจะบ่งชี้ว่าข้อมูลทางเทคนิคเหล่านี้ถูกเข้ารหัสไว้และอาจมีอิทธิพลต่อการทำงานในอนาคต

เพื่อทดสอบรอยติดตามการประมวลผล ผู้วิจัยได้กำหนดการตั้งค่าการประมวลผลแบบสุ่มให้กับภาพที่ใช้ในการฝึก และทั้งภาพที่ใช้ทดสอบในแต่ละชุดจะมีการตั้งค่าการประมวลผลเหมือนกัน

ความแม่นยำในการจำแนกโดยเฉลี่ยทั้งหมดถูกผสมเข้ากับการทดลองซ้ำหลายครั้งภายใต้เมล็ดสุ่มต่างๆ เพื่อให้สามารถกำหนดได้ว่ารายละเอียดทางเทคนิคของการประมวลผลภาพถูกบันทึกไว้ในพื้นที่การแสดงผลภายในของโมเดลหรือไม่

ความแม่นยำในการจำแนกสำหรับการคาดเดาพารามิเตอร์การประมวลผลภาพจากพื้นที่การแสดงผลของโมเดล โดยใช้เครื่องจำแนกเชิงเส้นแบบง่ายที่ใช้กับโมเดลที่ถูกแช่แข็ง

ทั่วทั้งพารามิเตอร์การประมวลผลสี่รายการ โมเดลภาษา-ภาพแบบก่อความขัดแย้งแสดงความสามารถสูงสุดในการรับรู้การปรับเปลี่ยนภาพที่ซ่อนอยู่ บางโมเดลบรรลุความแม่นยำมากกว่า 80% ในการคาดเดาการบีบอัด JPEG การปรับแต่งเลนส์ และการตั้งค่าการปรับขนาดจากพื้นที่การแสดงผลของ ImageNet

เครื่องมือเข้ารหัสภาพแบบดูแลที่ใช้ ConvNeXt ก็มีผลการทำงานที่ดีเช่นกัน ในขณะที่โมเดลแบบฝึกด้วยตนเองมีผลการทำงานที่อ่อนกว่า

การแทรกสอดเป็นพารามิเตอร์ที่ยากที่สุดในการตรวจจับ แต่โมเดล CVL และแบบดูแลที่ดีที่สุดยังคงบรรลุผลลัพธ์ที่เหนือกว่าฐานการเดาแบบสุ่ม 25% ในทั้งสองชุดข้อมูล

ต่อไป เพื่อทดสอบว่าข้อมูลเกี่ยวกับกล้องถูกบันทึกไว้ในพื้นที่การแสดงผลของโมเดลหรือไม่ ผู้วิจัยได้สร้างชุดฝึกและทดสอบที่แยกจากกันสำหรับพารามิเตอร์การได้มาแต่ละรายการ เช่น รุ่นกล้องหรือการตั้งค่าการเปิดรับ

สำหรับพารามิเตอร์ส่วนใหญ่ จะใช้คลาสที่มีตัวอย่างอย่างน้อย 5,000 รายการ และ 500 ภาพถูกเลือกแบบสุ่มสำหรับการทดสอบ และตัวอย่างที่เหลือจะถูกลดขนาดลงเพื่อให้ทุกคลาสมีตัวอย่างฝึกอบรม 200 รายการ สำหรับพารามิเตอร์ ‘รุ่น (ทั้งหมด)’ และ ‘รุ่น (สมาร์ทโฟน)’ ซึ่งมีข้อมูลต่อคลาสน้อยกว่า ผู้วิจัยใช้คลาสที่มีภาพอย่างน้อย 500 ภาพ และแบ่งคลาสออกเป็นชุดฝึกและชุดทดสอบในอัตราส่วน 4:1

ช่างภาพถูกแยกออกจากกันในชุดฝึก ชุดตรวจสอบ และชุดทดสอบ และเครื่องจำแนกแบบง่ายถูกฝึกเพื่อคาดเดารายละเอียดเกี่ยวกับกล้องโดยอาศัยคุณลักษณะของภาพ

เพื่อให้แน่ใจว่าเครื่องจำแนกไม่ได้รับอิทธิพลจากเนื้อหาสำคัญของภาพ 90% ของภาพแต่ละภาพถูกปิดบัง (ดูตัวอย่างด้านล่าง) ผู้วิจัยยืนยันว่าที่ระดับการปิดบังนี้ ทุกโมเดลมีผลการทำงานที่ใกล้เคียงกับการเดาแบบสุ่มในการคาดเดาเนื้อหาสำคัญ ซึ่งบ่งชี้ว่าสัญญาณเชิงวัตถุถูกกำจัดออกไปแล้ว

ความแม่นยำในการจำแนกภาพจาก ImageNet เป็นฟังก์ชันของอัตราส่วนการปิดบัง ที่อัตราการปิดบัง 90% ทุกโมเดลมีผลการทำงานใกล้เคียงกับการเดาแบบสุ่มในการคาดเดาเนื้อหาสำคัญ

แม้จะปิดบังภาพ 90% โมเดลภาษา-ภาพแบบก่อความขัดแย้งและเครื่องมือเข้ารหัสภาพแบบดูแล ConvNeXt ยังคงคาดเดารายละเอียดเกี่ยวกับกล้องที่เหนือกว่าระดับการเดาแบบสุ่นอย่างมาก โมเดลหลายรุ่นเกิน 70% ในการคาดเดาว่าภาพถูกถ่ายด้วยสมาร์ทโฟนหรือไม่

เครื่องมือเข้ารหัสภาพแบบดูแลอื่นๆ เช่น SigLIP และโมเดลแบบฝึกด้วยตนเองมีผลการทำงานที่อ่อนกว่า เมื่อไม่มีการปิดบัง โมเดลภาษา-ภาพแบบก่อความขัดแย้งแสดงการรวมกลุ่มโดยกล้องที่แข็งแกร่งที่สุด โดยยืนยันว่าโมเดลเหล่านี้เข้ารหัสข้อมูลการได้มาอย่างลึกซึ้งกว่าโมเดลอื่นๆ

การแสดงภาพ t-SNE สำหรับเครื่องมือเข้ารหัสภาพสองตัว โดยสีแสดงว่าภาพถูกถ่ายด้วยสมาร์ทโฟนหรือไม่

ความสำคัญเชิงลึก

หลังจากที่ได้แสดงให้เห็นว่าเมตาดาต้าเหล่านี้มีอิทธิพลต่อโมเดลเหล่านี้ ผู้วิจัยได้ประเมินความสามารถของสัญญาณที่ซ่อนอยู่เหล่านี้ในการรบกวนการแปลความหมายภาพ

เมื่อภาพสองภาพที่เหมือนกันถูกประมวลผลในแบบที่แตกต่างกัน พื้นที่การแสดงผลมักจะถูกจัดระเบียบตาม “รูปแบบการประมวลผล” มากกว่าเนื้อหา ในหลายกรณี ภาพที่ถูกบีบอัดอย่างหนักของสุนัขถูกมองว่าใกล้เคียงกับภาพที่ไม่เกี่ยวข้องซึ่งมีการตั้งค่าการบีบอัดเหมือนกัน มากกว่ากับภาพที่ไม่ได้บีบอัดของสุนัข

ผลกระทบของพารามิเตอร์การประมวลผลต่อการคาดเดาเชิงวัตถุ โดยแสดงความแม่นยำในการจำแนกประเภทสำหรับ ImageNet (ด้านบน) และ iNaturalist (ด้านล่าง) ภายใต้การกำหนดพารามิเตอร์การประมวลผลห้าแบบ

การบีบอัด JPEG เป็นสาเหตุของการบิดเบือนมากที่สุด ตามด้วยการปรับแต่งเลนส์และการตั้งค่าการปรับขนาด ในขณะที่การแทรกสอดมีผลกระทบน้อยที่สุด ผู้วิจัยยืนยันว่าผลลัพธ์เหล่านี้แสดงให้เห็นว่าสัญญาณที่ซ่อนอยู่เหล่านี้สามารถมีอำนาจเหนือเนื้อหาสำคัญและกำหนดวิธีการที่ภาพถูกเข้าใจ

ในสรุป ผู้วิจัยเตือน:

‘แม้ว่าเราจะระบุได้ว่าป้ายกำกับเมตาดาต้าถูกเข้ารหัสไว้ในเครื่องมือเข้ารหัสภาพพื้นฐานและให้คำใบ้บางอย่างเกี่ยวกับสาเหตุที่อาจเกิดขึ้น แต่เรายังไม่สามารถระบุสาเหตุของปัญหาได้อย่างแน่ชัด การสืบสวนนี้ต่อไปเป็นเรื่องที่ท้าทายเนื่องจากต้นทุนในการฝึกโมเดลเหล่านี้ใหม่และความถี่ในการใช้ชุดข้อมูลส่วนตัวและรายละเอียดการนำไปใช้ที่ไม่เปิดเผย’

‘แม้ว่าเราจะไม่เสนอเทคนิคการบรรเทาผลกระทบโดยเฉพาะ แต่เรากำหนดให้ประเด็นนี้เป็นพื้นที่สำคัญสำหรับการวิจัยในอนาคต’

สรุป

ในเอกสารวิชาการมีความสนใจเชิงนิติเวชที่เพิ่มขึ้นเกี่ยวกับ “วิธีการมากกว่าเนื้อหา” ยิ่งง่ายต่อการระบุโดเมนการกำหนดกรอบหรือชุดข้อมูลเฉพาะ ยิ่งง่ายต่อการนำข้อมูลนี้มาใช้ในรูปแบบของตัวตรวจจับ deepfake หรือระบบที่ออกแบบมาเพื่อจัดหมวดหมู่หรืออายุของข้อมูลและโมเดล

สิ่งนี้ขัดแย้งกับวัตถุประสงค์หลักของการฝึกโมเดล AI ซึ่งก็คือแนวคิดที่หลอมรวมควรได้รับการดูแลอย่างเป็นอิสระจากวิธีการผลิต และไม่ควรแสดงร่องรอยใดๆ ของสิ่งเหล่านั้น ในความเป็นจริง ชุดข้อมูลและอุปกรณ์ถ่ายภาพมีลักษณะเฉพาะและคุณลักษณะโดเมนที่แทบจะเป็นไปไม่ได้ที่จะแยกออกจากเนื้อหา เพราะตัวมันเองก็แสดงถึง “มุมมองทางประวัติศาสตร์” เช่นกัน

* เอกสารนี้มีการจัดรูปแบบที่ไม่ปกติ และเราจะปรับตัวให้เข้ากับการจัดรูปแบบและนำเสนอที่ไม่ปกตินี้ให้ดีที่สุด “วิธีการ” ที่ไม่มีอยู่ในเอกสารนี้ถูกย้ายไปยังส่วนต่างๆ ของภาคผนวก โดยมีจุดมุ่งหมายเพื่อจำกัดเอกสารหลักให้ไม่เกินแปดหน้า – แม้ว่าจะส่งผลเสียต่อความชัดเจนอย่างมาก หากเราไม่สามารถปรับปรุงสิ่งนี้ได้เนื่องจากขาดเวลา เราขอโทษ

เผยแพร่ครั้งแรกวันพุธที่ 20 สิงหาคม 2025