AI ช่วยระบุ ‘Pink Slime’ ข่าว

โรงงานความคิดเห็นที่มีเป้าหมายที่จะโน้มน้าวความคิดเห็นของประชาชนมากกว่าที่จะให้บริการประชาชน อาจเป็นเรื่องที่ยากต่อการค้นหา หากใช้ AI เพื่อให้พวกเขาดูเหมือนมีความคิดเห็นที่เป็นเอกลักษณ์และมีเหตุผลมากขึ้น ดังนั้น การแข่งขันจึงเริ่มต้นเพื่ออยู่ข้างหน้าในเกม “การตรวจจับ Pink Slime”

การลดเงินทุนของสื่อโทรทัศน์ท้องถิ่นแบบดั้งเดิมในช่วง 20 ปีที่ผ่านมา ทั้งเนื่องจากแนวโน้มสื่อที่เปลี่ยนแปลงไป และ – เมื่อเร็วๆ นี้ – เนื่องมาจาก นโยบายของรัฐบาลสหรัฐฯ ได้ทิ้ง ช่องว่าง ในการรายงานระดับภูมิภาคที่ องค์กรที่มีแนวคิดเห็น ใช้ AI เพื่อขับเคลื่อนวาระของพวกเขา

เพื่อให้คำว่า ‘มีแนวคิดเห็น’ เข้าใจได้ (เนื่องจากไม่มีองค์กรข่าวที่ไม่มีแนวคิดเห็นทางการเมืองใดๆ) เรากำลังพูดถึง บริษัทน้ำมัน ที่ดำเนินเว็บไซต์ข่าวท้องถิ่น จากที่ตั้งที่ห่างไกล โดยไม่มีทรัพยากรท้องถิ่นจริงๆ แต่มีคำสั่งให้ปกป้องชื่อเสียงของบริษัท ; เว็บไซต์ข่าวที่มีแรงจูงใจทางการเมือง ไม่มีรายได้ ที่เตรียมพร้อมก่อนการเลือกตั้ง ; และเครือข่ายทั้งหมดของเว็บไซต์ข่าวที่สนับสนุนพรรครีพับลิกัน ปรากฏขึ้นจากที่ไหน ใกล้กับเวลาเลือกตั้ง

ในปี 2024 มีการประมาณการว่าข่าวท้องถิ่นที่ขับเคลื่อนด้วย AI ได้ มาถึงจุดสูงสุด ของสำนักข่าวท้องถิ่นที่แท้จริง ; ในขณะเดียวกัน การสำรวจในออสเตรเลียพบว่า 41% ของผู้บริโภค ชอบ แหล่งข่าว Pink Slime มากกว่าแหล่งข่าวที่แท้จริง

การหาเสียงที่ซ่อนเร้นนี้อาจถูกกล่าวถึงว่าได้พัฒนาไปจากศิลปะที่มีเล่ห์เหลี่ยมเป็น ภัยคุกคามที่มีต่อประชาธิปไตย (ในเรื่องขององค์กรที่มีแรงจูงใจทางการเมือง) และความไว้วางใจของประชาชนต่อมาตรฐานความเป็นธรรมในการรายงานข่าว

ดังนั้น วิธีการที่จะแยกแยะระหว่างลักษณะของ Pink Slime และองค์กรสื่อแบบดั้งเดิมจะช่วยได้มากในการเข้าใจผู้เล่นและแรงผลักดันในปัจจุบัน

ในขณะนี้ โครงสร้างและเทมเพลตขององค์กรข่าวที่แท้จริงนั้นง่ายต่อการปลอมแปลง และ AI ทำให้การเผยแพร่เนื้อหาที่มีคุณภาพสูงเป็นเรื่องที่ทันสมัยและราคาไม่แพง โดยใช้เทคนิคเดียวกับที่ ผู้จัดพิมพ์และผู้แพร่ภาพกระจายเสียงแบบดั้งเดิม ใช้

สัญญาณและเสียง

การศึกษาใหม่จากสหรัฐฯ ได้กล่าวถึงประเด็นนี้ โดยการตรวจสอบการใช้ Large Language Models ที่เพิ่มขึ้นในการทำให้เว็บไซต์ Pink Slime ดูเหมือนไม่ธรรมดาและยากต่อการตรวจจับ และโดยการสร้างเฟรมเวิร์กการเรียนรู้ที่ออกแบบมาเพื่อตามรอยการเปลี่ยนแปลงที่เกิดขึ้นในเนื้อหาของ Pink Slime (PS)

ชื่อเรื่อง การเปิดเผยการเขียนข่าว Pink Slime: ลักษณะทางภาษาและระบบตรวจจับที่แข็งแกร่งต่อภัยคุกคามที่สร้างขึ้นโดย LLM ผลงานใหม่นี้มาจากนักวิจัย 5 คนจากมหาวิทยาลัยเท็กซัส

งานใหม่นี้ตรวจสอบว่าบทความข่าวท้องถิ่นที่ผลิตจำนวนมากแตกต่างจากข่าวที่แท้จริงอย่างไร โดยเน้นไปที่การอาศัยโครงสร้างที่สั้นและซ้ำๆ และการเขียนที่มีการเปลี่ยนแปลงน้อย ; และผู้เขียนระบุว่าบทความ PS มักใช้เทมเพลตเดียวกันในการจัดการความคิดเห็นของประชาชน โดยมีการดึงดูดทางอารมณ์เป็นหลักในเนื้อหานั้น

จากงานวิจัยใหม่ – เว็บไซต์หลายแห่งตีพิมพ์บทความที่เหมือนกันโดยมีเพียงรายละเอียดที่แตกต่างกัน ซึ่งแสดงถึงกลยุทธ์การคัดลอก-วางที่ใช้ในการผลิตเนื้อหาที่เลียนแบบข่าวท้องถิ่นที่แท้จริง แหล่งที่มา

แบบจำลองการตรวจจับที่ดั้งเดิมที่ฝึกอบรมบนลักษณะเหล่านี้ให้ผลลัพธ์ที่ดีในการต่อต้านเนื้อหาดังกล่าว แต่ล้มเหลวเมื่อบทความถูกเขียนใหม่โดยใช้ AI chatbot เพื่อให้ดูเหมือนธรรมชาติหรือซับซ้อนมากขึ้น

การทดสอบของนักวิจัยแสดงให้เห็นว่าการเปลี่ยนแปลงรูปแบบที่เล็กน้อยที่แนะนำโดยโมเดลภาษาขนาดใหญ่สามารถลดความแม่นยำในการตรวจจับได้มากถึง 40% เพื่อแก้ไขปัญหานี้ พวกเข้าเสนอเฟรมเวิร์กการเรียนรู้อย่างต่อเนื่อง (continual learning) ที่ฝึกอบรมแบบจำลองการตรวจจับใหม่บนบทความทั้งดั้งเดิมและบทความที่เขียนใหม่โดย AI เพื่อปรับตัวให้เข้ากับรูปแบบภาษาที่เปลี่ยนแปลง

วิธีการ

เพื่อกำหนดข้อมูลสำหรับโครงการ นักวิจัยใช้ ชุดข้อมูล Pink Slime ซึ่งมีบทความ 7.9 ล้าน篇ครอบคลุม 1,093 แห่งในช่วงปี 2021-2023 โดยที่พวกเขาหาบทความ Pink Slime 9,472 บทความหลังจากการกรองข้อมูล ; พวกเขายังใช้ ชุดข้อมูล LIAR ซึ่งมีข้อมูลข่าวปลอม และ ชุดข้อมูล NELA-GT-2021 ซึ่งมีบทความจากสหรัฐฯ เท่านั้น

เพื่อเตรียมชุดข้อมูลฝึกอบรมและทดสอบ นักวิจัยใช้ อัลกอริทึม T-distributed Stochastic Neighbor Embedding (t-SNE) เพื่อลดการฝังตัวของบทความ (embeddings) ให้เหลือ 2 มิติ ; จากนั้นพวกเขานำอัลกอริทึมการคลัสเตอร์ DBSCAN มาใช้เพื่อแยกคลัสเตอร์ของบทความ Pink Slime ที่คล้ายกัน

แต่ละคลัสเตอร์ถูกมองว่าเป็นกลุ่มของเรื่องราวที่เกี่ยวข้องกัน โดยที่หลายเรื่องยังคงตามเทมเพลตเดียวกัน แม้จะมีการพยายามจัดการกับการซ้ำกัน

เพื่อป้องกันไม่ให้บทความที่คล้ายกันปรากฏทั้งในชุดฝึกอบรมและทดสอบ คลัสเตอร์ทั้งหมดถูกเลือกแบบสุ่ม โดยใช้ 80% สำหรับการฝึกอบรมและ 20% สำหรับการทดสอบ เนื่องจากบทความข่าวที่แท้จริงไม่เกิดเป็นคลัสเตอร์ที่ชัดเจน การแบ่งสุ่ม (random split) จึงถูกนำมาใช้แทน

กระบวนการนี้ถูกทำซ้ำ 3 ครั้ง เพื่อให้แน่ใจถึงความสม่ำเสมอ และเพื่อลด ความลำเอียงในการตัวอย่าง

ลักษณะของ Pink Slime

เมื่อแสดงความคิดเห็นเกี่ยวกับคุณลักษณะที่แตกต่างของ PS และข่าวที่แท้จริง นักวิจัยระบุว่าบทความข่าวท้องถิ่น Pink Slime มักจะสั้นและง่ายกว่าข่าวที่แท้จริง โดยเฉลี่ยแล้วมีน้อยกว่า เก้าประโยค ต่อบทความ

สัดส่วนที่สูงกว่าของประโยคที่ง่ายและความพึ่งพาในคำคุณศัพท์เป็นลักษณะเฉพาะอีกอย่างหนึ่งของ Pink Slime ตามที่ระบุไว้ในงานวิจัย ซึ่งบ่งชี้ถึงการใช้ภาษาที่ซ้ำซากและเต็มไปด้วยอารมณ์

ความ豊富ของคำศัพท์ ถูกวัดโดยใช้ อัตราส่วน Root-Type-Token (RTTR) และพบว่าความ豊富ของคำศัพท์นั้นต่ำกว่าในบทความ PS ซึ่งยังแสดงให้เห็นว่ามีคำวลีเฉพาะที่น้อยกว่าด้วย

รูปแบบเหล่านี้บ่งชี้ถึงพจนานุกรมที่จำกัดและรูปแบบที่เป็นแบบแผน ซึ่งตรงกันข้ามกับข่าวท้องถิ่นที่แท้จริงที่มีลักษณะเฉพาะด้วยรูปแบบการเขียนที่ซับซ้อนและใช้คำศัพท์ที่หลากหลาย

การทดสอบ

เพื่อตรวจสอบความสัมพันธ์ระหว่างประเภทของบทความข่าวตามคุณลักษณะทางภาษาและโครงสร้าง การฝังตัวของบทความถูกสร้างขึ้นโดยใช้โมเดล stella_en_400M_v5 ที่มี 435 ล้านพารามิเตอร์ และลดขนาดโดยใช้ Principal Component Analysis (PCA) และ t-SNE เพื่อการแสดงผล

เมื่อแสดงผลใน 2 มิติ บทความข่าวท้องถิ่นที่เป็นเท็จก่อตัวเป็นคลัสเตอร์ที่หนาแน่นและเล็ก โดยแต่ละคลัสเตอร์ตรงกับหัวข้อที่มุ่งเน้นอย่างแคบ เช่น สถิติอาชญากรรม การอัปเดตหุ้น หรือการบริจาคเพื่อการกุศล:

รูปแบบการคลัสเตอร์จาก t-SNE แสดงให้เห็นว่าบทความ Pink Slime ก่อตัวเป็นกลุ่มที่ซ้ำซากและแน่น ในขณะที่ข่าวที่แท้จริงแสดงการกระจายที่กว้างขึ้นและหลากหลายกว่า ตามความหลากหลายของหัวข้อและรูปแบบ

ตามที่เห็นได้จากภาพด้านบน รูปแบบนี้ชี้ให้เห็นว่ามีรูปแบบที่มีการควบคุมและซ้ำซาก โดยมีการเปลี่ยนแปลงน้อยระหว่างบทความ

นอกจากนี้ บทความที่ถูกป้ายสีเป็น “ข่าวปลอม” ออกห่างจากเนื้อหาท้องถิ่นที่เป็นเท็จ โดยแสดงการกระจายที่ใกล้เคียงกับข่าวที่แท้จริง ซึ่งบ่งชี้ว่าเนื้อหาท้องถิ่นที่ผลิตจำนวนมากอาจไม่เพียงแต่ไม่ถูกต้องเท่านั้น แต่ยังอาจมีลักษณะเฉพาะทางรูปแบบและโครงสร้างที่แตกต่างจากข่าวที่แท้จริง

ในทางตรงกันข้าม ข่าวท้องถิ่นที่แท้จริงก่อตัวเป็นคลัสเตอร์ที่น้อยและกว้างขึ้น ซึ่งสอดคล้องกับการกระจายภาษาและเนื้อหาที่หลากหลาย ในขณะที่บทความข่าวระดับชาติแสดงการกระจายที่กว้างขึ้น ซึ่งสะท้อนถึงหัวข้อที่หลากหลายและความสม่ำเสมอที่ลดลง

การเปรียบเทียบคุณลักษณะระหว่างข่าวท้องถิ่นที่แท้จริงและเนื้อหาของ Pink Slime ซึ่งแสดงให้เห็นว่าบทความ Pink Slime มักจะสั้นกว่า ใช้โครงสร้างประโยคที่ง่ายกว่า มีคำคุณศัพท์มากกว่า มีความ豊富ของคำศัพท์ที่ต่ำกว่า และมีคำวลีเฉพาะที่น้อยกว่า

การตรวจจับ

นักวิจัยประเมินวิธีการตรวจจับเนื้อหาของ Pink Slime สองวิธี: การจำแนกประเภท โดยอาศัยคุณลักษณะทางภาษาที่ถูกออกแบบมา ; และการปรับแต่งแบบ transformer โดยใช้ข้อความบทความทั้งหมด

สำหรับวิธีการที่ออกแบบมา นักวิจัยเน้นไปที่คุณลักษณะโครงสร้างมากกว่าความหมาย โดยใช้จำนวนประโยค ; ความ豊富ของคำศัพท์ ; ความลึกทางไวยากรณ์ ; ความน่าจะเป็นของการเกิดร่วมกันของคำ ; ความน่าจะเป็นของการเกิดร่วมกันของแท็ก ; ความสามารถในการอ่าน ; และการนับคำ

แบบจำลองสามแบบถูกทดสอบบนชุดคุณลักษณะนี้: XGBoost ; Random Forest ; และ Support Vector Machine (SVM) – โดยที่ Random Forest แสดงผลลัพธ์ที่ดีกว่าเล็กน้อย

ทั้ง XGBoost และ Random Forest ให้ความสำคัญกับคุณลักษณะเช่นจำนวนประโยคและจำนวนคำวลีเฉพาะสูง ; ความสามารถในการอ่านและความ豊富ของคำศัพท์ยังมีอิทธิพลต่อการจำแนกประเภทอย่างมาก แม้ว่าแบบจำลองจะชั่งน้ำหนักคุณลักษณะเหล่านี้ต่างกัน โดยที่ XGBoost ชอบ Flesch และ RTTR ในขณะที่ Random Forest มุ่งเน้นไปที่ CTTR

คะแนนความสำคัญของคุณลักษณะตาม SHAP (SHapley Additive exPlanations) ซึ่งแสดงให้เห็นว่าคุณลักษณะแต่ละตัวมีอิทธิพลต่อผลลัพธ์ของแบบจำลองอย่างไร ในกรณีนี้ ค่า SHAP แสดงให้เห็นว่า XGBoost และ Random Forest พึ่งพาคุณลักษณะจำนวนประโยคและคำวลีเฉพาะมากที่สุดในการแยกเนื้อหาของ Pink Slime ออกจากข่าวที่แท้จริง ในขณะที่มอบน้ำหนักต่อคุณลักษณะความ豊富ของคำศัพท์และความสามารถในการอ่านต่างกัน

ตามที่เห็นได้จากการเปรียบเทียบคุณลักษณะก่อนหน้านี้ (ด้านบน) บทความ Pink Slime มักจะชอบการใช้ภาษาที่ดึงดูดอารมณ์มากกว่ารายละเอียด โดยมีความ豊富ของคำศัพท์ที่ต่ำกว่า และมีคำวลีเฉพาะที่น้อยกว่า – ซึ่งยืนยันข้อสรุปที่ว่าเนื้อหานี้มีลักษณะเฉพาะที่ซ้ำซากและเป็นแบบแผน

รูปแบบของคำสามคำ (trigrams) ยังแสดงให้เห็นว่าข่าวท้องถิ่นที่แท้จริงมักจะใช้รูปแบบที่ซับซ้อนกว่า โดยมีการใช้คำช่วย คำสรรพนาม และคำสันธาน ในขณะที่ Pink Slime มักจะชอบโครงสร้างพื้นฐานที่ใช้คำนาม-คำบุพบท โดยมีการใช้คำสามคำที่บ่งชี้ถึงรูปแบบการเขียนที่ไม่ทางการและแตกเป็นชิ้นเล็กชิ้นน้อย

การตรวจสอบรอบที่สองเกี่ยวข้องกับการปรับแต่งแบบจำลอง BERT บนข้อความบทความทั้งหมด เพื่อจับเนื้อหาทางภาษาและโครงสร้างทางไวยากรณ์

XLNet และ Flan-T5 ถูกทดสอบด้วย โดยที่ BERT ให้ผลลัพธ์ที่ดีที่สุดด้วยคะแนน F1 ที่ 89.31% – แม้ว่าผลงานจะชี้ให้เห็นว่าความแตกต่างในการแสดงผลไม่มีนัยสำคัญทางสถิติ การปรับแต่งแบบจำลองเหล่านี้อัปเดตทุกน้ำหนักระหว่างการฝึกอบรม ช่วยให้พวกมันเรียนรู้การแสดงผลที่เฉพาะเจาะจงสำหรับงานโดยตรงจากข้อมูล

วิธีการอื่นที่ใช้การฝังตัว (fully-connected) ให้ผลลัพธ์ที่ดีกว่าแบบจำลองที่ออกแบบมา แต่ไม่เทียบเท่ากับการปรับแต่งแบบจำลองทั้งหมด

วิธีการเหล่านี้ได้รับประโยชน์จากบริบททางภาษาที่กว้างขึ้น – ซึ่งเป็นประโยชน์ เนื่องจากบทความ Pink Slime มักจะนำเนื้อหามาใช้ซ้ำข้ามเว็บไซต์ต่างๆ ในขณะที่คุณลักษณะที่ออกแบบมาขึ้นพึ่งพาโครงสร้างพื้นผิวเพียงอย่างเดียว ทำให้พวกมันไม่สามารถทั่วไปได้ข้ามแหล่งที่มา

การเพิ่ม Pink Slime ด้วย LLMs

เพื่อทดสอบว่าบทความ Pink Slime สามารถทำให้ยากต่อการตรวจจับได้หรือไม่ นักวิจัยเขียนบทความใหม่โดยใช้โมเดลภาษาขนาดใหญ่ (LLMs) โพร์มป์ตถูกออกแบบมาเพื่อปรับปรุงรูปแบบการเขียน โดยการขยายเนื้อหาบทความ การเพิ่มความซับซ้อนของประโยค การลดการใช้คำคุณศัพท์มากเกินไป การบังคับให้มีเสียงที่เป็นกลาง การใช้คำศัพท์ที่หลากหลาย และการเพิ่มจำนวนคำวลีเฉพาะ เพื่อซ่อนลักษณะพื้นผิวที่ส่วนใหญ่ระบบตรวจจับพึ่งพา

โมเดลที่ถูกทดสอบ ได้แก่ Gemma-2B ; Mistral-7B ; Llama-1B ; Llama-3B ; Llama-8B ; Qwen-7B ; GPT-4o mini ; และ Claude-3.5-Haiku

การแสดงผลการตรวจจับ (F1) ของแบบจำลอง BERT ที่ปรับแต่งใหม่เมื่อบทความ Pink Slime ถูกเขียนใหม่โดย LLMs ที่แตกต่างกัน คะแนนที่ต่ำกว่าบ่งชี้ถึงการซ่อนที่สำเร็จมากขึ้น

จากผลลัพธ์เหล่านี้ ผู้เขียนแสดงความคิดเห็นว่า:

‘[ในบรรดา] โมเดลที่เปิดเผยต่อสาธารณะ Qwen เป็นโมเดลที่มีประสิทธิภาพมากที่สุดในการหลบหลีกการตรวจจับ: เมื่อทดสอบกับแบบจำลอง BERT ที่ปรับแต่งใหม่ (คะแนน F1 ฐานคือ 89%) ทำให้คะแนนการตรวจจับลดลง 28.34% ‘

‘โมเดลที่ปิดไม่ให้เข้าถึงนั้นมีประสิทธิภาพมากขึ้น โดยที่ GPT-4o-mini และ Claude-3.5-Haiku ลดคะแนน F1 ลงโดยเฉลี่ย 40% ซึ่งเน้นถึงความท้าทายที่ LLMs ที่มีคุณภาพสูงสร้างขึ้น’

ผลลัพธ์เหล่านี้ นักวิจัยอ้างว่าแสดงให้เห็นว่า LLMs สามารถทำให้เนื้อหาของ Pink Slime ซ่อนตัวได้ง่ายๆ โดยทำให้เครื่องมือปัจจุบันยากต่อการตรวจจับ**

สรุป

ความคิดเห็น สายการวิจัยนี้มีประเด็นที่น่าสนใจหลายประเด็น ไม่น้อยกว่าการค้นพบว่าคนจำนวนมาก (ตามการสำรวจอย่างน้อยหนึ่งครั้งที่กล่าวถึงก่อนหน้านี้) สนับสนุน เนื้อหาของ Pink Slime โดยรู้ว่ามันเป็นอะไร ซึ่งทำให้ความหมายที่ไม่ดีของคำนี้ถูกนำมาพิจารณา มันเหมือนกับว่าคนรู้ว่า ‘Soylent Green เป็นคน’ แต่พวกเขาก็ยังคงกินต่อไป หรืออาจดูเหมือน vậy จากมุมมองของความก้าวหน้า

การไม่แยแสของสาธารณชนต่อข่าวที่สร้างโดยอัลกอริทึมอาจเปลี่ยนแปลงและถอยหลัง แต่ในขณะนี้ มัน似乎จะลึกซึ้งยิ่งขึ้น

สิ่งหนึ่งที่น่าสนใจเมื่อฉันอ่านงานวิจัยคือวิธีที่รูปแบบการเขียนที่เรียบง่ายและลดความซับซ้อนของเนื้อหาของ Pink Slime ถูกมองว่าเป็นข้อเสียที่อาจมีทางแก้ไขทางเทคโนโลยี เมื่อในความเป็นจริง การใช้ภาษาที่เรียบง่าย อารมณ์ และคำศัพท์ที่จำกัดอาจเป็นเจตนาและเป็นสิ่งที่ตั้งใจ

หากกลุ่มที่สนใจที่อยู่เบื้องหลังเนื้อหาของ Pink Slime ต้องการขยายการเข้าถึงไปยังผู้ชมที่มีการศึกษาสูงหรือมีแนวคิดเห็นที่ก้าวหน้า (แม้ว่ามันจะไม่ใช่จุดแข็งของพวกเขา) มันอาจจะน่าเชื่อถือมากกว่าที่พวกเขาจะตั้งแคมป์ใกล้กับกลุ่มเป้าหมายของพวกเขา มากกว่าที่จะเปลี่ยนรูปแบบภาษาและโทนที่ดูเหมือนจะบรรลุเป้าหมายของพวกเขาแล้วบนแพลตฟอร์มที่มีอยู่

* เนื่องจากการวางรูปแบบที่ไม่ดีในงานวิจัย แหล่งที่มาของบทความข่าวท้องถิ่นเพิ่มเติมไม่มีการอ้างอิงที่ชัดเจน กรุณาไปที่งานวิจัยต้นฉบับและเดาแหล่งที่มา ‘Horne’ ที่ใช้

** ที่นี่เราแนะนำให้ผู้อ่านไปที่งานวิจัยต้นฉบับเพื่อดูรายละเอียดของการทดลองรองและผลลัพธ์เสริมที่ปิดท้ายส่วนผลลัพธ์ของงานวิจัยใหม่

ตีพิมพ์ครั้งแรกวันศุกร์ที่ 12 ธันวาคม 2025