แม้แต่ AI ธรรมดาก็เขียนข่าวที่ดูเหมือนมนุษย์เขียนได้แล้ว

งานวิจัยใหม่ชี้ว่าแม้แต่โมเดล AI ขนาดเล็กที่รันในเครื่องก็เขียนข่าวที่ผู้คนแยกไม่ออกจากงานข่าวจริงได้แล้ว เทียบชั้นระบบชั้นนำและทำให้ผู้อ่านบอกไม่ได้ว่าใครเขียนอะไร

งานวิจัยร่วมครั้งใหม่ระหว่างเยอรมนีกับฝรั่งเศสพบว่ามนุษย์บอกไม่ได้ว่าบทความข่าวเขียนโดย AI หรือมนุษย์ แม้ใช้โมเดลโอเพนซอร์สที่ดาวน์โหลดและรันบนคอมพิวเตอร์ตั้งโต๊ะสำหรับผู้บริโภคที่มีสมรรถนะค่อนข้างธรรมดาได้

อีกสัญญาณหนึ่งว่า AI ขนาดเล็กกำลังเติบโต คือการสำรวจคำตัดสิน 2,318 ครั้งจากผู้เข้าร่วม 1,054 คนในพอร์ทัลวิจัยวิชาการเฉพาะ พบว่าผู้อ่านระบุที่มาของบทความได้ไม่ดีกว่าการเดาสุ่ม แม้บทความมาจากโมเดลขนาดค่อนข้างเล็กที่มีเพียงเจ็ดพันล้านพารามิเตอร์ รวมถึงรุ่นย่อยของ Mistral และ Llama:

คะแนนเฉลี่ยด้านแหล่งที่มาและความแท้จริงของ LLM ที่ทดสอบ พารามิเตอร์สองแสนล้านตัวของ GPT-4o ไม่ได้มากกว่าพารามิเตอร์เจ็ดพันล้านตัวของโมเดลเล็กอย่างมหาศาล โมเดลที่ทดสอบคือ Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o และ GPT-3.5 แหล่งที่มา

ผู้เขียนกลับมาศึกษาประเด็นที่เคยสำรวจครั้งแรกใน งานตีพิมพ์ปี 2024 พรหรือคำสาป? การสำรวจผลกระทบของ AI เชิงกำเนิดต่อข่าวปลอม ผลที่กล่าวถึงนี้เป็นผลใหม่จากโครงการใหญ่ที่ ประกาศ ครั้งแรกในเดือนมกราคม และใช้ JudgeGPT ซึ่งเป็นกรอบการมีส่วนร่วมออนไลน์ของผู้เขียนเอง

พลังจากโมเดลเล็ก

มนุษย์แยกออกหรือไม่? การศึกษาสองแกนเรื่องการรับรู้ข่าวที่สร้างโดย LLM คืองานของนักวิจัยสามคนจากมหาวิทยาลัยวิทยาศาสตร์ประยุกต์แฟรงก์เฟิร์ตและหน่วยวิจัย IRISA ที่น็องต์ วิธีการของ การศึกษาใหม่ แยกข่าวปลอมออกจากข่าวที่ AI เขียนอย่างสำคัญ เพราะข่าวปลอมเขียนได้ทั้งโดยมนุษย์และ AI และสองเรื่องนี้ไม่จำเป็นต้องมีความหมายเหมือนกัน

แต่สิ่งที่น่าสนใจที่สุดอาจเป็นข้อสรุปว่าโมเดลเล็กอย่าง Mistral 7B และ Gemma 7B ซึ่งมีเพียงเจ็ดพันล้านพารามิเตอร์ ก็แข่งขันกับโมเดลอย่าง ChatGPT (4o) ที่มีสองแสนล้านพารามิเตอร์ได้อย่างมั่นใจ:

“โมเดลเปิดน้ำหนักที่มีเพียงเจ็ดพันล้านพารามิเตอร์สร้างข้อความที่ได้รับการประเมินไม่ต่างจากผลลัพธ์ของ GPT-4o บ่งชี้ว่าความสามารถสร้างข้อความที่แยกไม่ออกจากงานมนุษย์ไม่ได้จำกัดอยู่เฉพาะโมเดลแนวหน้าอีกต่อไป”

อย่างไรก็ตาม ข่าวที่ AI สร้างอาจหมายถึงความร่วมมือระหว่างมนุษย์กับ AI ได้หลายแบบ ตั้งแต่ตรวจตัวสะกดไปจนถึง การมอบหมายความพยายามทั้งหมดให้ผู้อื่นจนเสี่ยงจบอาชีพ และการศึกษาไม่ได้บอกชัดว่าผลิตเนื้อหา AI แบบใดมาทดสอบ แม้จะอธิบายวิธีผลิตไว้ โปรดดูด้านล่าง

วิธีการ

ผู้เข้าร่วมแพลตฟอร์ม JudgeGPT ประเมินข่าวแต่ละชิ้นด้วยกรอบสองแกน โดยให้คะแนนอิสระสามค่าผ่านแถบเลื่อนต่อเนื่องตั้งแต่ 0 ถึง 100:

หน้าจอพอร์ทัล JudgeGPT ที่ผู้ประเมินให้คะแนนด้านการระบุแหล่งที่มา ความแท้จริง และความคุ้นเคยกับหัวข้อ โปรดดูภาพความละเอียดสูงกว่าในงานวิจัยต้นฉบับ

การตัดสินแหล่งที่มา บันทึกว่าข้อความดูเหมือนเขียนโดยเครื่องหรือมนุษย์ การตัดสินความแท้จริง บันทึกว่าถูกมองว่าปลอมหรือจริง และ ความคุ้นเคยกับหัวข้อ บันทึกว่าผู้อ่านรู้จักเรื่องนั้นดีเพียงใด

ใช้มาตรวัดต่อเนื่องแทน มาตรวัดลิเคิร์ต เพื่อเก็บระดับความมั่นใจให้แม่นยำขึ้นและรองรับการวิเคราะห์สถิติ รวมถึง สหสัมพันธ์เพียร์สัน และ การจัดกลุ่ม

ข้อความจากเครื่องสร้างด้วย กรอบ RogueGPT ของผู้เขียน ซึ่งเป็นโครงสร้างป้อนข้อมูลให้ JudgeGPT โดย RogueGPT ประสานผลจากโมเดลภาษาขนาดใหญ่หกตัว ได้แก่ ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; และ Mistral 7B

ใช้พรอมป์ต์ที่กำหนดตัวละครหรือบทบาทเพื่อสร้างข้อความ โดยอ้างอิงหัวข้อข่าวจริงและมีมนุษย์ตรวจสอบข้อเท็จจริง

ส่วนข้อความของมนุษย์สุ่มมาจากสำนักข่าวที่เป็นที่ยอมรับและฐานข้อมูลสารสนเทศที่ไม่ได้ระบุชื่อ

ผู้เขียนสังเกตว่า:

“ชุดสิ่งเร้าจงใจให้น้ำหนักกับข้อความจากเครื่อง (∼98%) โดยข้อความจากมนุษย์ใช้เป็นจุดอ้างอิงในการปรับเทียบ

“การออกแบบนี้เน้นความแปรผันภายใน AI ระหว่างโมเดล แทนที่จะเปรียบเทียบมนุษย์กับ AI ผู้เข้าร่วมไม่ทราบสัดส่วนพื้นฐาน และผลการตรวจจับที่ใกล้ระดับเดาสุ่มยังคงอยู่เมื่อวิเคราะห์เฉพาะชุดย่อยที่มีที่มาจากมนุษย์”

ผู้เข้าร่วมให้ความยินยอมหลังได้รับข้อมูลและตอบแบบสอบถามประชากรศาสตร์เรื่องอายุ การศึกษา แนวคิดทางการเมือง และความคุ้นเคยกับ AI ก่อนประเมินข่าวตามลำดับ

แต่ละคนตรวจ 5–87 รายการ โดยมีมัธยฐาน 12 รายการ ลำดับการนำเสนอสุ่มและการจัดสรรโมเดลสมดุลระหว่างผู้เข้าร่วมเพื่อลดอคติ แพลตฟอร์มบันทึกคะแนนทั้งสาม เวลาตอบ และรหัสนิรนาม เพื่อเชื่อมคำตัดสินรายครั้งกับปัจจัยพื้นหลัง

ผู้เขียนเน้นว่ากลุ่มตัวอย่างเอนเอียงไปทางชาวยุโรปที่มีการศึกษา โดย 68% มีการศึกษาระดับมหาวิทยาลัยและ 74% อาศัยในยุโรป งานวิจัยยอมรับว่านี่เป็นข้อจำกัดในการอ้างอิงผลในวงกว้าง

การทดสอบ

การทดสอบแบ่งเป็นห้าประเด็น ได้แก่ การแยกข้อความจากเครื่องกับมนุษย์ การเปรียบเทียบการตรวจจับระหว่าง LLM ผลของความเชี่ยวชาญด้านเนื้อหาเทียบกับแนวคิดทางการเมืองต่อความแม่นยำ กลยุทธ์การตอบสนองที่ต่างกัน และการเปลี่ยนความแม่นยำเมื่อประเมินซ้ำเนื่องจาก ความเหนื่อยล้า:

สรุปห้าข้อค้นพบหลักจากคำตัดสิน 2,318 ครั้งของผู้เข้าร่วม 1,054 คน การตรวจจับข้อความ AI ของมนุษย์ยังอยู่ระดับเดาสุ่มในทุกโมเดล ความแม่นยำสัมพันธ์กับความเชี่ยวชาญแทนแนวคิดทางการเมือง ผู้เข้าร่วมแบ่งเป็นรูปแบบความไว้วางใจต่างกัน และผลการทำงานลดลงหลังประมาณ 30 ครั้งเพราะความเหนื่อยล้าทางการรู้คิด

การทดสอบไม่พบความแตกต่างของคะแนนแหล่งที่มาระหว่างเงื่อนไขอย่างมีนัยสำคัญเหนือระดับเดาสุ่ม ซึ่งดูเหมือนชี้ว่าผู้เข้าร่วมแยกข้อความ AI จากงานมนุษย์ไม่ได้:

การกระจายคะแนนแหล่งที่มาและความแท้จริงของข้อความจากเครื่องกับมนุษย์ทับซ้อนกันมาก ไม่แยกสองเงื่อนไขอย่างมีความหมาย และการทดสอบสถิติชี้ว่าผู้เข้าร่วมไม่อาจแยกข้อความ AI กับงานมนุษย์ได้อย่างน่าเชื่อถือ

ประเด็นที่สอง ตามกราฟต้นบทความ ความล้มเหลวในการตรวจจับไม่ต่างกันตามโมเดล เพราะผลของ LLM ทุกตัวรวมอยู่รอบคำตัดสินระดับเดาสุ่มโดยไม่ต่างกันอย่างมีนัยสำคัญ แม้ระบบเปิดน้ำหนักขนาดเล็กอย่าง Mistral 7B และ Gemma 7B ก็ได้รับการประเมินไม่ต่างจาก GPT-4o จึงเป็นไปได้ว่าข้อความที่แยกไม่ออกจากงานมนุษย์ไม่ได้จำกัดอยู่กับโมเดลใหญ่ที่สุดอีกต่อไป

ประเด็นที่สาม ความแม่นยำสัมพันธ์กับความเชี่ยวชาญมากกว่าแนวคิดทางการเมือง ความคุ้นเคยกับข่าวปลอมสัมพันธ์กับคำตัดสินที่ดีขึ้น แต่ความเห็นทางการเมืองไม่มีผลอย่างมีความหมาย บ่งชี้ว่าทักษะวิเคราะห์ที่เรียนรู้อาจสำคัญกว่าอุดมการณ์:

ผลประเด็นที่สามพบว่าแนวคิดทางการเมืองไม่ส่งผลอย่างมีความหมายต่อการระบุที่มาหรือความแท้จริง มีเพียงแนวโน้มอ่อนและไม่มีนัยสำคัญ ส่วนความคุ้นเคยกับข่าวปลอมที่รายงานเองสัมพันธ์กับความแม่นยำสูงขึ้นทั้งสองแกน จึงบ่งชี้ว่าทักษะวิเคราะห์จากประสบการณ์ทำนายผลได้ดีกว่าจุดยืนทางอุดมการณ์ โปรดดูภาพความละเอียดสูงกว่าในต้นฉบับ

ข้อค้นพบที่สี่แบ่งผู้เข้าร่วมเป็นสองรูปแบบตอบสนอง คือผู้สงสัยที่ให้ความไว้วางใจต่ำกับเนื้อหาทุกแบบโดยไม่สนที่มา และผู้เชื่อที่รักษาความไว้วางใจพื้นฐานสูงกว่า

สุดท้าย เป้าหมายที่ห้าใช้การวิเคราะห์แบบเคลื่อนที่ของคำตัดสินตามลำดับ พบว่าผู้เข้าร่วมทำได้ดีขึ้นช่วงต้น ความแม่นยำเพิ่มระหว่างประมาณ 15–20 ครั้งแรกขณะปรับตัวกับรูปแบบ:

ค่าเฉลี่ยเคลื่อนที่ของคะแนนการระบุที่มาและความแท้จริงตลอดการประเมินแสดงช่วงพัฒนาสั้นในตอนต้น ผู้ใช้ดูเหมือนปรับตัวใน 15–20 รายการแรก ก่อนที่ทั้งสองตัวชี้วัดลดลงต่อเนื่องหลังประมาณ 30 ครั้ง โปรดดูภาพความละเอียดสูงกว่าในต้นฉบับ

อย่างไรก็ตาม ผลนี้อยู่ไม่นาน สมรรถนะลดลงหลังประมาณ 30 รายการ และผู้เข้าร่วมใช้การระบุว่าเนื้อหาปลอมเป็นคำตอบตั้งต้นมากขึ้น การเปลี่ยนแปลงนี้ตีความว่าเป็นความเหนื่อยล้าทางการรู้คิด และชี้ข้อจำกัดชัดเจนว่าการตรวจจับจะยังใช้ได้ผลจริงนานเพียงใด

นี่อาจเป็นหลักฐานเชิงประจักษ์บางส่วนว่า เมื่อเหนื่อยกับการแยกข่าวปลอมจากจริงและข่าว AI จากมนุษย์ เรา อาจมีแนวโน้มใช้ข้อสันนิษฐานตั้งต้น ว่าข่าวมาจาก AI และ/หรือเป็นข่าวปลอม ซึ่งสองอย่างนี้ไม่จำเป็นต้องเหมือนกัน เพื่อความปลอดภัย ผู้ที่มองว่าเป็นความขี้เกียจและคิดว่าผู้คนควรค้นคว้าเองเพื่อตรวจข่าวที่อาจปลอม อาจสนใจว่าการศึกษาปี 2024 ชี้ว่านั่นยิ่งทำให้ปัญหาแย่ลง

ผู้เขียนเสนอว่าความล้มเหลวของวิจารณญาณมนุษย์ที่พบอาจหมายถึงเราต้องมอบเรื่องนี้ให้เทคโนโลยีตรวจสอบแหล่งที่มาด้วยการเข้ารหัส เช่น โครงการ C2PA ที่ Adobe นำ ทางเลือกอื่นที่กล่าวถึงคือกรอบของผู้เขียนเองชื่อ OriginLens และอีกโครงการที่ผู้เขียนมีส่วนร่วมชื่อ CRED-1

ผู้เขียนสรุปว่า:

“มนุษย์แยกออกหรือไม่? การศึกษาสองแกนของเราที่มีคำตัดสิน 2,318 ครั้งจาก LLM หกตระกูลให้คำตอบเชิงประจักษ์ชัดเจนว่าแยกไม่ออก

“ข้อความจากเครื่องแยกไม่ออกจากงานมนุษย์ ไม่ว่าโมเดลมีขนาดหรือตระกูลใด ความเชี่ยวชาญทำนายความแม่นยำในการตรวจจับได้ดีกว่าแนวคิดทางการเมือง ผู้เข้าร่วมใช้กลยุทธ์ความไว้วางใจต่างกัน และความเหนื่อยล้าทางการรู้คิดจำกัดการตรวจจับระยะยาว

“ผลเหล่านี้สนับสนุนการเปลี่ยนจากการตรวจจับระดับผู้ใช้ไปสู่มาตรการตอบโต้ระดับระบบ รวมถึงแหล่งที่มาของเนื้อหา ตัวชี้วัดความไว้วางใจที่ปรับตัวได้ และการแทรกแซงสร้างภูมิคุ้มกันที่มีขอบเขตจำกัด”

บทสรุป

สิ่งน่ากังวลในงานนี้คือเครือข่ายสนับสนุนของโครงการและงานวิจัยที่ผู้เขียนหรือบางคนในกลุ่มได้ริเริ่มหรือมีส่วนร่วม คงเป็นประโยชน์อย่างมากหากได้ศึกษาตัวอย่างข้อความจาก AI และมนุษย์ที่ทำให้เกิดผลเหล่านี้ เพื่อเข้าใจว่ากระบวนการสร้างที่อธิบายไว้ผลิตงานแบบใด

ถึงอย่างนั้นก็น่าสนใจที่โมเดลเปิดน้ำหนักและโอเพนซอร์สเทียบชั้นยักษ์ใหญ่ผ่าน API อย่างซีรีส์ ChatGPT ได้ เป็นไปได้หรือไม่ว่างานนี้ไม่ได้ยากมาก และโมเดลสองแสนล้านพารามิเตอร์ใหญ่เกินจำเป็น? เราต้องรู้ตัวอย่าง AI และข้อความมนุษย์ที่ส่งมามากกว่านี้จึงจะตอบได้

ระหว่างนี้ ตามเว็บไซต์ canirun.ai โมเดล Mistral 7B ซึ่งใกล้เคียงกับ ChatGPT-4o ในการทดสอบ “ทำงานได้ดีมาก” บน NVIDIA RTX 3080 ที่มี VRAM 16GB และ ทำงานได้ “พอใช้” บน 3060 ที่มี VRAM 6GB ซึ่งไม่ใช่การ์ดจอใหม่ที่สุดหรือดีที่สุด* ดังนั้นผู้ที่ต้องการคิดวิธีส่งตัวอย่างของตนเองก็ดูจะร่วมทดลองเหล่านี้ได้เช่นกัน

* Gemma 7B ไม่มีอยู่ในรายการของเว็บไซต์

เผยแพร่ครั้งแรกวันพฤหัสบดีที่ 9 เมษายน 2026