AI ที่สร้างข้อเขียนไม่ ‘เหนื่อย’ และเปิดเผยตัวเอง

AI ในรูปแบบ ChatGPT ทำให้ตนเองเป็นที่รู้จักโดยการเพิ่มความสม่ำเสมอ ในขณะที่การเขียนของมนุษย์ยังคงไม่แน่นอนตลอดเวลา

หน้าต่างบริบทที่จำกัดของโมเดลภาษาขนาดใหญ่ (LLM) ที่เผยแพร่สู่ผู้ใช้เป็นหนึ่งในปัจจัยที่ทำให้พวกมันลืมหรือเรียกคืนช่วงแรกของการสนทนาของผู้ใช้ไม่ถูกต้อง ซึ่งอาจทำให้ผลลัพธ์กลายเป็นข้อความที่ไม่มีเหตุผลหรือมีข้อผิดพลาดที่ซ่อนอยู่

เนื่องจากสถานการณ์เหล่านี้นำไปสู่การ หลอกลวง และเนื่องจากการหลอกลวงยังคงเป็น อุปสรรคที่ยิ่งใหญ่ที่สุด ต่อการก้าวหน้าของ AI ในตลาด มีการใช้ความพยายามในการวิจัยอย่างมากในการสร้างระบบ AI ที่สามารถสร้างข้อความที่ยาวขึ้นและสม่ำเสมอมากขึ้น

ในความเป็นจริง มีการทำความก้าวหน้าอย่างมากจนการรู้จักข้อความ AI ที่สร้างขึ้น (เช่น ข้อความที่สร้างขึ้นโดย AI โดยมีการดูแลของมนุษย์อย่างน้อยหรือไม่มีเลย) ถือเป็น ปัญหาที่เพิ่มขึ้น

การทำลายการฟิลิเบสเตอร์ของ AI

อย่างไรก็ตาม การศึกษาทางการวิจัยที่ตีพิมพ์เมื่อเร็วๆ นี้ โต้แย้ง ว่าการผลิตข้อความ AI ที่มากขึ้นในคราวเดียวจะทำให้สามารถกำหนดได้ง่ายขึ้นว่าข้อความนั้นเขียนโดยมนุษย์หรือไม่ แต่ความเชื่อที่ยอมรับกันในเรื่องของ ‘锚’ การตรวจจับนี้มีสมมติฐานว่า AI สามารถแยกแยะได้เพราะ สิ่งที่ทำแตกต่างจากมนุษย์ มีโอกาสทำมากกว่าในข้อความที่ยาวขึ้น

ไม่มีการตั้งสมมติฐานเกี่ยวกับ การกระจาย ของ ‘สัญญาณ’ เหล่านี้ในข้อความเอง

เพื่อท้าทายและขยายปัญหา นักวิจัยจากจีนได้เสนอวิธีการใหม่ในการแยกแยะระหว่าง AI ที่สร้างข้อความยาวรูปแบบใหม่และผู้เขียนมนุษย์จริงๆ นักวิจัยอ้างว่าการ การสร้างต่อเนื่องของโทเค็น ของ AI หมายถึงการเพิ่มความสม่ำเสมอเมื่อความยาวเพิ่มขึ้น ในขณะที่ความไม่แน่นอนของมนุษย์ ไม่ ลดลงเมื่อความยาวเพิ่มขึ้น

ในทางนี้ ผู้เขียนเสนอว่าข้อคิดเห็นของพวกเขานำเสนอเมตริกใหม่ที่เป็นไปได้สำหรับระบบตรวจจับข้อความ AI*:

‘โทเค็น AI ในช่วงหลังของข้อความแสดงการเปลี่ยนแปลงความน่าจะเป็นขนาดเล็กและเสถียรมากขึ้น เมื่อการคาดการณ์ของโมเดลมีความสม่ำเสมอมากขึ้น เมื่อบริบทสะสม

‘เรียกระบุว่า การลดความผันผวนในระยะหลัง การลดลงนี้สะท้อนถึงพฤติกรรมที่แท้จริงของการสร้างแบบอัตโนมัติ: เมื่อบริบทมีมากขึ้น การกระจายการคาดการณ์ของโมเดลจะชัดเจนขึ้น ทำให้ความแปรผันในระดับโทเค็นลดลง

‘การเขียนของมนุษย์ ในทางกลับกัน ยังคงแนะนำตัวเลือกคำศัพท์ที่ไม่คาดคิดและรักษาความผันผวนสูงตลอดเวลา’

เพื่อจับ ‘ความเรียบ’ ที่สะสมในข้อความ AI ใกล้ปลาย นักวิจัยกำหนดคุณลักษณะง่ายๆ สองประการ: ประการแรก วัดว่าการกระทำเชิงสถิติของการเขียน ‘กระโดดไปมา’ ระหว่างโทเค็นเพียงใด ประการที่สอง ตรวจสอบว่าสิ่งต่างๆ คงเสถียรใน ช่วงเวลาสั้นๆ ของข้อความ อย่างไร

ทั้งสองถูกคำนวณจาก ครึ่งหลัง ของผลลัพธ์เท่านั้น โดยที่ AI จะชัดเจนขึ้นและข้อความของมนุษย์ไม่เช่นนั้น นักวิจัยสังเกตว่าแม้ว่าสัญญาณเหล่านี้จะทำงานได้ดีโดยลำพัง แต่ก็ยิ่งทำงานได้ดีขึ้นเมื่อรวมกับ วิธีการตรวจจับเก่า ที่สแกนรูปแบบที่กว้างขึ้น

งานวิจัยใหม่นี้เสนอวิธีการทดสอบ ‘AI-ness’ ผ่านการวิเคราะห์คุณลักษณะช่วงหลัง ไม่ต้องใช้การฝึกอบรมหรือการปรับให้เหมาะสมเพิ่มเติม หรือการเข้าถึงแบบจำลองพิเศษ

งานวิจัยใหม่นี้มีชื่อว่า เมื่อ AI ตั้งรกราก: ความเสถียรระยะหลังเป็นเครื่องหมายของการตรวจจับข้อความ AI ที่สร้างขึ้น และมาจากนักวิจัยสี่คนจากมหาวิทยาลัยเวสต์เลคในหางโจว

วิธีการ

เพื่อจับความเรียบที่เพิ่มขึ้นในข้อความ AI ที่สร้างขึ้น นักวิจัยได้ออกแบบการวัดสองประการที่เน้นไปที่เพียง ครึ่งหลัง ของข้อความเท่านั้น ซึ่งพึ่งพา คะแนนความน่าจะเป็นลอการิทึม จากโมเดลภาษาแบบมาตรฐานและไม่ต้องมีการปรับให้เหมาะสมหรือตัวอย่างเพิ่มเติม:

จากงานวิจัยใหม่ – แต่ละแถวแสดงพฤติกรรมของเมตริกพื้นฐานจาก EvoBench ตลอดลำดับโทเค็น: ค่าดั้งเดิม (ซ้าย) ออนตoderivative (กลาง) และค่าความเบี่ยงเบนมาตรฐานท้องถิ่น (ขวา) เส้นของมนุษย์และ AI แสดงเป็นสีน้ำเงินและสีแดง การเปลี่ยนแปลงที่เห็นได้ชัดที่สุดเกิดขึ้นในช่วงหลังของข้อความ โดยเฉพาะอย่างยิ่งสำหรับ Log Probability และ Sampling Discrepancy ซึ่งแสดงการแยกออกที่เพิ่มขึ้นและผลลัพธ์ AI ที่เรียบขึ้น Entropy และ Top-K Concentration แสดงการเปลี่ยนแปลงเล็กน้อยตลอดเวลา Source

การวัดแรกเรียกว่า การกระจายอนุพันธ์ (DD) ติดตามว่าการเปลี่ยนแปลงความมั่นใจของโมเดลจากคำหนึ่งไปอีกคำหนึ่งเปลี่ยนแปลงไปอย่างรวดเร็วเพียงใด AI มีแนวโน้มที่จะเข้าสู่จังหวะ และการเปลี่ยนแปลงเหล่านี้จึงกลายเป็นเล็กและคาดการณ์ได้มากขึ้นในช่วงหลัง ในทางกลับกัน การเขียนของมนุษย์ยังคง ‘ไม่สม่ำเสมอ’

การวัดที่สอง ความผันผันวนท้องถิ่น (LV) ตรวจสอบว่าการเปลี่ยนแปลงความมั่นใจของโมเดล ‘กระโดดไปมา’ ภายในหน้าต่างข้อความขนาดเล็กเพียงใด AI มีแนวโน้มที่จะเติบโตอย่างต่อเนื่องเมื่อเวลาผ่านไป ในขณะที่ตัวเลือกของมนุษย์ยังคงไม่คาดคิดและไม่สอดคล้องกัน:

ข้อความ AI กลายเป็นเรียบขึ้นเมื่อเวลาผ่านไป ในขณะที่การเขียนของมนุษย์ยังคงไม่แน่นอน เหล่านี้ติดตามการเปลี่ยนแปลงความมั่นใจของโมเดลตลอดข้อความ โดยสะท้อนถึงความแม่นยำของการเปลี่ยนแปลงระหว่างคำต่อเนื่องกันและปริมาณการเปลี่ยนแปลงภายในช่วงข้อความท้องถิ่น ในทั้งสองด้าน การลดลงมีความชันมากขึ้นในผลลัพธ์ที่สร้างโดยเครื่องจักร โดยมีการเน้นย้ำถึงช่องว่างที่กว้างขึ้นในช่วงหลัง โดยที่ข้อความ AI เข้าถึงความเสถียรมากขึ้น 32% เมื่อเทียบกับการเขียนของมนุษย์

เมื่อคำนวณทั้งสองจาก ช่วงหลัง ของข้อความเท่านั้น โดยที่ความแตกต่างระหว่างการเขียนของมนุษย์และเครื่องจักรมีมากที่สุด สิ่งเหล่านี้จะรวมเข้ากับค่า การตรวจจับความเสถียรทางเวลา (TSD) – ซึ่งมีแนวโน้มที่จะเพิ่มขึ้นเมื่อการเขียนกลายเป็น ‘เรียบ’ (และดังนั้นจึงมีแนวโน้มที่จะถูกสร้างขึ้นโดย AI) มีการใช้ขีดจำกัดอย่างง่ายเพื่อตัดสินว่าข้อความที่กำหนดมีแนวโน้มที่จะถูกเขียนโดยเครื่องจักรหรือไม่

เนื่องจากคุณลักษณะเหล่านี้เน้นไปที่ เมื่อ รูปแบบปรากฏขึ้น ไม่ใช่แค่ลักษณะของรูปแบบนั้น คุณลักษณะเหล่านี้จึงเสริมด้วยวิธีการเก่าๆ ที่ค้นหารูปแบบทางสถิติที่ไม่ปกติทั่วทั้งข้อความ การเพิ่มคะแนน TSD เข้ากับผลลัพธ์ของ Fast‑DetectGPT (ซึ่งร่วมมือกับ Westlake เช่นกัน) นำไปสู่การปรับปรุงที่เพิ่มขึ้น (โดยเฉพาะอย่างยิ่งสำหรับเนื้อหาที่ยาวซึ่งมีผลกระทบการทำให้เรียบในช่วงท้ายที่แข็งแกร่งที่สุด)

ข้อมูลและการทดสอบ

ผู้เขียนได้ทำการทดสอบบนชุดข้อมูลมาตรฐานที่เกี่ยวข้องสองชุด: EvoBench มีข้อความที่สร้างโดย AI และมนุษย์ 32,000 คู่ที่สร้างขึ้นจากเจ็ดตระกูลโมเดล รวมถึง GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; และ Qwen โดยมีโมเดลทั้งหมด 29 เวอร์ชัน

อีกชุดหนึ่งคือ MAGE ซึ่งให้ข้อความทดสอบ 30,000 คู่ที่ครอบคลุมแปดตระกูลโมเดล รวมถึง GPT ซีรีส์จาก OpenAI และ LLaMA, OPT และ FLAN-T5 ตระกูล

ผู้เข้าแข่งขัน

วิธีการใหม่นี้ได้รับการทดสอบกับเครื่องตรวจจับแบบ zero-shot หลายตัวโดยใช้โมเดลแบบจำลองเดียวกัน ความน่าจะเป็น, เอนโทรปี, อันดับ และ ลอการิทึม-อันดับ (DetectGPT) วัดสถิติระดับโทเค็นตลอดทั้งข้อความ; LLR (DetectLLM) ใช้การปรับมาตรฐานเพื่อให้สามารถเปรียบเทียบได้โดยตรงระหว่างโมเดล; และ Fast-Detect ประมาณการความโค้งงอในท้องถิ่นผ่านการบิดเบือนแบบสุ่ม

Lastde วิเคราะห์ลำดับย่อยที่แยกแยะใน信号ความน่าจะเป็น ในขณะที่ FourierGPT ทำงานในโดเมนความถี่ Diveye จับเปลี่ยนแปลงใน ‘ความประหลาดใจ’ ที่หลากหลายตลอดลำดับ

สุดท้าย UCE ประเมินโปรไฟล์ความไม่แน่นอนของการคาดการณ์โทเค็น เพื่อระบุรูปแบบความมั่นใจที่ไม่ธรรมชาติ

การนำไปใช้และการทดสอบ

วิธีการตรวจจับทั้งหมดถูกดำเนินการโดยใช้ Llama-3-8B-Instruct เป็นโมเดลแบบจำลองร่วม โดยจำกัดลำดับข้อมูลเข้าไว้ที่ 512 โทเค็น คุณลักษณะทางเวลาได้รับการคำนวณจาก ครึ่งหลัง ของข้อความเท่านั้น โดยใช้ หน้าต่างเลื่อน 20 โทเค็นเพื่อวัดความผันผวน รูปแบบที่รวมกันของวิธีการนี้เรียกว่า TSD+ ซึ่งรวมสัญญาณที่เสนอเข้ากับ Fast-DetectGPT

พื้นที่ใต้เส้นโค้งของการรับอัตราผลตอบแทน (AUROC) เป็นเมตริกการประเมินหลัก^†:

การแสดงผลที่หลากหลายของวิธีการที่ทดสอบกับข้อความ AI ที่สร้างขึ้น ความถูกต้องของการตรวจจับแสดงอยู่ทั่วสองมาตรฐาน: EvoBench ซึ่งครอบคลุม LLM ที่มีชื่อเสียงหลายตัว และ MAGE ซึ่งเป็นชุดข้อมูลที่เสริมกัน คุณลักษณะถูกจัดกลุ่มตามประเภทวิธีการ: สถิติทั่วไป คุณลักษณะทางเวลา และรูปแบบที่เสนอ คะแนน AUROC เฉลี่ยแสดงอยู่ในคอลัมน์สุดท้าย ผลลัพธ์จากวิธีการที่ผู้เขียนเสนอให้แสดงให้เห็นถึงการทำงานที่เหนือกว่าวิธีการฐานรากก่อนหน้านี้ โดย TSD+ ให้คะแนนที่สูงที่สุดในเกือบทุกการตั้งค่าโมเดล

จากผลลัพธ์เบื้องต้น ผู้เขียนระบุว่า:

‘คุณลักษณะทางเวลาที่เรียบง่ายของเราทำงานได้ดีที่สุดในหมู่วิธีการแบบสแตนด์อโลน โดยมี TSD ที่ 83.36% ใน EvoBench และ 71.56% ใน MAGE ซึ่งเหนือกว่าวิธีการฐานรากทั้งหมด รวมถึง Fast-DetectGPT ด้วย ‘

‘สิ่งนี้น่าสังเกตเนื่องจากความเรียบง่ายของวิธีการของเรา: เราคำนวณเพียงสถิติระดับที่สองจากครึ่งหลังของลำดับ โดยไม่ต้องมีการบิดเบือนแบบสุ่มหรือการแปลงโดเมนความถี่’

วิธีการใหม่นี้ทำงานได้ดีโดยเฉพาะอย่างยิ่งบนโมเดล AI รุ่นใหม่ๆ เช่น GPT-4 และ GPT-4o โดยระบุข้อความที่เขียนโดย AI ได้อย่างแม่นยำยิ่งขึ้นกว่าตัวตรวจจับที่เป็นหนึ่งในผู้นำก่อนหน้านี้ โดยมีช่องว่างการทำงานสูงถึง 9.66% แม้ว่าโมเดลที่มีความก้าวหน้าจะสร้างข้อความที่ ‘สม่ำเสมอ’ น้อยลงซึ่งซ่อนสัญญาณของการทำให้ทำงานอัตโนมัติ แต่บางรูปแบบของการทำให้เรียบยังคงเห็นได้ชัดใกล้ปลาย

วิธีการที่แข่งขันกันซึ่งมุ่งเน้นไปที่คุณลักษณะทางโครงสร้างที่กว้างขึ้น ไม่ จับได้ถึงรูปแบบในช่วงท้าย วิธีการแบบไฮบริดที่รวมสัญญาณที่เสนอเข้าด้วยกันกลับช่วยให้การทำงานดีขึ้น โดยเฉพาะอย่างยิ่งบนมาตรฐานที่สัญญาณทางเวลาอ่อนแอ

สรุป

ด้านหนึ่งที่ไม่ได้กล่าวถึงโดยตรงในการวิจัยใหม่นี้คือความสามารถของนักเขียนมนุษย์ในการสร้างงานของตนผ่านกระบวนการเขียนและตรวจสอบหลายชั้น – บางครั้งรวมถึงการมีส่วนร่วมจากผู้มีส่วนได้ส่วนเสียภายนอก เช่น การรับข้อเสนอแนะจากบรรณาธิการและผู้ตรวจสอบพิสูจน์อักษร และการเปลี่ยนแปลงที่แนะนำจากฝ่ายกฎหมาย ขึ้นอยู่กับบริบท

ผู้มีส่วนได้ส่วนเสียหลายคนในเอกสารง่ายๆ เช่น บทความในหนังสือพิมพ์ที่ฝังอยู่ลึกๆ อาจมองข้ามความไม่แน่นอนที่ระบบใหม่ที่เสนอให้ใช้ในการตรวจจับ และกลายเป็น ‘รูปแบบอนาล็อก’ ของกระบวนการเขียนที่ได้รับการช่วยเหลือจาก AI

นอกจากนี้ ระบบที่ศึกษาได้รับการฝึกอบรมจากงานดังกล่าว และเนื่องจากข้อมูลฝึกอบรมได้รับการจัดอันดับตามความสำคัญในช่วงการฝึกอบรม แหล่งข้อมูลที่ได้รับการยกย่องมากที่สุดอาจเป็นแหล่งข้อมูลที่ ‘ไม่ธรรมชาติ’ ที่สุด เมื่อเทียบกับใครบางคนกำลังเขียนอีเมลส่วนตัวให้กับเพื่อนร่วมงาน มากกว่าการรวบรวมรายงานประจำปีสำหรับการประชุมผู้ถือหุ้น

การพิจารณาที่ตรงกันข้ามคือเนื้อหาที่หลายคนมีส่วนร่วมสามารถเป็นหนึ่งในส่วนที่ ‘แตกกระจาย’ ที่สุด ‘บกพร่อง’ และ ‘ซ้ำซ้อน’ ที่สุดในการเข้าสู่ชุดข้อมูล เนื่องจากมักจะ ไม่ มีเสียงที่เป็นหนึ่งเดียวที่รวมเข้าด้วยกัน และปล่อยให้ลักษณะที่ไม่สมบูรณ์ของการพัฒนาของพวกเขาเห็นได้ชัดเจนในข้อความ

* รูปแบบการเขียนต้นฉบับของผู้เขียนซึ่งทำซ้ำจากเอกสาร; ไม่ใช่การเน้นของฉัน

^† ผู้เขียนระบุว่า ‘หลัก’ ในขณะที่ไม่ได้ระบุวิธีการประเมินอื่นๆ

ตีพิมพ์ครั้งแรกวันจันทร์ที่ 26 มกราคม 2026