การตรวจจับแนวคิด AI ไม่ใช่ข้อความ AI

ถ้ามีเครื่องตรวจจับข้อความ AI ที่สามารถรับรู้ว่าคุณเขียนบางอย่างโดยอิงจาก แนวคิด ที่ AI ให้คุณ – แม้ว่าการเขียนจริงทั้งหมด (เช่น ข้อความ) จะเป็นผลงานดั้งเดิมของคุณเอง?

พวกเราทุกคนรู้จักเครื่องตรวจจับข้อความ AI ที่ทำให้ คนดัง และ นักการเมือง ประหลาดใจ รวมถึงคนอื่น ๆ – อัลกอริทึมที่ได้ศึกษาลักษณะของข้อความที่สร้างโดย AI และสามารถ แยกแยะ รูปแบบเหล่านั้นเมื่อปรากฏขึ้น

กรณีเหล่านี้เป็นการถ่ายโอนงานสื่อสารอย่างง่าย ๆ ซึ่งโมเดลภาษาเช่น ChatGPT และ Google Gemini ทำนายโทเคนที่น่าจะเป็นต่อไป ในการตอบต่อคำสั่งของผู้ใช้ – ไม่ได้โดยการถอยหลังและมองภาพรวมของปัญหาหรือข้อเสนอแรก แต่เพียงแค่คาดเดาคำที่มีความเป็นไปได้สูงต่อไป

อย่างไรก็ตาม การคาดการณ์ที่ประกอบกันเป็นชิ้นส่วนในที่สุดก็ให้โครงสร้างพื้นฐานตามงานวิจัยล่าสุด: ความจำเป็นที่ส่วนข้อความที่อยู่ติดกันต้องสอดคล้องและเกี่ยวข้องกันทำให้เกิดลายเซ็นที่เป็นเอกลักษณ์ใน ‘โครงร่าง’ หรือมิติที่สูงขึ้นของงาน – หนึ่งที่สามารถแยกแยะการมีส่วนร่วมของ AI แม้ว่าเนื้อความจะถูกเขียนใหม่อย่างกว้างขวางเพื่อทำให้ดูเป็น ‘มนุษย์’

รูปทรงที่มีมิติสูงที่แตกต่างของการเขียนภายใต้ LLM ต่าง ๆ, และ – ทางซ้าย – การเขียนของมนุษย์แท้. แหล่งที่ม

การสร้างแนวคิด AI อย่างมุ่งเป้า

ความร่วมมือ ทางวิชาการใหม่ที่นำโดย University of Maryland ก้าวไปอีกขั้น โดยนำเสนอระเบียบวิธีที่สามารถตรวจจับได้ว่า แนวคิดเอง มีต้นกำเนิดจาก AI หรือไม่ ไม่ว่าใครจะเป็นผู้เขียนคำเหล่านั้นในที่สุด

วิธีการที่ตั้งชื่อว่า IdeaLens และฝึกฝนด้วยโครงร่างหนึ่งล้านรายการที่สกัดจากเอกสารเว็บ, มุ่งเน้นการลดเอกสารแต่ละฉบับให้เป็นโครงร่างที่คงไว้ซึ่ง แนวคิด ของมันในขณะที่ตัดคำออก – และมาพร้อมกับ การสาธิตออนไลน์:

ทางซ้าย, หนึ่งในบทความของฉันเองผ่านการตรวจสอบว่าเป็นมนุษย์ในการสาธิตออนไลน์, ในขณะที่บทความอื่นที่ฉันส่ง (เขียนโดยผู้เขียนคนอื่น) ดูเหมือนมีการป้อนข้อมูล AI อย่างมาก. แหล่งที่ม

ตามที่เห็นในผลการสาธิตตัวอย่างข้างต้น, วิธีการตรวจจับที่ใช้สามารถแยกแยะระหว่างแนวคิดของมนุษย์และร้อยกรองของมนุษย์, และแนวคิดของ AI กับร้อยกรองของ AI, และประเมินพวกมันอย่างละเอียดและแยกแยะ – แม้ว่าตรวจจับทั้งสองจะได้รับการฝึกฝนด้วยเอกสารเดียวกัน, ป้ายกำกับและสถาปัตยกรรมโมเดลพื้นฐานเดียวกัน, แต่ถูกออกแบบให้ตรวจจับสิ่งที่โดยพื้นฐานแล้วเป็น ตรงกันข้าม : ต้นกำเนิดของแนวคิด, และต้นกำเนิดของร้อยกรอง

ขอบเขตการตรวจจับแบบนี้, ตามที่คาดการณ์, อาจทำให้กลุ่มผู้เขียนหลายประเภทกังวล, ตั้งแต่ นักเขียนสุนทรพจน์ทางการเมือง ถึง นักเขียนนวนิยาย และ นักเขียนคอลัมน์, รวมถึงคนอื่น ๆ ที่จนถึงตอนนี้ให้คุณค่ากับสไตล์การเขียนของตนเอง, แต่ก็ให้ AI เติมเต็ม หัวข้อ ของพวกเขา

เหตุผลหนึ่งที่ทำให้ LLM มีแนวโน้มจะสร้างแนวคิดที่สามารถจดจำได้ (และจึงสามารถติดตามได้) ไม่ได้เพียงเพราะแนวคิดและข้อความบางอย่างจะครอบงำสถิติของ ข้อมูลการฝึกที่ไม่ได้คัดสรรอย่างดี ของโมเดล, ทำให้มีโอกาสปรากฏในคำขอที่หลากหลายมากขึ้น; แต่ยังเป็นเพราะ LLM มีความหลงใหลที่ลึกลับและซ้ำซากซึ่งดูเหมือนไม่เกี่ยวข้องกับข้อมูลการฝึกเฉพาะ, และยัง มักปรากฏโดยไม่คาดคิด.

ผู้เขียนระบุ*:

‘ในขณะที่เครื่องตรวจจับ AI สมัยใหม่ระบุ ผู้เขียนคำเหล่านั้น, นโยบายที่กำลังเกิดขึ้นเกี่ยวกับการใช้ AI เริ่มพึ่งพาคำถามที่แตกต่างกันมากขึ้น: ผู้คิดแนวคิดนี้?เราแนะนำ IdeaLens, ตัวตรวจจับที่ระบุว่าแนวคิดของเอกสารมาจากมนุษย์หรือ AI (ต้นกำเนิดของแนวคิด), ไม่ว่าใครจะเป็นผู้เขียนคำเหล่านั้น.

‘เพื่อให้ IdeaLens มุ่งเน้นที่แนวคิดแทนร้อยกรอง, เราแสดงเอกสารเป็นโครงร่าง: รายการของรายการที่จับคู่บทบาทการสนทนากับคำอธิบายสั้น ๆ ที่ถอดความของเนื้อหา, เพื่อลดการทับซ้อนของระดับคำกับข้อความดิบ.’

ข้อมูลและวิธีการ

เอกสารอ้างว่า วิธีใหม่สามารถระบุแนวคิดของมนุษย์ในเอกสารที่สร้างโดย AI (เช่น มีคนบอก AI ‘เขียนเรียงความให้ฉันในหัวข้อนี้‘); และยังสามารถระบุแนวคิดของ AI ในการเขียนของมนุษย์ (เช่น มีคนบอก AI แนะนำบางอย่างให้ฉันเขียน).

ผลการทดสอบในสี่การผสมผสานของแนวคิดและข้อความระหว่างมนุษย์และ AI. ตัวตรวจจับสี่ตัวทั้งหมดทำงานได้ดีเมื่อแนวคิดและข้อความมีต้นกำเนิดเดียวกัน, แต่แตกต่างอย่างชัดเจนเมื่อแหล่งที่มาผสมกัน: IdeaLens ระบุเอกสารที่เขียนโดย AI ที่อิงแนวคิดของมนุษย์ว่าเป็นของมนุษย์ได้ถูกต้อง 94.7%, และตรวจจับแนวคิด AI ในเรื่องที่เขียนโดยมนุษย์ได้ 68%, เทียบกับเพียง 8% สำหรับ Pangram 4 และ 0% สำหรับ ProseLens และ EditLens-3B. Source

การตรวจจับทำได้ง่ายที่สุดเมื่อแหล่งที่มาชัดเจน – ตัวอย่างเช่น เมื่อชิ้นงานที่เขียนโดยมนุษย์อิงแนวคิดที่สร้างโดย AI, หรือเมื่อผลลัพธ์ที่สร้างโดย AI มาจากแนวคิดของมนุษย์. เมื่อความแข็งแรงของแหล่งที่มานี้แตกต่างกัน, การตรวจจับก็ยากขึ้น.

นักวิจัยทดสอบความแตกต่างนี้โดยค่อย ๆ เปลี่ยนปริมาณของแผนพื้นฐานของเอกสารที่มาจากบุคคล. ในการทดลองหนึ่ง, โมเดล AI ได้รับแผนของมนุษย์ที่มีรายละเอียดเพิ่มขึ้นเรื่อย ๆ, ตั้งแต่เพียงหัวข้อจนถึงโครงร่างเต็มรูปแบบ.

เมื่อส่วนร่วมของมนุษย์เพิ่มขึ้น, อัตราการตั้งค่าสถานะ AI ของ IdeaLens ลดลงจาก 94.9% เหลือ 6.8%; และตัวตรวจจับข้อความแบบดั้งเดิมยังคงระบุข้อความที่ได้เป็น AI อย่างมาก:

ผลการทดสอบแสดงว่าเมื่อส่วนที่เป็นแผนพื้นฐานของเอกสารที่เขียนโดย AI ถูกจัดหาโดยมนุษย์มากขึ้น, IdeaLens จะยอมรับต้นกำเนิดของแนวคิดว่าเป็นของมนุษย์มากขึ้น, โดยอัตราการตั้งค่าสถานะ AI ลดจาก 94.9% สำหรับคำสั่งที่มีเพียงหัวข้อเดียวจนถึง 6.8% สำหรับโครงร่างมนุษย์เต็มรูปแบบ; ตัวตรวจจับข้อความแบบดั้งเดิม ProseLens และ Pangram ยังจัดประเภทส่วนใหญ่ของข้อความที่ได้ว่าเป็น AI.

เนื่องจากแนวคิดต้องแยกออกจากภาษาที่ใช้แสดงออก, และไม่มีชุดข้อมูลขนาดใหญ่ที่บันทึกว่าใครเป็นผู้กำเนิดแนวคิดในเอกสารจริง, นักวิจัยจึงฝึก IdeaLens ด้วยป้ายกำกับ AI‑writing ที่มีอยู่ ป้ายกำกับ – แต่ลบส่วนใหญ่ของข้อความออก:

วิธีที่ IdeaLens แยกแนวคิดออกจากข้อความระหว่างการฝึกและการทดสอบ, เทียบกับตัวตรวจจับข้อความแบบดั้งเดิม ProseLens. ตัวอย่างบทความความเห็น 1,321 คำถูกย่อเป็นโครงร่างที่มีการระบุบทบาท, โดยจุดต่าง ๆ ถูกจัดประเภทตามหน้าที่ของมัน, เช่น การบรรยายเหตุการณ์ หรือการประเมินผล. ในระหว่างการฝึก, โครงร่างเหล่านี้ยังถูกพาราฟเรซเพิ่มเติมเพื่อขจัดคำที่สืบทอดจากเอกสารต้นฉบับก่อนที่ IdeaLens จะเรียนรู้จากป้ายกำกับ AI ของ Pangram ที่มีอยู่. สำหรับเอกสารใหม่, โครงร่างที่สกัดออกสามารถส่งตรงไปยัง IdeaLens เพื่อประเมินความเป็นไปได้ว่าแนวคิดมาจาก AI. ส่วนล่างของรูปแสดงตัวตรวจจับที่สอง – ‘ProseLens’ – ที่นักวิจัยใช้เปรียบเทียบ, ซึ่งรับข้อความเต็มและประเมินว่าข้อความนั้นเองเป็น AI‑generated หรือไม่.

ดังที่แสดงข้างต้น, เอกสารแต่ละฉบับถูกย่อเป็นโครงร่างที่อธิบายสิ่งที่กล่าวและบทบาทของแต่ละจุดในเอกสาร. ในระหว่างการฝึก, โครงร่างเหล่านั้นถูกพาราฟเรซเพิ่มเติมเพื่อขจัดร่องรอยของคำพูดเดิมของผู้เขียน. IdeaLens จึงสามารถทำการพยากรณ์ส่วนใหญ่จาก แนวคิดที่เหลืออยู่, แทนที่จะอิงลักษณะเฉพาะของข้อความ.

มีชุดข้อมูลสามชุดที่สร้างขึ้นสำหรับโครงการ: IdeaShift; IdeaShift-X; และ TwiceTold. IdeaShift ถูกสร้างจากเอกสารต้นแบบ 500 ฉบับที่เขียนโดยมนุษย์และ AI ที่สุ่มเลือกจากคอร์ปัสทดสอบของนักวิจัย. GPT‑5.6 Sol ใช้เพื่อเปลี่ยนแต่ละฉบับให้เป็นคำสั่งที่มีรายละเอียดเพิ่มขึ้น, ตั้งแต่ ‘หัวข้อเท่านั้น’ จนถึงโครงร่างเต็มรูปแบบ. GPT‑5.6 จากนั้นถูกใช้เพื่อสร้างเอกสารใหม่.

IdeaShift‑X กลับใช้เอกสาร 10,000 ฉบับที่เขียนโดยมนุษย์จาก FineWeb2 ครอบคลุม 24 ภาษา, โดยนำโปรโตคอล IdeaShift ที่กล่าวถึงข้างต้นไปสร้างเวอร์ชัน AI ในแต่ละภาษา.

ชุดข้อมูลที่สาม, TwiceTold, ถูกเขียนโดยนักศึกษาวิชาการภายใต้การดูแลของผู้เขียน, เพื่อหลีกเลี่ยงการใช้ AI โดยธรรมชาติ ในการทำ crowdsourcing ข้อมูลดังกล่าว. เรื่องสั้น 50 เรื่องถูกเขียนตั้งแต่ต้น, แต่ใช้โครงร่าง 500 คำที่จัดทำโดย ChatGPT‑5.6 Sol.

การทดสอบ

เครื่องตรวจจับของนักวิจัยเองประกอบด้วย IdeaLens ในรูปแบบโครงร่างและเอกสาร; ProseLens ที่กล่าวถึงก่อนหน้า; รุ่น ModernBERT-L ของทั้งสองระบบ; รุ่น Qwen3.5-9B ของ IdeaLens; และเวอร์ชัน logistic-classifier ของ IdeaLens.

สิ่งเหล่านี้ถูกเปรียบเทียบกับ Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; และ Rank.

สำหรับการทดสอบ ความแม่นยำวัดโดยตรวจสอบว่าป้ายกำกับ AI หรือมนุษย์ที่คาดการณ์ตรงกับแหล่งที่มาของแนวคิดหรือไม่ IdeaLens, ProseLens และ EditLens ใช้เกณฑ์ FPR ระดับ 1% ทั่วโลก; ป้ายกำกับ AI, AI‑assisted และมนุษย์ของ Pangram 4 ถูกทำให้เป็นแบบสองค่า; และ Fast-DetectGPT, Binoculars, MELD และ Desklib ใช้เกณฑ์เริ่มต้นของพวกเขา.

การประเมินที่กว้างขึ้นใช้เกณฑ์อ้างอิงภายนอก 19 ชุด รวมถึง 14 ชุดที่ครอบคลุมเนื้อหาเป็นมนุษย์เต็มรูปแบบหรือ AI เต็มรูปแบบ, และ 10 ชุดที่มีการเขียนของมนุษย์ที่ต่อมาถูกแก้ไขโดย AI เอกสารในโดเมนเพิ่มเติมจำนวน 50,000 ฉบับถูกทดสอบ, ในขณะที่เอกสาร C4 ก่อน ChatGPT จำนวน 10,000 ฉบับถูกใช้เพื่อประเมินผลบวกเท็จ:

ผลการทดสอบเปรียบเทียบความแม่นยำของเครื่องตรวจจับเมื่อแนวคิดและข้อความมีแหล่งที่มาที่เหมือนหรือแตกต่างกัน IdeaLens รักษาความแม่นยำสูงในทั้งสองสถานการณ์ที่ 95.3% สำหรับแหล่งที่มาร่วมและ 81.3% สำหรับแหล่งที่มาผสม; เครื่องตรวจจับที่แข่งขันกันทำงานแย่ลงอย่างมีนัยสำคัญเมื่อแหล่งที่มาของแนวคิดแตกต่างจากแหล่งที่มาของข้อความ.

จากการทดสอบทั้งหมด 51 ครั้งที่สรุปจากเกณฑ์อ้างอิง 22 ชุด, IdeaLens เป็นเครื่องตรวจจับเพียงเครื่องเดียวที่ทำงานได้ดีเมื่อแนวคิดและข้อความมาจากแหล่งเดียวกันหรือแหล่งต่างกัน, โดยได้คะแนน 95.3% และ 81.3% ตามลำดับ.

เมื่อเปรียบเทียบ, ProseLens และ Pangram 4 ได้คะแนนเหนือ 98% เมื่อแนวคิดและข้อความมีแหล่งเดียวกัน, แต่ลดลงเหลือประมาณ 25% เมื่อไม่เป็นเช่นนั้น.

ผู้เขียนระบุผลลัพธ์เหล่านี้*:

‘เนื่องจาก ProseLens มีโครงสร้างหลัก, เอกสารการฝึก, และป้ายกำกับการฝึกเดียวกับ IdeaLens, สิ่งนี้เน้นถึงผลกระทบของการแสดงผลโครงร่างของเรา, ซึ่ง ModernBERT-based pair ทำซ้ำโดยใช้โครงสร้างหลักที่แตกต่าง.’

‘IdeaLens ยังถ่ายทอดได้อย่างไม่คาดคิดดีต่ออินพุตข้อความดิบในช่วงการทดสอบ, แสดงความแม่นยำสูงสำหรับแหล่งที่มาร่วมและความแม่นยำสูงกว่ามากสำหรับแหล่งที่มาผสมเมื่อเทียบกับ ProseLens.’

เครื่องตรวจจับทั้งสามเครื่องสามารถระบุเรื่องราวที่เขียนโดย AI ดั้งเดิมได้เกือบทั้งหมด ใน TwiceTold, IdeaLens ระบุแนวคิดที่มาจาก AI ใน 68% ของเรื่องราวที่เขียนโดยมนุษย์, เทียบกับ 0% ของ ProseLens และ 8% ของ Pangram 4:

IdeaLens ให้ความน่าจะเป็น AI ที่คล้ายกันกับเรื่องราวที่เขียนโดย AI ดั้งเดิมและเวอร์ชัน TwiceTold ที่เขียนโดยมนุษย์โดยอิงจากโครงร่างที่สร้างโดย AI เดียวกัน, ในขณะที่ความน่าจะเป็น AI ของ ProseLens ลดลงอย่างรวดเร็วเมื่อข้อความถูกเขียนใหม่โดยมนุษย์.

แม้ว่า IdeaLens จะได้รับการฝึกฝนเป็นภาษาอังกฤษ, แต่ก็สามารถทั่วไปได้ครอบคลุม 24 ภาษาของ IdeaShift‑X, ตรวจจับ 95.3% ของเอกสารที่มีแนวคิดจาก AI – แต่เพียง 0.7% เมื่อแนวคิดมาจากแผนละเอียดของมนุษย์. ในเอกสารมนุษย์ก่อน ChatGPT จำนวน 10,000 ฉบับที่ครอบคลุมภาษาดังกล่าว, อัตราผลบวกเท็จอยู่เพียง 0.1%

ผู้เขียนยอมรับว่าชุดข้อมูลที่ใหญ่ขึ้นจะเป็นที่ต้องการในงานในอนาคต, และว่าความไม่แน่นอนของป้ายกำกับชุดข้อมูลอาจต้องการการแก้ไข. อย่างไรก็ตาม, ผู้ที่ต้องการต่อยอดจากการทดลองเริ่มต้นที่น่าสนใจนี้สามารถใช้ GitHub repository ที่ผู้เขียนบทความได้เปิดให้เข้าถึง; และผู้ที่แค่สนใจก็สามารถวางการทดสอบ ‘suspect’ ลงใน demo site ของโครงการ, แล้วประเมินด้วยตนเองว่าวิธีการนี้สอดคล้องกับการประมาณของตนหรือของวิธีอื่น ๆ

สรุป

ว่าวิธีการตรวจจับแบบนี้ สำคัญ หรือไม่ขึ้นอยู่กับว่าการยอมรับ, การบูรณาการ, หรือการปฏิเสธ AI จะพัฒนาอย่างไร (แน่นอนว่าจะต่างกันในแต่ละภาคส่วนและสถานการณ์) ในช่วง 6‑12 เดือนข้างหน้า.

อาจเป็นไปได้ว่าผู้สาธารณะของนักการเมืองจะให้อภัยต่อการใช้ AI เพื่อขัดเกลาและนำเสนอแนวคิดดั้งเดิมของตนเองมากกว่าที่จะยอมรับการนำเสนอแนวคิดที่สร้างโดย LLM อย่างหยาบ (เพราะโดยสถิติ, ผู้ชม น่าจะเห็นใจ การใช้ AI เพียงเป็นเครื่องมือช่วยนำเสนอ)

แต่ในขณะเดียวกัน, สิ่งที่เราหวังจาก AI ไม่ได้เป็นเพียงการให้มันสร้างมุมมอง, แนวคิดและทางเลือกที่เราน่าจะมองข้ามหรือไม่เคยพิจารณา; และจากมุมมองนั้น, การให้ปัญญาประดิษฐ์ได้ควบคุมอาจไม่ใช่ความคิดที่แย่มากเลยหรือ?

ในแง่ของภาพลักษณ์ และเมื่อพิจารณาถึงแนวโน้มที่ AI มีข้อผิดพลาดเพิ่มขึ้นอย่างเป็นที่รู้จัก –โดยเฉพาะเมื่อเร็ว ๆ นี้– พฤติกรรมที่บกพร่อง อาจยังเร็วเกินไปที่จะให้ LLMs เริ่มเสนอแนวทางนโยบาย หรือโดยทั่วไปเป็นแรงผลักดันในการสร้างแนวคิด

* การเน้นของผู้เขียน ไม่ใช่ของฉัน แต่การแปลงการอ้างอิงในข้อความของผู้เขียนเป็นลิงก์ตามที่จำเป็น

ตีพิมพ์ครั้งแรกวันอังคารที่ 6 ตุลาคม 2026