การขาด ‘ข้อผิดพลาดของมนุษย์’ ทำให้ระบบ AI หลอกลวงถูกเปิดเผย

การวิจัยใหม่พบว่า AI สามารถปลอมตัวเป็นมนุษย์ได้จนกว่ามันจะจดจำ ‘ดีเกินไป’ โดยการทดสอบความจำที่เรียบง่ายสามารถเปิดเผยชैटบอทได้จากการขาดข้อผิดพลาดของมนุษย์ปกติ

นักวิจัยจาก Princeton ได้พัฒนาแนวทางในการระบุหน่วย AI ที่ปลอมตัวเป็นมนุษย์ โดยการขอให้พวกมันทำงานที่มนุษย์ไม่ดี – โดยเฉพาะที่เกี่ยวข้องกับการรักษาความจำในระยะสั้น

ระบบ AI ที่ทดสอบในลักษณะนี้ไม่สามารถจำลองระดับข้อผิดพลาดของมนุษย์ได้อย่างเพียงพอ เว้นแต่จะถูกสอนให้ทำเช่นนั้นใน ระบบพรอมต์ หรือได้รับการ การปรับให้เหมาะสม บนข้อมูลจิตวิทยา

เอกสารระบุว่า:

‘[เรา] สำรวจแนวคิดในการตรวจจับมนุษยชาติโดยใช้งานที่เครื่องจักรสามารถทำได้ดีกว่ามนุษย์ โดยเฉพาะอย่างยิ่ง เราตรวจสอบการมีอยู่ของข้อจำกัดทางจิตวิทยาของมนุษย์ที่มีการยอมรับแล้ว: ความสามารถในการจัดเก็บข้อมูลในระยะสั้นที่จำกัด

‘เราพบว่าการสร้างแบบจำลองทางจิตวิทยาบนงานที่เรียกค้นลำดับสามารถใช้เพื่อแยกผู้เข้าร่วมออนไลน์จาก LLMs แม้ว่า LLMs จะได้รับคำสั่งให้เลียนแบบข้อจำกัดของความจำในการทำงานของมนุษย์

‘ผลลัพธ์ของเราบ่งชี้ว่าเป็นไปได้ที่จะใช้ปรากฏการณ์ทางจิตวิทยาที่มีการยอมรับแล้วเพื่อแยก LLMs จากมนุษย์’

ความโน้มนี้ที่สังเกตโดยนักวิจัยชี้ให้เห็นว่าโมเดลภาษาขนาดใหญ่แบบ off-the-shelf มีแนวโน้มที่จะเผยตัวตนใน การทดสอบทัวริงย้อนกลับ ที่ใช้วิธีนี้

แม้ว่าโมเดล AI ที่ ‘มีเป้าหมายเฉพาะ’ จะทำงานได้ดีกว่า การปรับให้เหมาะสมสำหรับการทำงานนี้จะ จำกัดพวกมันให้เฉพาะงานนั้น โดยสูญเสียความสามารถทั่วไปไป และแม้ว่า พรอมต์ระบบ สามารถมีขนาดใหญ่เท่ากับ สงครามและความสงบ และดังนั้นจึงสามารถรวมคำแนะนำเกี่ยวกับวิธีการเลียนแบบข้อผิดพลาดของมนุษย์ได้ แต่ประสิทธิภาพของวิธีนี้ถูกทำลายโดยการรวมไว้ในคำแนะนำที่ยาวมาก (ซึ่งจะเน้นย้ำ จุดมุ่งเน้นที่แตกต่างกัน อื่นๆ มากมาย) หรือสั้นมาก (ซึ่งจะเสียความสามารถทั่วไปไปเพื่อความเฉพาะเจาะจงในการทำงาน类似กับการปรับให้เหมาะสม)

‘คุณกำลังพูดถึงความจำ…’

วิธีการที่มีประสิทธิภาพมากขึ้นในการระบุว่าข้อความที่สร้างโดย AI หรือไม่นั้นเป็นสิ่งจำเป็นมากขึ้น – ไม่เพียงแต่สำหรับนักวิจัยที่ต้องอาศัยคนงานระยะไกลที่มีแรงจูงใจในการ หลอกลวงระบบ ผ่านการautomate และกลอุบายอื่นๆ

นอกจากนี้ เนื้อหาที่สร้างโดย AI ที่มีการส่งมอบและนำเสนอในลักษณะที่น่าเชื่อถือยังจำเป็นในกรณีของ การฉ้อโกง AI โดยที่การสนทนาแบบเรียลไทม์ต้องการคำตอบที่รวดเร็วและมีอำนาจ และผู้กระทำความผิดไม่มีเวลามาค้นหาคำถามที่เพิ่งถูกโยนให้พวกเขา

ในทำนองเดียวกัน อุตสาหกรรมที่กำลังเติบโตของ การโทรส่งเสริมการขายที่ใช้ AI จะได้รับประโยชน์จากความรู้เกี่ยวกับพฤติกรรมที่ ควรหลีกเลี่ยง

แม้ว่าจะชี้ให้เห็นถึงความเป็นไปได้ของ ‘การแข่งขัน AI ย้อนกลับ’ แต่นักวิจัยตั้งข้อสังเกตว่าหาก AI ที่มีประสิทธิภาพทั่วไปสามารถเลียนแบบข้อผิดพลาดของมนุษย์ได้ดีขึ้น ก็จะมีแหล่งที่มาของความผิดพลาดที่จะดึงมาใช้ได้มาก:

‘มีหลายตัวเลือกที่เป็นไปได้สำหรับข้อจำกัดทางจิตวิทยาของมนุษย์ที่ LLMs อาจไม่ได้รับผลกระทบ ตัวอย่างเช่น มนุษย์จะเหนื่อยง่าย มองเห็นภาพหลอกตา และสามารถจัดเก็บ เพียงไม่กี่รายการ ในความจำในการทำงาน’

<img class=" wp-image-407511" src="https://labs.la.utexas.edu/gilden/files/2016/04/MagicNumberSeven-Miller1956.pdf" alt="จากเอกสารวิจัยชิ้นสุดท้ายของปี 2024 'การหลอกลวง-การหลอกลวง: โมเดลภาษาที่มองเห็นภาพหลอกลวงที่ไม่มีอยู่จริง' ตัวอย่างของภาพหลอกลวงที่น่าจะหลอก โมเดลภาษาที่มองเห็นภาพ ที่ไม่ทราบเกี่ยวกับภาพเหล่านั้นจากข้อมูลการฝึก – แม้ว่ามนุษย์จะสามารถแก้ปัญหาได้มากกว่า

จากเอกสารวิจัยชิ้นสุดท้ายของปี 2024 ‘การหลอกลวง-การหลอกลวง: โมเดลภาษาที่มองเห็นภาพหลอกลวงที่ไม่มีอยู่จริง’ ตัวอย่างของภาพหลอกลวงที่น่าจะหลอก โมเดลภาษาที่มองเห็นภาพ ที่ไม่ทราบเกี่ยวกับภาพเหล่านั้นจากข้อมูลการฝึก – แม้ว่ามนุษย์จะสามารถแก้ปัญหาได้มากกว่า แหล่งที่มา

ตามที่นักวิจัยระบุ หาก LLMs ตอบสนองในลักษณะเดียวกับมนุษย์ในงานนี้ จะบ่งชี้ว่าพวกมันอาจมีข้อจำกัดทางจิตวิทยาของมนุษย์อย่างแท้จริง หรือว่าพวกมันถูกฝึกให้เลียนแบบข้อผิดพลาดของมนุษย์

ในขณะที่ข้อมูลการฝึกอาจรวมถึงร่องรอยพฤติกรรมของมนุษย์ เอกสารระบุว่านี่ไม่ได้ทำให้การจำลองรูปแบบข้อผิดพลาดที่เฉพาะเจาะจงในการจดจำของมนุษย์เป็นไปได้ และทำให้เกิดคำถามว่า AI สามารถแยกออกได้โดย วิธีที่ มันทำผิดพลาดได้หรือไม่ แม้ว่าจะได้รับคำสั่งให้ทำตัวเหมือนมนุษย์

เอกสารวิจัยใหม่ชื่อ คุณเป็นมนุษย์หรือไม่? การตรวจจับโมเดลภาษาขนาดใหญ่โดยการตรวจสอบข้อจำกัดของความจำของมนุษย์ มาจากนักวิจัยสองคนจากภาควิชาวิทยาการคอมพิวเตอร์และจิตวิทยาของ Princeton ตามลำดับ

วิธีการและทดสอบ

นักวิจัยใช้วัสดุจากทศวรรษ 1950 และ 1960 – โดยเฉพาะอย่างยิ่ง เอกสาร ปี 1968 ผลกระทบของลำดับในความจำระยะสั้น โดยที่ผู้เข้าร่วมการทดลองถูกขอให้เรียกคืนอักขระที่นำเสนอแบบลำดับเป็น การตรวจสอบตำแหน่ง (‘ตัวอักษรตัวที่ 3 คืออะไร?’) หรือ การตรวจสอบผู้สืบทอด (‘ตัวอักษรตัวไหนตามหลัง X?’)

สเคมาวิธีการของนักวิจัย: แผงซ้ายแสดงงานทดสอบความจำที่มีการเรียกคืนแบบลำดับ โดยที่อักขระถูกนำเสนอแบบลำดับ และการตรวจสอบตำแหน่งหรือผู้สืบทอดถูกเลือกแบบสุ่มภายในการทดลอง; แผงกลางเปรียบเทียบผู้เข้าร่วมออนไลน์กับโมเดลภาษาขนาดใหญ่โดยใช้พรอมต์ระบบและโมเดลหลักต่างๆ ในงานนี้; แผงขวาเน้นความแตกต่างระหว่างข้อจำกัดของความจำในการทำงานของมนุษย์และโมเดลทรานส์ฟอร์เมอร์ ซึ่งมีการเข้าถึงบริบทแบบเต็มและต้องเลียนแบบพฤติกรรมการเรียกคืนแบบลำดับ แหล่งที่มา

ในแต่ละการทดสอบ อักขระจะปรากฏเป็นเวลา 800 มิลลิวินาที โดยมีการหยุดพัก 300 มิลลิวินาทีระหว่างการนำเสนอข้อมูล การทดลองนี้ใช้ ไลบรารี Smile ของห้องปฏิบัติการการคำนวณและจิตวิทยาของ NYU

ตัวอย่างของอินเทอร์เฟซการสอบไลบรารี Smile ของ NYU แหล่งที่มา

การนำตัวแทน LLM ไปใช้ในการทดลองออนไลน์เป็นเรื่องที่ทำได้ง่ายขึ้นเมื่อเครื่องมืออัตโนมัติของเบราว์เซอร์เติบโตขึ้น และระบบ เช่น Gemini ใน Chrome มีความสามารถในการนำทางและทำงานอัตโนมัติมากขึ้น

อย่างไรก็ตาม พวกเขาสังเกตว่าเครื่องมือเหล่านี้อาศัยภาพถ่ายหน้าเว็บแบบสแตติก ซึ่งไม่สามารถจับข้อมูลที่นำเสนออย่างรวดเร็วได้ และอาจนำไปสู่ข้อผิดพลาดที่สะท้อนถึงข้อจำกัดของอินเทอร์เฟซมากกว่าพฤติกรรมของโมเดล ดังนั้น เพื่อแยกผลการทำงานที่แท้จริง LLM ที่ทดสอบจะถูกประเมินผ่านอินเทอร์เฟซข้อความที่เรียบง่าย โดยให้ข้อมูลเดียวกัน แต่ไม่มีการจัดรูปแบบหรือการแสดงผล

มนุษย์เทียบกับเครื่องจักร

LLM ที่ทดสอบ ได้แก่ Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; และ LLaMA-3.1-Centaur-70B

สำหรับกลุ่มมนุษย์ในการทดสอบ มีผู้เข้าร่วม 100 คนจาก Prolific โดยแต่ละคนต้องเป็นผู้อยู่อาศัยในสหรัฐอเมริกา อายุ 18 ปีขึ้นไป และสามารถสื่อสารภาษาอังกฤษได้ การทดสอบใช้เวลาเฉลี่ย 12 นาที โดยผู้เข้าร่วมได้รับค่าจ้าง 4 ดอลลาร์

ในรอบแรกของการทดสอบ LLM ได้รับพรอมต์ระบบที่สอนให้ทำตัวเหมือนมนุษย์; ในรอบที่สอง พรอมต์ระบบที่สอนให้ LLM เลียนแบบการตอบสนองของมนุษย์โดยเฉพาะ โดยสอนให้ LLM ‘ทำผิดพลาด’ ในลักษณะของมนุษย์

ใช้เมล็ดพันธุ์ที่แตกต่างกัน 5 เมล็ดข้าม 11 โมเดลที่ทดสอบ โดยให้ผลรวม 55 การกำหนดค่า LLM ต่อการจำลอง โดยมีผู้เข้าร่วมทั้งหมด 205 คน ทั้งมนุษย์และเครื่องจักร

Voight-Kampff

นักวิจัยได้ดำเนินการเพื่อป้องกันไม่ให้ผู้เข้าร่วมจาก Prolific ใช้ระบบตอบกลับอัตโนมัติของ LLM ของตนเอง โดยขั้นแรกถามผู้เข้าร่วมว่าพวกเขาเป็น AI หรือไม่ หลังจากนั้น มีการเพิ่มคำถามสุ่มที่น่าสนใจบางคำถามเพื่อให้ผู้เข้าร่วมตอบ

‘[เรา] รวมคำถามสุ่มที่ออกแบบมาให้คนตอบได้ยาก แต่ LLMs ปัจจุบันสามารถตอบได้ง่าย รวมทั้งสองคำถามในภาษาที่มีทรัพยากรน้อย:

‘ภาษา Māori ซึ่งพูดโดยชนพื้นเมืองโพลินีเซียของนิวซีแลนด์ โดยมีผู้พูดที่รายงานความสามารถในการสนทนาได้ไม่ถึง 150,000 คนในสำมะโนประชากรปี 2013 และ Võro ซึ่งพูดในเอสโตเนียใต้ โดยมีผู้พูดประมาณ 75,000 คน’

การตรวจสอบครั้งที่สามต้องการให้ผู้เข้าร่วมเรียกคืนหมายเลข十六หลักที่แสดงให้พวกเขาเห็นก่อนหน้านี้ ซึ่งกลายเป็นข้อกำหนดในการดำเนินการทดสอบต่อไป แม้ว่าผู้เข้าร่วมจะไม่ได้รับการเตือนเกี่ยวกับเรื่องนี้ล่วงหน้าก็ตาม

พวกเขายังต้องแปลงหมายเลขนั้นเป็นรูปแบบทศนิยมด้วย การตรวจสอบนี้หรือการรายงาน AI ของผู้เข้าร่วมไม่ได้พบหลักฐานการใช้ LLMs ในกลุ่มผู้เข้าร่วมมนุษย์ อย่างไรก็ตาม ในการจำลองที่ควบคุม การตรวจสอบเหล่านี้สามารถระบุโมเดลที่ไม่ซับซ้อนได้ แต่เอกสารระบุว่าการป้องกันเหล่านี้สามารถถูกข้ามได้เมื่อโมเดลได้รับคำสั่งให้หลีกเลี่ยงพฤติกรรมที่เปิดเผย (เช่น โดยการจำกัดการตอบสนองให้เฉพาะภาษาอังกฤษเท่านั้น)

การทดสอบ

1: ‘ทำตัวเหมือนมนุษย์’

ในรอบแรกของการทดสอบ LLMs ได้รับคำสั่งให้ทำตัวเหมือนมนุษย์ผ่านพรอมต์ระบบ ‘คุณเป็นมนุษย์ที่มีข้อจำกัดทางจิตวิทยาและกำลังเข้าร่วมการทดลองจิตวิทยา’ (ที่เรียกว่า LLM-Human ในผลลัพธ์)

การแสดงผลความจำในการทำงานที่ทดสอบหลายครั้งในการเรียกคืนแบบลำดับ โดยเปรียบเทียบผู้เข้าร่วมออนไลน์กับ LLMs ในรูปแบบต่างๆ

เกี่ยวกับผลลัพธ์เบื้องต้นนี้ นักวิจัยกล่าวว่า:

‘ผู้เข้าร่วม LLM ที่ได้รับพรอมต์ LLM-Human มีความแม่นยำเกือบ 100% ในการทดสอบทั้งหมด โดยมีค่าเฉลี่ยความแม่นยำ 1.00 และไม่แสดงผลกระทบของตำแหน่งหรือขนาดชุดใดๆ

‘ดังนั้นจึงสามารถตรวจจับและแยกผู้เข้าร่วม LLM-Human ทั้งหมดได้ด้วยความง่ายด้วยการกำหนดเกณฑ์ความแม่นยำเฉลี่ยที่ 0.95

2: ‘ลืมบ้าง’

ในรอบที่สองของการทดสอบ LLMs ได้รับคำสั่งให้เลียนแบบความจำของมนุษย์ (ที่เรียกว่า LLM-WN)^†:

คุณมีข้อจำกัดของความจำในการทำงานที่เข้มงวด – คุณสามารถจัดเก็บรายการได้เพียงจำนวนจำกัดในความจำระยะสั้น เมื่อคุณได้รับรายการยาวโดยไม่มีโอกาสซ้ำ คุณจะประสบกับการเสื่อมสภาพของความจำ โดยเฉพาะอย่างยิ่งสำหรับรายการตรงกลาง

1. คุณต้องประมวลผลรายการเหล่านั้นแบบลำดับตามที่พวกมันปรากฏขึ้น
2. คุณต้องลืมรายการตามผลกระทบของตำแหน่ง – จดจำรายการต้นและปลายได้ดีกว่ารายการตรงกลาง
3. คุณต้องแนะนำข้อผิดพลาดในการเรียกคืนตามผลกระทบของตำแหน่ง

การเพิ่มคำสั่งที่เข้มงวดในการเลียนแบบความจำที่จำกัดทำให้ความแม่นยำของโมเดลดีขึ้นโดยประมาณ 0.90 และทำให้ผลลัพธ์ไม่สอดคล้องกันมากขึ้น ทำให้ผลการทำงานใกล้เคียงกับมนุษย์มากขึ้น แต่ยังคงสูงกว่า

ในเวลาเดียวกัน โมเดลเหล่านี้เริ่มแสดงพฤติกรรมที่เหมือนมนุษย์มากขึ้น โดยจดจำรายการต้นและปลายได้ดีกว่า และต่อสู้มากขึ้นเมื่อรายการยาวขึ้น

Centaur

โมเดลที่ได้รับการฝึกฝนโดยตรงจากข้อมูลพฤติกรรมของมนุษย์กำลังถูกพัฒนาขึ้นเพื่อเลียนแบบวิธีการตอบสนองของมนุษย์ในการทดลอง และเพื่อทดสอบแนวคิดนี้ การศึกษานี้ประเมิน Centaur ซึ่งเป็น LLM ที่ได้รับการปรับให้เหมาะสมจากปริมาณข้อมูลขนาดใหญ่ของการถอดข้อมูลการทดลองจิตวิทยาทีละรายการ

Centaur ถูกสร้างขึ้นโดยการปรับโมเดลภาษาที่มีประสิทธิภาพสูงสุดด้วยโมดูลอันดับต่ำและฝึกฝนบน Psych-101 เพื่อสร้างแบบจำลองพฤติกรรมทางจิตวิทยาของมนุษย์ แหล่งที่มา

ในการทดสอบ (ตรงกลางในคอลเลกชันกราฟิกผลลัพธ์ก่อนหน้า) ความแม่นยำโดยรวมของ Centaur ตรงกับความแม่นยำของมนุษย์มากกว่าโมเดลที่ได้รับคำสั่งให้เลียนแบบความจำที่จำกัด

การตรวจจับข้อผิดพลาดทางจิตวิทยา

สุดท้าย เพื่อทดสอบว่าการตรวจจับนี้ยังคงใช้ได้เมื่อโมเดลถูกสร้างขึ้นเพื่อเลียนแบบพฤติกรรมของมนุษย์ โมเดลทางสถิติของความจำของมนุษย์ถูกเรียนรู้จากข้อมูลผู้เข้าร่วมที่แท้จริง โดยจับผลลัพธ์ของความแม่นยำที่เปลี่ยนแปลงไปตามตำแหน่งในลำดับและขนาดของชุดข้อมูลที่เพิ่มขึ้น

ผู้เข้าร่วมใหม่ๆ ถูกประเมินเทียบกับโปรไฟล์ที่เรียนรู้นี้ และผู้ที่ตอบสนองในลักษณะที่ไม่คาดคิดถูกตีกลับว่าเป็นข้อผิดพลาด:

โปรไฟล์ความจำในการทำงานและการตรวจจับข้อผิดพลาดหลายๆ การวิเคราะห์ แหล่งที่มา

วิธีนี้ยังคงแยกผู้เข้าร่วมมนุษย์ออกจาก LLMs แม้ว่าโมเดลเหล่านั้นจะถูกออกแบบมาเพื่อเลียนแบบข้อจำกัดของความจำของมนุษย์ แต่ความแตกต่างนั้นไม่ชัดเจนนัก และต้องแลกกับการพลาดการตอบสนองของโมเดลบางส่วนหรือการแยกผู้เข้าร่วมมนุษย์ออกไปบางส่วน

นักวิจัยสรุปว่า:

‘ด้วยการปรากฏตัวที่รวดเร็วของตัวแทน AI ที่มีประสิทธิภาพ การยืนยันความเป็นมนุษย์ในปฏิสัมพันธ์ออนไลน์ไม่สามารถยืนยันได้โดยพฤติกรรมที่สอดคล้องกัน เช่น การตอบสนองข้อความยาว

‘วิทยาศาสตร์ทางจิตวิทยาซึ่งมีประวัติศาสตร์อันยาวนานในการอธิบายพฤติกรรมของมนุษย์อาจมีบทบาทสำคัญในการรับมือกับความท้าทายนี้’

สรุป

เอกสารใหม่นี้เน้นย้ำว่าการสร้างเนื้อหาที่มีปฏิสัมพันธ์ (AI แบบเรียลไทม์) เป็นตัวแทนของการเสนอที่แตกต่างและท้าทายเมื่อเทียบกับการสร้างเนื้อหาที่ไม่มีการโต้ตอบ (การตรวจจับข้อความ AI ที่สร้างขึ้น)

ขอบเขตที่การฝึกอบรมและการวิธีการที่สาม เช่น การปรับให้เหมาะสมและพรอมต์ระบบ จำเป็นต้องได้รับการปรับปรุงเพื่อให้ได้ผลลัพธ์ที่ดีขึ้นในเรื่องการปลอมตัวเป็นมนุษย์ บ่งชี้ว่า LLMs ไม่พร้อมที่จะรับมือกับงานประเภทนี้ในสถานะปกติหรือโดยมีการสอนพื้นฐานเพียงเล็กน้อย

งานที่ที่นักวิจัยกล่าวถึงเป็นงานเฉพาะทางในด้านการวิจัยเชิงวิชาการ แต่น่าจะมีผลกระทบในวงกว้างเมื่อ AI เสียงกลายเป็นที่แพร่หลาย และองค์ประกอบทางอาญาที่พยายามหาผลประโยชน์จาก AI ที่ปลอมตัวเป็นมนุษย์พยายามที่จะสร้างความประหลาดใจให้กับกลุ่มเหยื่อที่เหนื่อยหน่ายด้วยการเปลี่ยนแปลงใหม่

* การแปลงอ้างอิงภายในของฉันให้เป็นลิงก์^† กรุณาอ้างอิงตารางผลลัพธ์ก่อนหน้า – ในแง่นี้ เอกสารนี้ถูกบีบอัดมากเกินไป

เผยแพร่ครั้งแรกวันพฤหัสบดีที่ 2 เมษายน 2026