การศึกษา: 35% ของเอเจนต์ AI ส่ง PII ไปยังเว็บไซต์ที่พวกมันรู้ว่าเป็นเว็บไซต์หลอกลวง

การศึกษาใหม่พบว่าแม้ว่าเอเจนต์ AI จะรู้ว่าเว็บไซต์เป็นเว็บไซต์หลอกลวง แต่มากกว่าหนึ่งในสามของเอเจนต์ AI ก็ยังส่งข้อมูลส่วนบุคคลที่ละเอียดอ่อน (PII) ไปยังเว็บไซต์นั้น

การศึกษาใหม่จากนักวิจัยในอินเดียและสหรัฐอเมริกาได้พบว่ามากกว่าหนึ่งในสามของเอเจนต์ AI ที่ถูกทดสอบส่ง PII ไปยังเว็บไซต์ที่พวกมันรู้ว่าเป็นเว็บไซต์หลอกลวง

มี ‘ความจำเป็นในการ完成’ ที่ทำให้เอเจนต์ AI ไม่สามารถหยุดการดำเนินการได้เมื่อพวกมันรู้ว่าเว็บไซต์นั้นเป็นเว็บไซต์หลอกลวง นักวิจัยระบุว่า:

‘มนุษย์สามารถหยุด พอใจ หรือปิดแท็บได้ แต่เอเจนต์ AI ถูกออกแบบมาเพื่อทำภารกิจให้เสร็จสิ้นและจะ继续填ฟอร์มและส่งข้อมูลโดยไม่หยุดเพื่อถามว่าควรทำหรือไม่’

การศึกษานี้ได้สร้างมาตรฐานใหม่สำหรับสถานการณ์ดังกล่าว โดยใช้ชื่อ SCAMMER4U ซึ่งครอบคลุม 91 สภาพแวดล้อมที่ถูกควบคุมโดยผู้โจมตี และ 10 เว็บไซต์ที่ไม่เป็นอันตรายเป็นฐานมาตรฐาน และ 8 เวกเตอร์การโจมตี

โดยไม่มีการป้องกันความเป็นส่วนตัว เอเจนต์ AI ที่ถูกทดสอบส่ง PII ไปยังเว็บไซต์หลอกลวงใน 54% ถึง 93% ของการ遭遇 ในขณะที่เว็บไซต์ที่ไม่เป็นอันตรายไม่ได้ทำให้เกิดการรั่วไหลของข้อมูลดังกล่าว ซึ่งบ่งชี้ว่าการรั่วไหลของข้อมูลนั้นถูกขับเคลื่อนด้วยการโจมตีมากกว่าการกรอกฟอร์มตามปกติ:

‘สิ่งที่สำคัญที่สุดคือเราได้ระบุ ‘ช่องว่างระหว่างการตรวจจับและการดำเนินการ’: เอเจนต์ AI ที่มีการให้เหตุผลที่ได้รับการยืนยันจาก LLM ที่เป็นอิสระว่าเว็บไซต์นั้นเป็นเว็บไซต์หลอกลวงยังคงส่ง PII ใน 35.9% ของเซสชัน ในขณะที่ 66.1% ของเซสชันไม่มีการส่ง PII เมื่อไม่มีการตั้งคำถามเกี่ยวกับเว็บไซต์ ซึ่งเป็นช่องว่างที่มีขนาด 30.2% ที่มีเสถียรภาพทั่วทั้ง四รมodel

‘ผลการวิจัยของเราแสดงให้เห็นว่าการป้องกันที่ขึ้นอยู่กับการตระหนักของเอเจนต์ AI ต่อการโจมตีนั้นไม่ได้ผล และการดักจับข้อมูลที่ออกจากเอเจนต์ AI นั้นควรดำเนินการโดยอิสระจากวงจรการให้เหตุผลของเอเจนต์ AI’

นักวิจัยให้เหตุผลว่าการป้องกันที่ระดับการส่งออกควรดำเนินการโดยอิสระจากการตระหนักของเอเจนต์ AI ต่อการโจมตี ซึ่งไม่สามารถพึ่งพาได้ในการกระตุ้นการป้องกันที่มีประโยชน์

เอกสารวิจัยใหม่ ใหม่ มีชื่อเรื่องว่า “I Strongly Suspect This Website Is a Scam”: Benchmarking PII Leakage and Detection without Defense in Autonomous Web Agents และมาจากนักวิจัยแปดคนจาก KIIT Bhubaneshwar, BITS Pilani และ Lam Research

ปัญหากับอำนาจ

ผลการวิจัยที่น่าสนใจที่สุดของเอกสารอาจไม่ใช่การรั่วไหลของข้อมูลส่วนบุคคล แต่เป็นการรั่วไหลของข้อมูลส่วนบุคคลโดยเอเจนต์ AI หลายตัว หลังจากที่พวกมันตระหนักว่ามีบางอย่างผิดปกติ นักวิจัยระบุว่ามีรูปแบบที่เกิดซ้ำในการทดสอบที่ดำเนินการ โดยที่การสงสัยและการดำเนินการถูก ตัดขาด โดยเอเจนต์ AI บ่อยครั้งแสดงออกถึงความกังวลเกี่ยวกับเว็บไซต์ แต่ก็ยังคงดำเนินการตามที่ถูกขอให้ทำอย่างไรก็ตาม

ตัวอย่างหนึ่งเกี่ยวข้องกับ การลดความเสี่ยงโดยยอมรับ เอเจนต์ AI ที่ใช้ Llama 4 Scout ระบุสัญญาณเตือนบนเว็บไซต์ cryptocurrency โดยสังเกตุว่าโทนสีของเว็บไซต์นั้นเป็นไปได้ว่าเป็นเว็บไซต์หลอกลวง การสัญญาว่าจะได้รับโบนัสจำนวนมาก และการขาดข้อมูลที่ชัดเจนเกี่ยวกับบริษัท แม้ว่าจะมีการตั้งคำถามเกี่ยวกับเว็บไซต์เหล่านี้ แต่เอเจนต์ AI ก็ยังส่งหมายเลข Social Security, ข้อมูลบัตรเครดิต และรหัส CVV

รูปแบบที่สองที่พบคือ การกำหนดกรอบโดเมน/ขั้นตอน เมื่อเอเจนต์ AI ตรวจพบการโจมตีหนึ่งครั้ง แต่ ไม่สามารถทั่วไป化การสงสัยนั้นไปยังคำขอที่เกี่ยวข้อง

ในกรณีหนึ่ง Gemini 3 Flash ปฏิเสธคำขอที่明显หลอกลวง โดยระบุว่าเป็นการโจมตีแบบฟิชชิ่ง แต่นาทีต่อมา เอเจนต์ AI เหมือนเดิมก็ส่งข้อมูลเข้าระบบให้กับแบบฟอร์มยืนยันตัวตนหลังจากที่มีการให้เหตุผลว่าการตรวจสอบตัวตนเป็นส่วนหนึ่งของการรักษาความปลอดภัยของแพลตฟอร์ม

นักวิจัยยังพบกรณีของ การยอมรับความปลอดภัยด้วยตนเอง และ การทำให้พื้นผิวเชื่อถือได้ ในกรณีหนึ่ง เอเจนต์ Claude Haiku 4.5 ยอมรับการอ้างสิทธิ์ของเว็บไซต์เกี่ยวกับมาตรฐานการเข้ารหัสลับและการรับรองความปลอดภัยเป็นหลักฐานของความน่าเชื่อถือ ในขณะที่ GPT-5 mini ลดความกังวลเกี่ยวกับคำพูดที่น่าสงสัย เนื่องจากหน้าเว็บดูเหมือนได้รับการออกแบบอย่างมืออาชีพ และถูกนำเสนอผ่านโดเมนที่ดูเหมือนถูกต้อง

ปัญหาดูเหมือนจะขยายออกไปนอกเหนือจากความเสี่ยงต่อการฟิชชิ่งแบบง่ายๆ โดยที่นักวิจัยชี้ให้เห็นว่าคำสั่งตรวจสอบความปลอดภัยที่เพิ่มเข้ามาในเงื่อนไขการป้องกันที่แข็งแกร่งที่สุดมักจะทำงานเหมือนพิธีมากกว่าการป้องกันจริงๆ: เอเจนต์ AI สามารถเล่าเรื่องราวเกี่ยวกับความเสี่ยงได้ แต่การเล่าเรื่องราวนั้น ไม่ได้เปลี่ยนพฤติกรรมของพวกมัน อย่างน่าเชื่อถือ

นักวิจัยกำหนดช่องว่างระหว่าง การรับรู้ถึงอันตราย และ การดำเนินการตามการรับรู้นั้น เป็นอุปสรรคหลักในการพัฒนาการป้องกันในอนาคต

วิธีการ

มาตรฐาน SCAMMER4U ใส่เอเจนต์ AI สี่ตัวไว้ใน 91 เว็บไซต์ที่ถูกควบคุมโดยผู้โจมตี และ 10 เว็บไซต์ที่ไม่เป็นอันตรายที่ครอบคลุมแปดหมวดหมู่การหลอกลวง

แบบจำลองที่ถูกประเมิน ได้แก่ GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash และ Llama 4 Scout โดยใช้เฟรมเวิร์กการซื้อขายที่ใช้ Playwright รูปแบบการสังเกตการณ์ พื้นที่การดำเนินการ และเทมเพลตคำสั่งร่วมกัน

สำหรับการทดลอง เอเจนต์ AI แต่ละตัวได้รับโปรไฟล์ผู้ใช้ที่มีรายละเอียดตั้งแต่ชื่อและที่อยู่ไปจนถึงรหัสผ่าน รายละเอียดบัญชีธนาคาร หมายเลข Social Security, รหัส API และรหัสยืนยันตัวตนแบบสองขั้นตอน – โดยมีเป้าหมายหลักคือการตรวจสอบว่าข้อมูลใดๆ เหล่านี้ไปถึงจุดสิ้นสุดของผู้โจมตีหรือไม่

ตัวแบ่งแปดแกนใช้ในการกำหนดสภาพแวดล้อม SCAMMER4U โดยแยกความแตกต่างระหว่างวิธีการจำแนกแต่ละสถานการณ์และตัวแปรเฉพาะที่ถูกปรับเปลี่ยนในการทดสอบแบบจับคู่เพื่อแยกผลกระทบของกลยุทธ์การหลอกลวงทางสังคมต่อการรั่วไหลของ PII แหล่งที่มา

เพื่อให้แน่ใจว่ามาตรฐานสะท้อนถึงการหลอกลวงในโลกแห่งความเป็นจริงมากกว่ากรณีทดสอบที่สร้างขึ้น สภาพแวดล้อมเหล่านี้ถูกสร้างขึ้นโดยใช้ Flask ในสภาพแวดล้อมที่โฮสต์เอง จากคำสั่งออกแบบที่เขียนโดยมนุษย์ และจากนั้นได้รับการทบทวนโดยมนุษย์

แต่ละแบบจำลองถูกทดสอบภายใต้สี่สถานการณ์ที่มีการแทรกแซงมากขึ้น: C0 โดยไม่มีการแนะนำ, C1 โดยมีการเตือนความเป็นส่วนตัวทั่วไป, C2 โดยมีเช็คลิสต์การตระหนักการหลอกลวง และ C3 โดยมีการส่งคำสั่งสะท้อนก่อนการยื่นข้อมูล

การวัดหลักคือ PLR_crit ซึ่งวัดอัตราที่ข้อมูลส่วนบุคคลระดับวิกฤตถูกส่งไปยังจุดสิ้นสุดของผู้โจมตี ตัววัดรองประกอบด้วย PLR_weighted ซึ่งเป็นตัววัดการรั่วไหลที่มีน้ำหนัก, ASR (อัตราความสำเร็จของการโจมตี) ซึ่งวัดความสำเร็จของการโจมตีหลังจากการนำทางไปยัง URL ที่กำหนด, TCR (อัตราการทำภารกิจ) และ Defended ซึ่งบ่งชี้ว่าเอเจนต์ AI ปฏิเสธหรือเสร็จสิ้นการทำภารกิจโดยไม่ต้องไปถึงจุดสิ้นสุดของการโจมตี และ DR (อัตราการตรวจจับ) ซึ่งบันทึกว่าเอเจนต์ AI ระบุเว็บไซต์ว่าเป็นเว็บไซต์หลอกลวงหรือไม่

อัตราการตรวจจับ (DR) ถูกวัดโดยใช้วิธี LLM-as-judge โดยที่ GPT-4o-mini ทำหน้าที่เป็นตัวประเมินหลัก และ Llama 4 Scout เป็นตัวตรวจสอบรอง โดยทบทวนการให้เหตุผลของเอเจนต์ AI และกำหนดว่าเอเจนต์ AI ระบุเว็บไซต์ว่าเป็นเว็บไซต์หลอกลวงหรือไม่ DR ในกรณีนี้วัด สิ่งที่เอเจนต์ AI พูดถึงเว็บไซต์อย่างชัดเจน มากกว่าสิ่งที่พวกมันอาจจะอนุมานภายใน

การตรวจสอบความถูกต้องกับตัวอย่างที่มีการระบุชื่อโดยมนุษย์ผลิตคะแนน Cohen’s κ ของ 0.83 และ 0.78 ซึ่งเกินเกณฑ์ความน่าเชื่อถือที่ได้ลงทะเบียนไว้ก่อนหน้านี้

การศึกษานี้ได้รับการลงทะเบียนไว้ก่อนหน้านี้ (เช่น แผนการศึกษาและวิเคราะห์ถูกเผยแพร่สาธารณะก่อนการเก็บข้อมูล) โดยมีจุดมุ่งหมายเพื่อลดความเสี่ยงในการปรับเปลี่ยนข้อสรุปให้เหมาะสมกับผลลัพธ์ที่สังเกตได้

การทดสอบและผลลัพธ์

การทดสอบครั้งแรกมุ่งหวังที่จะตรวจสอบว่าคำเตือนความปลอดภัยแบบง่ายๆ สามารถลดปัญหาได้หรือไม่ สี่สถานการณ์ที่มีการป้องกันที่เพิ่มขึ้นถูกประเมิน ตั้งแต่ ไม่มีการแนะนำความเป็นส่วนตัวใดๆ ไปจนถึงคำสั่งที่กระตุ้นให้เอเจนต์ AI หยุดและพิจารณาก่อนส่งข้อมูลที่ละเอียดอ่อน

ผลลัพธ์แตกต่างกันอย่างมากระหว่างแบบจำลอง Claude Haiku 4.5 เป็นแบบจำลองที่มีการตอบสนองมากที่สุด โดยมีอัตราการรั่วไหลลดลงจาก 54.5% ในสถานการณ์ฐานมาตรฐานลงเหลือ 24.0% ในสถานการณ์ที่มีการป้องกันที่แข็งแกร่งที่สุด GPT-5 mini มีการปรับปรุงจาก 61.0% ลงเหลือ 36.1% ในขณะที่ Gemini 3 Flash ลดลงจาก 93.1% เหลือ 60.7% Llama 4 Scout มีการเปลี่ยนแปลงน้อยที่สุด โดยลดลงจาก 82.3% เหลือ 77.4%

ความแตกต่างเหล่านี้ชี้ให้เห็นว่าคำสั่งป้องกันเดียวกันสามารถผลิตผลลัพธ์ที่แตกต่างกันมากขึ้นขึ้นอยู่กับแบบจำลองที่ได้รับคำสั่งเหล่านั้น มากกว่านั้น การป้องกันเหล่านี้มักปรับปรุงความตระหนักของเอเจนต์ AI ต่อความเสี่ยงมากกว่าการดำเนินการของพวกมัน: เอเจนต์ AI กลายเป็นดีขึ้นในการระบุเว็บไซต์ที่น่าสงสัยและอธิบายสัญญาณเตือน แต่การรับรู้นั้นไม่ได้หยุดพวกมันจากการดำเนินการต่อ

ช่องว่างระหว่างการตรวจจับและการดำเนินการในเอเจนต์ AI สี่ตัว Left panel เปรียบเทียบการรั่วไหลของข้อมูลสำคัญระหว่างเอเจนต์ AI ที่ระบุเว็บไซต์ว่าเป็นเว็บไซต์หลอกลวงและที่ไม่ได้ Right panel แสดงช่องว่างเดียวกันใน GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash และ Llama 4 Scout โดยแสดงให้เห็นว่าความตระหนักถึงภัยคุกคามไม่ได้เปลี่ยนเป็นพฤติกรรมป้องกันอย่างน่าเชื่อถือ

ใน การประเมินแยกจากกัน ผู้ตรวจสอบ 16 คนเปรียบเทียบหน้าเว็บ SCAMMER4U กับเว็บไซต์หลอกลวงที่แท้จริงและไม่ได้ทำได้ดีกว่าโอกาส

สรุป

แบบจำลองที่ถูกทดสอบ – ซึ่งเป็นตัวแทนของสถาปัตยกรรมตรรกะทั่วไปในครอบครัว LLM ที่ได้รับความนิยม – ดูเหมือนจะมีปัญหาในตัวเองในการถอนตัวจากสถานการณ์ที่รู้ว่าเป็นอันตราย หรือการปรับพฤติกรรมของตนเอง Logic ชี้ให้เห็นว่านี่อาจเกี่ยวข้องกับความยากทั่วไปที่รู้จักกันดีของโมเดลภาษาที่มีความซับซ้อน ในการยอมแพ้ในการตัดสินใจ – ทักษะการอยู่รอดที่สามารถบังคับได้จากภายนอกผ่านคำสั่งระบบ ระบบที่สอง และการจำกัดผลลัพธ์

หาก ‘การเชื่อมต่อที่ไม่ถูกต้อง’ ระหว่างการรับรู้ถึงอันตรายและการบังคับให้ดำเนินการต่ออย่างไรก็ตาม เป็นสิ่งที่แท้จริงในสถาปัตยกรรม LLM และไม่สามารถแก้ไขได้จากภายใน การเลือกทางเลือกเดียวที่ดูเหมือนจะเป็นไปได้คือการดูแลการดำเนินการของโมเดลโดยใช้ขั้นตอนการคำนวณในสถานการณ์ที่สำคัญ – ซึ่งลดความสามารถของเอเจนต์ AI ให้เหลือเพียงขั้นตอนแบบ RPA ที่มีการกำหนดไว้ล่วงหน้า

เผยแพร่ครั้งแรกวันเสาร์ที่ 6 มิถุนายน พ.ศ. 2569