ผู้นำทางความคิด

สิ่งที่การโจมตี AI ในช่วงต้นบอกเราถึงปี 2026

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google

เมื่อ AI ขยายจากการทดลองที่ควบคุมไปยังการนำไปใช้ในโลกแห่งความเป็นจริง เรากำลังเข้าสู่จุดเปลี่ยนในภูมิทัศน์ด้านความปลอดภัย การเปลี่ยนแปลงจากโมเดลภาษาที่เป็นแบบคงที่ไปสู่ระบบที่มีหน่วยงานสามารถที่จะสำรวจเอกสาร เรียกใช้เครื่องมือ และจัดการกระบวนการทำงานหลายขั้นตอนได้ กำลังเกิดขึ้นแล้ว แต่ตามที่การวิจัยล่าสุดเปิดเผย ผู้โจมตีไม่ได้รอจนกว่าระบบจะเติบโตเต็มที่ พวกเขากำลังปรับตัวให้เข้ากับระบบที่มีการเปลี่ยนแปลงอย่างรวดเร็ว โดยทดสอบระบบทันทีที่มีการแนะนำความสามารถใหม่ๆ

ในช่วงไตรมาสที่ 4 ของปี 2025 ทีมของเรา tại Lakera วิเคราะห์พฤติกรรมของผู้โจมตีจริงทั่วระบบที่ได้รับการคุ้มครองโดย Guard และในสภาพแวดล้อม Gandalf: Agent Breaker — ซึ่งเป็นภาพรวม 30 วันที่มุ่งเน้น ซึ่งแม้จะมีช่วงเวลาที่แคบ แต่ก็สะท้อนรูปแบบที่กว้างขึ้นที่เราได้สังเกตเห็นทั่วทั้งไตรมาส ผลการวิจัย วาดภาพที่ชัดเจน: เมื่อโมเดลเริ่มโต้ตอบกับสิ่งที่อยู่นอกเหนือจากคำสั่งพื้นฐาน (เช่น เอกสาร เครื่องมือ ข้อมูลภายนอก) พื้นที่ที่มีความเสี่ยงจะขยายใหญ่ขึ้น และผู้โจมตีจะปรับตัวเพื่อใช้ประโยชน์จากสิ่งนั้นในทันที

ช่วงเวลานี้อาจดูคุ้นเคยสำหรับผู้ที่ได้เห็นการพัฒนาเว็บแอปพลิเคชันในระยะแรก หรือผู้ที่สังเกตเห็นการเพิ่มขึ้นของการโจมตีแบบ API แต่ด้วย ตัวแทน AI สิ่งที่เดิมพันจะแตกต่างไปแล้ว เวกเตอร์การโจมตีกำลังปรากฏขึ้นเร็วกว่าที่หลายองค์กรคาดการณ์ไว้

จากทฤษฎีสู่การปฏิบัติ: ตัวแทนในธรรมชาติ

ในช่วงมากของปี 2025 การอภิปรายเกี่ยวกับตัวแทน AI ส่วนใหญ่集中อยู่ที่ศักยภาพทางทฤษฎีและต้นแบบช่วงแรก แต่เมื่อถึงไตรมาสที่ 4 พฤติกรรมของตัวแทนเริ่มปรากฏในระบบการผลิตขนาดใหญ่: โมเดลที่สามารถดึงและวิเคราะห์เอกสาร ติดต่อ API ภายนอก และดำเนินงานอัตโนมัติได้ ตัวแทนเหล่านี้มอบประโยชน์ในการเพิ่มผลผลิตที่ชัดเจน แต่ก cũngเปิดประตูให้กับโมเดลภาษาที่传统ไม่ได้ทำ

การวิเคราะห์ของเราพบว่าทันทีที่ตัวแทนสามารถโต้ตอบกับเนื้อหาภายนอกและเครื่องมือได้ ผู้โจมตีก็สังเกตเห็นและปรับตัวให้เข้ากันตามนั้น การสังเกตนี้สอดคล้องกับความจริงพื้นฐานเกี่ยวกับการกระทำของฝ่ายตรงข้าม: ผู้โจมตีจะสำรวจและใช้ประโยชน์จากความสามารถใหม่ที่เกิดขึ้นที่โอกาสแรกๆ ในบริบทของ AI ที่มีหน่วยงาน สิ่งนี้นำไปสู่การเปลี่ยนแปลงอย่างรวดเร็วในกลยุทธ์การโจมตี

รูปแบบการโจมตี: สิ่งที่เราเห็นใน Q4 2025

ทั่วทั้งฐานข้อมูลที่เราตรวจสอบ มีรูปแบบที่โดดเด่นสามรูปแบบปรากฏขึ้น แต่ละรูปแบบมีผลกระทบอย่างลึกซึ้งต่อวิธีการออกแบบ ระบบความปลอดภัย และการนำ AI ไปใช้

1. การดึงข้อมูลคำสั่งระบบเป็นเป้าหมายหลัก

ในโมเดลภาษาที่传统 การ การฉีดคำสั่ง (การดัดแปลงอินพุตเพื่อ影響เอาต์พุต) เป็นช่องโหว่ที่ได้รับการศึกษาอย่างดี อย่างไรก็ตาม ในระบบที่มีความสามารถของตัวแทน ผู้โจมตีมุ่งเป้าไปที่ คำสั่งระบบ ซึ่งเป็นคำสั่งภายใน บทบาท และคำจำกัดความนโยบายที่ชี้นำพฤติกรรมของตัวแทน

การดึงข้อมูลคำสั่งระบบเป็นเป้าหมายที่มีค่าเพราะคำสั่งเหล่านี้มักจะบรรจุคำจำกัดความของบทบาท คำอธิบายเครื่องมือ คำสั่งนโยบาย และตรรกะการทำงาน เมื่อผู้โจมตีเข้าใจกลไกภายในเหล่านี้ พวกเขาจะได้รับแผนภาพสำหรับการดัดแปลงตัวแทน

เทคนิคที่มีประสิทธิภาพที่สุดในการบรรลุเป้าหมายนี้ไม่ใช่การโจมตีด้วยกำลังมาก แต่เป็นการ การสร้างสถานการณ์สมมติ และ การซ่อนข้อมูลภายในเนื้อหาที่มีโครงสร้าง ซึ่งเป็นวิธีการที่ชาญฉลาดในการหลบหลีกการตรวจจับและกระตุ้นพฤติกรรมที่ไม่ได้ตั้งใจ

2. การหลบหลีกความปลอดภัยของเนื้อหาที่ซับซ้อน

รูปแบบอีกอย่างหนึ่งที่สำคัญคือการหลบหลีกการป้องกันความปลอดภัยของเนื้อหาที่ซับซ้อน ซึ่งเป็นการโจมตีที่ยากต่อการตรวจจับและป้องกัน

ผู้โจมตีไม่ได้ใช้คำสั่งอันชั่วร้ายที่เปิดเผย แต่กลับสร้างคำสั่งเหล่านั้นให้ดูเหมือนเป็น

  • งานวิเคราะห์
  • การประเมิน
  • สถานการณ์สมมติ
  • การแปลงหรือสรุป

การสร้างคำสั่งเหล่านี้ทำให้ผู้โจมตีสามารถหลบหลีกการตรวจจับของระบบความปลอดภัยได้

3. การเกิดขึ้นของการโจมตีที่เฉพาะเจาะจงสำหรับตัวแทน

การค้นพบที่สำคัญที่สุดอาจเป็นการเกิดขึ้นของรูปแบบการโจมตีที่เฉพาะเจาะจงสำหรับความสามารถของตัวแทน ซึ่งไม่ใช่แค่การฉีดคำสั่งแบบง่ายๆ แต่เป็นการโจมตีที่เกี่ยวข้องกับพฤติกรรมใหม่ๆ

การโจมตีเหล่านี้รวมถึง

  • การพยายามเข้าถึงข้อมูลภายในที่เป็นความลับ
  • การฝังคำสั่งภายในเนื้อหาที่มีโครงสร้าง
  • การซ่อนคำสั่งภายในเนื้อหาภายนอก

รูปแบบเหล่านี้เป็นตัวบ่งชี้ถึงอนาคตที่ผู้โจมตีจะปรับตัวและสร้างเทคนิคการโจมตีใหม่ๆ ที่ระบบป้องกันแบบเดิมๆ ไม่สามารถต้านทานได้

ทำไมการโจมตีทางอ้อมจึงมีประสิทธิภาพ

หนึ่งในผลการวิจัยที่น่าสนใจที่สุดคือการโจมตีทางอ้อม — ซึ่งใช้เนื้อหาภายนอกหรือข้อมูลที่มีโครงสร้าง — ต้องการความพยายามน้อยกว่าการโจมตีโดยตรง ซึ่งบ่งชี้ว่าการกรองอินพุตและคำสั่งโดยตรงไม่เพียงพอเมื่อโมเดลโต้ตอบกับเนื้อหาที่ไม่น่าเชื่อถือ

ผลกระทบต่อปี 2026 และอนาคต

ผลการวิจัยมีผลกระทบอย่างเร่งด่วนต่อองค์กรที่วางแผนจะนำ AI ที่มีหน่วยงานไปใช้ในระดับใหญ่:

  1. การกำหนดขอบเขตความไว้วางใจใหม่
    ความไว้วางใจ ไม่สามารถเป็นเพียงแบบทวินามได้ เมื่อตัวแทนโต้ตอบกับผู้ใช้ เนื้อหาภายนอก และกระบวนการภายใน ระบบต้องใช้แบบจำลองความไว้วางใจที่ซับซ้อนซึ่งพิจารณา บริบท, ที่มา, และ วัตถุประสงค์。
  2. การป้องกันต้องเปลี่ยนแปลง
    ตัวกรองความปลอดภัยแบบคงที่ไม่เพียงพอ การป้องกันต้องสามารถปรับตัวเข้ากับบริบทและสามารถให้เหตุผลเกี่ยวกับพฤติกรรมและเจตนาได้
  3. ความโปร่งใสและกระบวนการตรวจสอบเป็นสิ่งจำเป็น
    เมื่อเวกเตอร์การโจมตีเพิ่มขึ้น องค์กรต้องการความสามารถในการมองเห็นการตัดสินใจของตัวแทน — รวมถึงขั้นตอนกลาง การโต้ตอบภายนอก และการแปลงข้อมูล
  4. การทำงานร่วมกันระหว่างสาขาต่างๆ เป็นกุญแจสำคัญ
    ทีมวิจัย AI ทีมวิศวกรความปลอดภัย และทีม ข่าวกรองภัยคุกคาม ต้องทำงานร่วมกัน ความปลอดภัยของ AI ไม่สามารถแยกออกจากกัน; มันจะต้องรวมเข้ากับแนวปฏิบัติด้านความปลอดภัยของระบบและกรอบการบริหารความเสี่ยง
  5. การกำกับดูแลและมาตรฐานจะต้องตามทัน
    ผู้กำหนดนโยบายและหน่วยงานมาตรฐานจะต้องตระหนักว่าระบบที่มีหน่วยงานสร้างความเสี่ยงใหม่ๆ การกำกับดูแล ที่จัดการกับความเป็นส่วนตัวของข้อมูลและความปลอดภัยของเอาต์พุตไม่เพียงพอ; มันจะต้องครอบคลุม พฤติกรรมเชิงโต้ตอบและสภาพแวดล้อมการดำเนินการหลายขั้นตอน ด้วย

อนาคตของตัวแทน AI ที่ปลอดภัย

การมาถึงของ AI ที่มีหน่วยงานแสดงถึงการเปลี่ยนแปลงที่สำคัญในด้านความสามารถและความเสี่ยง ข้อมูลจากไตรมาสที่ 4 ของปี 2025 เป็นตัวบ่งชี้ในระยะแรกว่าเมื่อตัวแทนเริ่มทำงานนอกเหนือจากการสร้างข้อความแบบง่าย ผู้โจมตีก็จะตามมา การค้นพบของเราบ่งชี้ว่าผู้โจมตีไม่เพียงแต่ปรับตัวเท่านั้น แต่ยังสร้างเทคนิคการโจมตีใหม่ๆ ที่การป้องกันแบบเดิมๆ ไม่สามารถต้านทานได้

สำหรับองค์กรและผู้พัฒนา ข้อความคือการรักษาความปลอดภัยของ AI ที่มีหน่วยงานไม่ใช่แค่ความท้าทายทางเทคนิค แต่เป็นเรื่องของการออกแบบระบบ มันจำเป็นต้องมีการคิดใหม่ว่าความไว้วางใจถูกสร้างขึ้นอย่างไร การป้องกันถูกบังคับใช้อย่างไร และความเสี่ยงถูกประเมินอย่างต่อเนื่องในสภาพแวดล้อมที่มีการโต้ตอบและเปลี่ยนแปลงอย่างรวดเร็ว

ในปี 2026 และอนาคต องค์กรที่ประสบความสำเร็จกับ AI ที่มีหน่วยงานจะเป็นองค์กรที่รักษาความปลอดภัยไม่เพียงแต่ในฐานะหลักการออกแบบเท่านั้น แต่ยังเป็นหลักการสำคัญในการดำเนินงานด้วย

มาเทโอ โรฮัส-คารุลลา เป็นหัวหน้าฝ่ายวิจัย ความปลอดภัยของเอเย่นต์ AI ที่ Check Point Software Technologies ก่อนหน้านี้เขาเคยเป็น ผู้ร่วมก่อตั้งและหัวหน้านักวิทยาศาสตร์ ที่ Lakera ซึ่งถูกซื้อกิจการโดย Check Point ในปี 2025 ก่อนที่จะก่อตั้ง Lakera มาเทโอเคยทำงานที่ Google, Credit Suisse, Facebook และ Speechmatics เขาได้รับ ปริญญาเอกสาขาการเรียนรู้ของเครื่องจากมหาวิทยาลัยเคมบริดจ์ และ Max Planck Institute ใน Tübingen