ผู้นำทางความคิด

เอเจนต์ของคุณไม่ใช่แค่แชทบอทอีกต่อไป—ทำไมคุณยังปฏิบัติต่อ它เหมือนแชทบอท?

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google

ในยุคแรกของ AI ที่สร้างข้อมูลใหม่ๆ สิ่งที่แย่ที่สุดที่อาจเกิดขึ้นกับแชทบอทที่มีพฤติกรรมผิดปกติคือการถูกเยาะเย้ยโดยสาธารณะ อาจจะเกิดการ ส่งต่อข้อมูลที่ไม่ถูกต้อง การพูดจาที่มีอคติ หรือแม้กระทั่งการด่า แต่นั่นยังดีกว่าการให้แชทบอทมีอำนาจในการควบคุมระบบ

ยินดีต้อนรับสู่ยุคของเอเจนต์

จากแชทบอทสู่เอเจนต์: การเปลี่ยนแปลงสู่ความเป็นอิสระ

แชทบอทมักจะตอบสนองตามคำถาม แต่เอเจนต์ AI—โดยเฉพาะที่ถูกสร้างขึ้นโดยใช้เครื่องมือ การใช้โค้ด และความจำที่คงอยู่—สามารถทำงานหลายขั้นตอนได้ โดยการเรียกใช้ API การใช้คำสั่ง และเขียนและใช้โค้ดโดยอิสระ

ในอีกคำหนึ่ง พวกมันไม่ได้เพียงแต่ตอบสนองต่อคำถาม แต่ยังตัดสินใจด้วย และตามที่ผู้เชี่ยวชาญด้านความปลอดภัยจะบอกคุณ เมื่อระบบเริ่มดำเนินการในโลกแห่งความเป็นจริง คุณควรต้องมีความรู้สึกที่จริงจังเกี่ยวกับความปลอดภัยและการควบคุม

สิ่งที่เราเตือนในปี 2023

ที่ OWASP เราเริ่มเตือนเกี่ยวกับการเปลี่ยนแปลงนี้มากกว่าสองปีที่แล้ว ในการเปิดตัวครั้งแรกของ OWASP Top 10 สำหรับ LLM Applications เราได้สร้างคำศัพท์ใหม่: Excessive Agency

แนวคิดนี้เป็นเรื่องง่าย: เมื่อคุณให้โมเดลมีความเป็นอิสระมากเกินไป—เครื่องมือมากเกินไป อำนาจมากเกินไป การดูแลน้อยเกินไป—มันเริ่มทำงานเหมือนตัวแทนฟรีมากกว่าตัวช่วยที่มีขอบเขต มันอาจจะจัดตารางการประชุม มันอาจจะลบไฟล์ หรือมันอาจจะจัดเตรียมโครงสร้างคลาวด์ที่มีราคาแพงเกินไป

หากคุณไม่ระวัง มันจะเริ่มทำงานเหมือนตัวแทนผิดปกติ… หรือแย่กว่านั้น ตัวแทนรอการโจมตีทางไซเบอร์ ในตัวอย่างจริงล่าสุด เอเจนต์จากผลิตภัณฑ์สำคัญๆ เช่น Microsoft Copilot และ Slack ของ Salesforce ถูกพบว่าสามารถถูกหลอกให้ใช้สิทธิ์ที่เพิ่มขึ้นในการขโมยข้อมูลที่ละเอียดอ่อน

และตอนนี้ สิ่งที่เป็นเรื่องสมมติเริ่มดูเหมือนกับแผนการในไตรมาสที่ 3 ที่กำลังจะมาถึง

พบกับ MCP: ระดับการควบคุมเอเจนต์ (หรือไม่?)

เมื่อข้ามไปยังปี 2025 เรากำลังเห็นคลื่นใหม่ของมาตรฐานและโพรโทคอลที่ออกแบบมาเพื่อจัดการกับการระเบิดของฟังก์ชันเอเจนต์ สิ่งที่โดดเด่นที่สุดในบรรดานี้คือ Model Context Protocol (MCP) ของ Anthropic—กลไกในการรักษาความจำร่วมกัน โครงสร้างงาน และการเข้าถึงเครื่องมือทั่วเซสชันของเอเจนต์ AI ที่มีอายุการใช้งานยาว

คิดถึง MCP เป็นกาวที่ยึดความเข้าใจของเอเจนต์ไว้ด้วยกันระหว่างเครื่องมือและเวลา มันเป็นวิธีในการบอกให้เพื่อนร่วมงานของคุณรู้ว่า: “นี่คือสิ่งที่คุณทำไปแล้ว นี่คือสิ่งที่คุณได้รับอนุญาตให้ทำ นี่คือสิ่งที่คุณควรจำ”

มันเป็นขั้นตอนที่จำเป็น แต่ก็ทำให้เกิดคำถามใหม่ๆ

MCP เป็นตัวช่วยความสามารถ แต่สิ่งป้องกันอยู่ที่ไหน?

จนถึงตอนนี้ การเน้นของ MCP คือการขยายสิ่งที่เอเจนต์สามารถทำได้—ไม่ใช่การควบคุมมัน

ในขณะที่โพรโทคอลช่วยในการประสานงานการใช้เครื่องมือและรักษาความจำระหว่างงานของเอเจนต์ มันยังไม่กล่าวถึงข้อกังวลที่สำคัญ เช่น:

  • การป้องกันการฉีดคำสั่ง: จะเกิดอะไรขึ้นหากผู้โจมตีจัดการกับความจำร่วมกัน?
  • การกำหนดขอบเขตคำสั่ง: เอเจนต์สามารถถูกหลอกให้ล้ำเส้นสิทธิ์หรือไม่?
  • การละเมิดโทเค็น: การรั่วไหลของความจำอาจเปิดเผยข้อมูลประจำตัว API หรือข้อมูลผู้ใช้หรือไม่?

สิ่งเหล่านี้ไม่ใช่ปัญหาเชิงทฤษฎี การตรวจสอบล่าสุดเกี่ยวกับผลกระทบด้านความปลอดภัยพบว่าโครงสร้าง MCP มีความเสี่ยงต่อการฉีดคำสั่ง การใช้คำสั่งผิด และแม้กระทั่งการปนเปื้อนความจำ โดยเฉพาะอย่างยิ่งเมื่อความจำร่วมกันไม่ได้รับการกำหนดขอบเขตหรือเข้ารหัสอย่างเหมาะสม

นี่คือปัญหา “อำนาจโดยไม่มีการควบคุม” แบบคลาสสิก เราได้สร้างโครงร่าง แต่ยังไม่ได้ค้นหาวิธีปิดมัน

ทำไม CISO ควรให้ความสนใจ—ตอนนี้

เรากำลังพูดถึงเทคโนโลยีที่ไม่ใช่ของอนาคต แต่เป็นเครื่องมือที่นักพัฒนาของคุณกำลังใช้อยู่แล้ว และนั่นก็เพียงแค่ต้นกำเนิดของการปรับใช้ในระดับองค์กรที่จะเกิดขึ้น

เอเจนต์การเขียนโค้ด เช่น Claude Code และ Cursor กำลังได้รับการยอมรับอย่างแท้จริงภายในกระบวนการทำงานขององค์กร การวิจัยภายในของ GitHub พบว่า Copilot สามารถเร่งการทำงานได้ถึง 55% Anthropic รายงานว่า 79% ของการใช้ Claude Code มุ่งเน้นไปที่ การทำงานอัตโนมัติ ไม่ใช่แค่คำแนะนำโค้ด

นั่นคือผลผลิตที่แท้จริง แต่นั่นก็เป็นการทำงานอัตโนมัติเช่นกัน สิ่งเหล่านี้ไม่ใช่เพียงผู้ช่วยอีกต่อไป แต่กำลังบินโดยลำพัง และห้องบังคับการ? ว่างเปล่า

ซีอีโอของ Microsoft Satya Nadella กล่าวเมื่อเร็วๆ นี้ว่า AI สร้างโค้ดได้ถึง 30% ของ Microsoft Anthropic’s CEO Dario Amodei ยังไปไกลกว่านั้น โดยคาดการณ์ว่า AI จะสร้างโค้ดใหม่ 90% ในช่วงหกเดือน

และไม่ใช่แค่การพัฒนาซอฟต์แวร์เท่านั้น โพรโทคอล Model Context (MCP) กำลังถูกผสานเข้ากับเครื่องมือที่ขยายไปไกลกว่าการเขียนโค้ด โดยครอบคลุมการเตรียมการอีเมล การเตรียมการประชุม การวางแผนการขาย การสรุปเอกสาร และงานอื่นๆ ที่มีผลผลิตสูงสำหรับผู้ใช้ทั่วไป แม้ว่ากรณีการใช้งานเหล่านี้ยังคงอยู่ในขั้นตอนแรก แต่ก็เติบโตอย่างรวดเร็ว ซึ่งเปลี่ยนความเสี่ยง นี่ไม่ใช่แค่การอภิปรายสำหรับ CTO หรือ VP of Engineering แต่ต้องการความสนใจจากผู้นำหน่วยธุรกิจ CIO CISO และ Chief AI Officers เช่นกัน เมื่อเอเจนต์เหล่านี้เริ่มสื่อสารกับข้อมูลที่ละเอียดอ่อนและดำเนินการตามกระบวนการทำงานข้ามฟังก์ชัน องค์กรจะต้องแน่ใจว่าการกำกับดูแล การจัดการความเสี่ยง และการวางแผนเชิงกลยุทธ์เป็นส่วนหนึ่งของการอภิปรายตั้งแต่เริ่มต้น

สิ่งที่ต้องเกิดขึ้นต่อไป

ถึงเวลาที่จะหยุดคิดถึงเอเจนต์เหล่านี้ว่าเป็นแชทบอทและเริ่มคิดถึงพวกมันเหมือนระบบอิสระที่มีข้อกำหนดด้านความปลอดภัยที่แท้จริง ซึ่งหมายถึง:

  • ขอบเขตสิทธิ์ของเอเจนต์: เช่นเดียวกับที่คุณไม่ควรใช้กระบวนการทำงานทั้งหมดในฐานะ root เอเจนต์จะต้องมีการเข้าถึงเครื่องมือและคำสั่งที่มีขอบเขต
  • การกำกับดูแลความจำร่วม: ความคงอยู่ของบริบทจะต้องถูกตรวจสอบ ตรวจสอบความถูกต้อง และเข้ารหัส—โดยเฉพาะอย่างยิ่งเมื่อมีการแบ่งปันระหว่างเซสชันหรือทีม
  • การจำลองการโจมตีและการทดสอบทีมแดง: การฉีดคำสั่ง การปนเปื้อนความจำ และการใช้คำสั่งผิดจะต้องถูกมองว่าเป็นภัยคุกคามด้านความปลอดภัยระดับสูงสุด
  • การฝึกอบรมพนักงาน: การใช้เอเจนต์ AI อย่างปลอดภัยและมีประสิทธิภาพเป็นทักษะใหม่ และคนต้องการการฝึกอบรม สิ่งนี้จะช่วยให้พวกเขาเป็นมืออาชีพมากขึ้นและช่วยให้ทรัพย์สินทางปัญญาของคุณมีความปลอดภัยมากขึ้น

เมื่อองค์กรของคุณเริ่มใช้เอเจนต์ AI ควรจะเริ่มต้นด้วยการเดินก่อนวิ่ง ได้รับประสบการณ์กับเอเจนต์ที่มีขอบเขตจำกัด ข้อมูลจำกัด และสิทธิ์จำกัด เรียนรู้เมื่อสร้างรั้วและประสบการณ์ จากนั้นจึงขยายไปสู่กรณีการใช้งานที่ซับซ้อน อิสระ และทะเยอทะยานมากขึ้น

คุณไม่สามารถนั่งดูได้

ไม่ว่าคุณจะเป็น Chief AI Officer หรือ Chief Information Officer คุณอาจมีข้อกังวลเริ่มต้นที่แตกต่างกัน แต่เส้นทางของคุณไปข้างหน้าจะเหมือนกัน ผลผลิตที่ได้จากเอเจนต์การเขียนโค้ดและระบบ AI อัตโนมัตินั้นเยี่ยมมากเกินกว่าที่จะเพิกเฉย หากคุณยังคงใช้แนวทาง “รอและดู” คุณกำลังตกข้างหลังแล้ว

เครื่องมือเหล่านี้ไม่ใช่การทดลองอีกต่อไป—พวกมันกำลังจะกลายเป็นมาตรฐานที่ต้องมี บริษัทอย่าง Microsoft กำลังสร้างโค้ดจำนวนมากผ่าน AI และก้าวหน้าในตำแหน่งการแข่งขันของตน ผลิตภัณฑ์อย่าง Claude Code กำลังลดเวลาในการพัฒนาและทำให้กระบวนการทำงานที่ซับซ้อนเป็นอัตโนมัติในหลายๆ บริษัททั่วโลก บริษัทที่เรียนรู้ที่จะใช้เอเจนต์เหล่านี้อย่างปลอดภัยจะจัดส่งเร็วขึ้น ปรับตัวได้เร็วขึ้น และเอาชนะคู่แข่งได้

แต่ความเร็วโดยไม่มีความปลอดภัยคือการหลอกลวง การผสานเอเจนต์อัตโนมัติเข้ากับธุรกิจของคุณโดยไม่มีการควบคุมที่เหมาะสมเป็นวิธีสำหรับการหยุดชะงัก การรั่วไหลของข้อมูล และผลกระทบด้านกฎระเบียบที่ตามมา

นี่คือช่วงเวลาที่ต้องดำเนินการ—แต่ดำเนินการอย่างฉลาด:

  • เปิดตัวโปรแกรมนำร่องของเอเจนต์ แต่ต้องมีการทบทวนโค้ด การอนุญาตเครื่องมือ และการแยกส่วน
  • จำกัดความเป็นอิสระให้แค่สิ่งที่จำเป็น—ไม่ใช่เอเจนต์ทุกตัวต้องมีสิทธิ์ root หรือความจำระยะยาว
  • ตรวจสอบความจำร่วมและการเรียกเครื่องมือ โดยเฉพาะอย่างยิ่งระหว่างเซสชันที่มีอายุการใช้งานยาวหรือบริบทการทำงานร่วมกัน
  • จำลองการโจมตี โดยใช้การฉีดคำสั่งและการใช้คำสั่งผิดเพื่อเปิดเผยความเสี่ยงในโลกแห่งความเป็นจริงก่อนที่ผู้โจมตีจะทำ
  • ฝึกอบรมนักพัฒนาของคุณและทีมผลิตภัณฑ์ เกี่ยวกับรูปแบบการใช้งานที่ปลอดภัย รวมถึงการควบคุมขอบเขต พฤติกรรมการถอย และเส้นทางการเพิ่มขึ้น

ความปลอดภัยและความเร็วไม่ใช่สิ่งที่ขัดแย้งกัน—หากคุณสร้างด้วยความตั้งใจ

ธุรกิจที่รักษาเอเจนต์ AI ไว้ว่าเป็นโครงสร้างพื้นฐานหลัก ไม่ใช่ของเล่นหรือของเล่นที่กลายเป็นภัยคุกคาม จะเป็นธุรกิจที่ประสบความสำเร็จ ส่วนที่เหลือจะถูกทิ้งให้ทำความสะอาดหรือแย่กว่านั้น คือการดูจากข้างทาง

ยุคของเอเจนต์มาถึงแล้ว ไม่ต้องแค่รอและดู แต่เตรียมตัว ผสานเข้าด้วยกัน และรักษาความปลอดภัย

สตีฟ วิลสัน เป็น Chief AI Officer ที่ Exabeam ซึ่งเขานำการพัฒนาโซลูชันความปลอดภัยทางไซเบอร์ที่ขับเคลื่อนด้วย AI สำหรับองค์กรระดับโลก เขาเป็นนักบริหารด้านเทคโนโลยีที่มีประสบการณ์ยาวนาน โดยใช้เวลาทั้งหมดในการออกแบบแพลตฟอร์มคลาวด์ขนาดใหญ่และระบบที่ปลอดภัยสำหรับองค์กรระดับ Global 2000 เขาได้รับการยอมรับอย่างกว้างขวางในวงการ AI และความปลอดภัยสำหรับการเชื่อมโยงความเชี่ยวชาญทางเทคนิคที่ลึกซึ้งกับการใช้งานจริงขององค์กร Wilson ยังเป็นนักเขียนของ The Developer’s Playbook for Large Language Model Security (O’Reilly Media) ซึ่งเป็นคู่มือปฏิบัติสำหรับการรักษาความปลอดภัยของระบบ GenAI ในสแต็กซอฟต์แวร์สมัยใหม่