ความปลอดภัยไซเบอร์

Anaconda ผสานฝูงเอเจนต์ AI กับการทดสอบความปลอดภัยอัตโนมัติ

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Conceptual illustration of coordinated AI agents and software components passing through a security inspection gate

การให้เครื่องมือเพิ่มเติมกับเอเจนต์ AI ทำให้มันมีประโยชน์มากขึ้น การให้หลายเอเจนต์พร้อมกันเข้าถึงเครื่องมือเหล่านั้นทำให้เกิดคำถามที่ซับซ้อนขึ้น: องค์กรจะติดตามว่าทุกเอเจนต์ทำอะไรและหยุดการกระทำที่เป็นอันตรายก่อนที่จะถึงระบบจริงได้อย่างไร?

การขยายแพลตฟอร์มของ Anaconda วันที่ 6 ตุลาคม แก้ไขปัญหานั้นโดยผสานการพัฒนา AI ที่ประสานงานกันกับการทดสอบความปลอดภัยอัตโนมัติ. มันรวบรวมเทคโนโลยีจาก Kilo Code, Enkrypt AI และ Outerbounds ไว้ในพื้นที่ทำงานการพัฒนา, การควบคุมความปลอดภัยและการจัดการการผลิต

แนวคิดเชิงกลยุทธ์คือการเชื่อมต่อสถานที่ที่เอเจนต์สร้างซอฟต์แวร์, ที่พฤติกรรมของพวกเขาถูกทดสอบ, และที่เวิร์กโฟลว์ที่ได้ทำงาน. Anaconda เรียกสิ่งนี้ว่า AI Dev Factory. สำหรับองค์กร, คำถามเชิงปฏิบัติคือการเชื่อมต่อเหล่านี้ทำให้การเพิ่มความเป็นอิสระของเอเจนต์ง่ายต่อการตรวจสอบและการกำกับดูแลหรือไม่.

วิธีที่เอเจนต์ของ Kilo ประสานงานการทำงานของพวกเขา

ฝูงเอเจนต์จะกระจายงานที่เกี่ยวข้องไปยังเอเจนต์ AI หลายตัว. หนึ่งคนอาจตรวจสอบการออกแบบการรับรองตัวตนในขณะที่อีกคนเขียนการทดสอบหรือดำเนินการส่วนประกอบแยกต่างหาก. ข้อได้เปรียบที่อาจเกิดคือความก้าวหน้าแบบขนาน, หากเอเจนต์สามารถแชร์การค้นพบและหลีกเลี่ยงการทำงานที่ขัดแย้งกัน.

คำอธิบายเชิงเทคนิคของ Swarm โดย Kilo อธิบายกลไกการประสานงาน: เซสชันหลักและเอเจนต์ที่สืบทอดจากมันแชร์บอร์ดข้อความ. เอเจนต์สามารถโพสต์ผลการค้นหาและอ่านบอร์ดขณะทำงานต่อไป, แทนที่จะรอให้ทุกงานย่อยเสร็จสิ้นก่อนที่จะแลกเปลี่ยนผลลัพธ์.

ความแตกต่างนั้นสำคัญ. เอเจนต์ทดสอบสามารถเรียนรู้เกี่ยวกับการตัดสินใจการรับรองตัวตนก่อนที่จะเขียนชุดทดสอบที่สมมติสิ่งที่ต่างออกไป. Kilo ระบุว่าการประเมินภายในในช่วงแรกชี้ให้เห็นว่าการลดงานซ้ำซ้อนสามารถลดการใช้โทเคนได้, แต่ยังไม่ได้เผยแพร่ผลลัพธ์เชิงตัวเลขสำหรับข้ออ้างนั้น.

เอกสารเดียวกันยังกำหนดขอบเขตที่ควรเข้าใจ: ข้อความบนบอร์ดไม่ทำให้เอเจนต์ตื่น, เริ่มทำงานต่อหรืออนุมัติ, และข้อความถือครองหรือปฏิเสธเชิงที่ปรึกษาไม่ได้หยุดเอเจนต์โดยอัตโนมัติ. ทุกคนที่เข้าร่วมสามารถอ่านประวัติบอร์ดเต็มได้. ดังนั้นการประสานงานจึงต้องแยกจากสิทธิ์ที่บังคับใช้และการควบคุมการดำเนินการ.

Anaconda’s หน้าเปิดตัว วางเวิร์กโฟลว์เหล่านี้ใน VS Code และอธิบายการทำงานแบบขนานใน worktrees. นอกจากนี้ยังเปิดตัว Kilo Desktop ในรุ่นเบต้า, ซึ่งรวมการวิศวกรรม, วิทยาศาสตร์ข้อมูลและการจัดการสภาพแวดล้อม Python พร้อมการเข้าถึงโมเดลกว่า 500 รายการและการสรุปผลในเครื่อง.

การทดสอบความปลอดภัยที่ปรับเปลี่ยนยุทธวิธี

Enkrypt AI จัดหาด้านการทดสอบแบบต่อสู้ของแพลตฟอร์ม. Anaconda ระบุว่าข้อเสนอด้านความปลอดภัยที่ขยายนี้ทดสอบโมเดล, เอเจนต์และการบูรณาการ MCP ในกว่า 300 ประเภทการโจมตี, พร้อมการปกป้องระหว่างการทำงาน.

In its คำอธิบายเชิงเทคนิคของการทำ red teaming อัตโนมัติ, Anaconda อธิบายว่าการเริ่มต้นด้วยรูปแบบการโจมตีที่รู้จักแล้วใช้เอเจนต์ปรับวิธีการให้สอดคล้องกับการตอบสนองของเป้าหมาย. เอเจนต์สร้างสมมติฐานเกี่ยวกับจุดอ่อน, ทดสอบ, ตรวจสอบผลลัพธ์และตัดสินใจว่าจะลองอะไรต่อไป

ตัวอย่างเช่น การปฏิเสธอาจทำให้เปลี่ยนกลยุทธ์แทนการพิมพ์ซ้ำคำขอเดียวกัน. ระบบใช้หน่วยความจำของเซสชันเพื่อหลีกเลี่ยงการทำซ้ำแนวทางที่ล้มเหลวและการสำรวจแบบขนานเพื่อสอบสวนความเสี่ยงที่ต่างกันพร้อมกัน. Anaconda ระบุว่าการทดสอบนี้ทำงานภายในสภาพแวดล้อมของลูกค้าและปรับให้เข้ากับโมเดลภัยคุกคามของการปรับใช้.

แนวทางนี้เกี่ยวข้องกับเอเจนต์ที่รับข้อมูลจากเครื่องมือและแหล่งภายนอก. ความเสี่ยงไม่ได้จำกัดเพียงคำตอบที่ไม่ปลอดภัย: คำสั่งที่ซ่อนอยู่ในข้อมูลที่ดึงมาอาจชี้นำการเรียกใช้เครื่องมือในภายหลัง. การทดสอบจำเป็นต้องตรวจสอบห่วงโซ่ของพฤติกรรม, รวมถึงข้อมูลที่เอเจนต์เชื่อถือและการกระทำที่ตามมา.

การป้องกันการทำงานแบบรันไทม์แก้ปัญหาอื่น

ผลิตภัณฑ์ Guardrails ของ Enkrypt AI ออกแบบมาเพื่ออนุมัติ, ปรับเปลี่ยนหรือบล็อกพฤติกรรมที่เสี่ยงในเอเจนต์, เครื่องมือ, การสร้างแบบเสริมการดึงข้อมูลและการเชื่อมต่อ Model Context Protocol

บริษัทระบุการฉีดคำสั่ง, การกระทำของเครื่องมือที่ไม่ปลอดภัย, การละเมิดขอบเขตสิทธิ์และการขโมยข้อมูลที่ละเอียดอ่อนเป็นหนึ่งในความเสี่ยงที่มุ่งเป้า. การเน้นที่การตัดสินใจที่ตรวจสอบได้ทำให้ชั้นควบคุมนี้มีความสำคัญต่อการสืบสวนเหตุการณ์เช่นเดียวกับการป้องกัน.

การเปิดตัวของ Anaconda ยังรวมคะแนนความเสี่ยงของโมเดลใน Kilo และ Agent Incident Registry ที่มีรายงานเหตุการณ์สาธารณะที่อ้างอิงแหล่งข้อมูล. สิ่งเหล่านี้สามารถใช้เป็นข้อมูลในการเลือกโมเดลและกำหนดลำดับความสำคัญของการทดสอบ. ควรถือว่าเป็นข้อมูลเข้าสู่กระบวนการความปลอดภัย, ไม่ใช่หลักฐานว่าการปรับใช้เฉพาะเจาะจงนั้นปลอดภัย.

ตัวเลขขนาดต้องการการดูแลเช่นเดียวกัน. Anaconda รายงานว่า 63% ของผู้ตอบแบบสำรวจผู้สร้าง AI‑native กำลังมุ่งสู่ฝูงในรูปแบบใดรูปแบบหนึ่ง. การประกาศของบริษัทยังอ้างอิงการวิจัยของ Enkrypt ที่พบช่องโหว่าใน 73% ของเซิร์ฟเวอร์ MCP จำนวน 25,264 เครื่องที่สแกนในช่วงสี่เดือน. สิ่งเหล่านี้เป็นผลการรายงานของผู้จำหน่ายเกี่ยวกับผู้ตอบและระบบที่ตรวจสอบ, ไม่ใช่การวัดทุกการปรับใช้เอเจนต์ขององค์กร.

ทำไมสภาพแวดล้อมการผลิตจึงเป็นส่วนสำคัญของเรื่องราว

Anaconda’s แพลตฟอร์ม AI Orchestration ซึ่งเดิมชื่อ Outerbounds แก้ไขสิ่งที่เกิดขึ้นหลังการพัฒนา เว็บไซต์ของบริษัทอธิบายการรันเวิร์กโฟลว์ที่ทำซ้ำได้ การติดตามศิลปวัตถุและแหล่งกำเนิด พร้อมด้วยการคำนวณที่พร้อมใช้งานบนคลาวด์หลายแห่งและการกำกับดูแลที่นำไปใช้กับแพ็กเกจและโมเดล

สิ่งนี้ทำให้สามารถเชื่อมต่อผลลัพธ์กับสภาพแวดล้อมและการพึ่งพาที่สร้างมันขึ้นมาได้ เมื่อเวิร์กโฟลว์มีการเปลี่ยนแปลง ทีมต้องการทราบว่าโมเดล แพ็กเกจ หรือแนวนโยบายใดที่เปลี่ยนแปลงพร้อมกับมัน ความสามารถในการทำซ้ำทำให้การสืบสวนและการเปรียบเทียบเป็นเรื่องที่ทำได้จริงมากขึ้น

การเปิดตัวในเดือนตุลาคมเพิ่มการเข้าถึงศิลปวัตถุที่กำกับดูแลโดยตรงภายในเวิร์กโฟลว์การจัดระเบียบ หน้าเผยแพร่ที่กว้างขวางยิ่งขึ้นยังอธิบาย Fast Bakery ซึ่งสร้างอิมเมจคอนเทนเนอร์จากการพึ่งพา conda และ PyPI รวมถึงไลบรารีเนทีฟ และแคตาล็อกที่ขยายเป็นแพ็กเกจคัดสรรกว่า 19,000 รายการและโมเดลโอเพ่นซอร์สที่ตรวจสอบแล้ว 77 รายการ

การขยายนี้ทำให้ Anaconda มีบทบาทที่กว้างกว่าการจัดหาองค์ประกอบของ Python ข้อเสนอของบริษัทขยายไปครอบคลุมการพัฒนาที่ช่วยโดยเอเจนต์ การประเมินแบบต่อสู้ การควบคุมระหว่างการทำงาน และการส่งมอบที่ทำซ้ำได้ การทดสอบที่มีความหมายคือว่าชิ้นส่วนเหล่านี้จะให้ทีมมีบันทึกที่เชื่อถือได้เกี่ยวกับสิ่งที่เอเจนต์สร้าง สิ่งที่ถูกทดสอบ และสิ่งที่พวกเขาได้รับอนุญาตให้ทำเมื่อซอฟต์แวร์เริ่มทำงานหรือไม่

Miles Okada เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมปัญญาประดิษฐ์และความปลอดภัยไซเบอร์โดยมุ่งเน้นที่ภัยคุกคามใหม่ ๆ สถาปัตยกรรมการป้องกัน และพลวัตที่เปลี่ยนแปลงระหว่างผู้โจมตีและระบบอัตโนมัติ งานของเขาตรวจสอบว่า AI กำลังเปลี่ยนแปลงการดำเนินงานด้านความปลอดภัยอย่างไร ตั้งแต่การตรวจจับและตอบสนองต่อภัยคุกคามโดยอัตโนมัติจนถึงการเพิ่มขึ้นของเทคนิค AI ปฏิปักษ์

ด้วยมุมมองเชิงเทคนิคและการสืบสวน Miles วิเคราะห์งานวิจัยด้านความปลอดภัย การเปิดเผยเหตุการณ์ และการใช้งานจริงเพื่อเข้าใจว่าที่ไหน AI เสริมสร้างการป้องกัน—และที่ไหนมันสร้างช่องโหว่ใหม่ เขาให้ความสนใจเป็นพิเศษต่อการใช้โมเดลในทางที่ผิด การปนเปื้อนข้อมูล การทำงานอัตโนมัติของการโจมตี และความเป็นจริงในการดำเนินงานของการรักษาความปลอดภัยระบบที่ขับเคลื่อนด้วย AI ในระดับใหญ่

บทความที่เขียนโดย Miles Okada ถูกสร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อให้แน่ใจว่ามีความแม่นยำ ความเข้มงวด และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์ความปลอดภัย AI ที่เปลี่ยนแปลงอย่างรวดเร็ว