การทดสอบประสิทธิภาพของ Hack The Box: ทีมที่ได้รับการเสริมด้วย AI มีประสิทธิภาพเหนือกว่าทีมนักวิเคราะห์ความปลอดภัยทางไซเบอร์ของมนุษย์

การศึกษาใหม่จาก Hack The Box ในชื่อ “รายงานเปรียบเทียบประสิทธิภาพด้านความปลอดภัยไซเบอร์ระหว่างทีมที่เสริมด้วย AI กับทีมมนุษย์ล้วน” พบว่าทีมความปลอดภัยไซเบอร์ที่เสริมด้วย AI สามารถทำผลงานเหนือกว่าทีมมนุษย์ล้วนอย่างมาก โดยทีมชั้นนำทำงานเสร็จเร็วขึ้นถึง 4.1 เท่า ผลการศึกษานี้อาศัยข้อมูลจากการแข่งขัน NeuroGrid Capture the Flag (CTF) ซึ่งเป็นการทดสอบในสภาพจริงขนาดใหญ่ที่สุดรายการหนึ่งที่เปรียบเทียบทีมซึ่งมี AI แบบเอเจนต์ช่วยกับทีมมนุษย์แบบดั้งเดิมในการทำงานด้านความปลอดภัยไซเบอร์

การทดสอบวิเคราะห์ข้อมูลการแข่งขัน NeuroGrid Capture the Flag (CTF) ซึ่งมีทีมมนุษย์ล้วนลงทะเบียน 1,337 ทีม และทีมเอเจนต์ AI 156 ทีม โดยมีทีมมนุษย์ 958 ทีม และทีม AI 120 ทีมที่ลงมือพยายามแก้โจทย์จริง จากโจทย์ความปลอดภัยไซเบอร์ 36 ข้อ ครอบคลุมเก้าสาขาทางเทคนิคและสี่ระดับความยาก

ผลลัพธ์ชี้ให้เห็นทั้งผลิตภาพที่เพิ่มขึ้นของปฏิบัติการความปลอดภัยไซเบอร์ที่เสริมด้วย AI และความท้าทายด้านบุคลากรที่องค์กรอาจเผชิญ เมื่อระบบอัตโนมัติเปลี่ยนรูปแบบการทำงานของทีมรักษาความปลอดภัย

ทีมที่เสริมด้วย AI เพิ่มประสิทธิภาพได้อย่างวัดผลได้

การทดสอบแสดงให้เห็นว่าการผสานเอเจนต์ AI เข้ากับกระบวนการทำงานด้านความปลอดภัยไซเบอร์สามารถเพิ่มปริมาณผลงานได้อย่างมาก โดยเฉพาะเมื่อทำงานร่วมกับผู้ปฏิบัติงานที่มีประสบการณ์

ข้อค้นพบสำคัญ ได้แก่:

• ทีมชั้นนำที่เสริมด้วย AI สร้างผลงานได้มากกว่าทีมมนุษย์ล้วนถึง 4.1 เท่า
• ผลิตภาพของทุกทีมเพิ่มขึ้น 1.4 เท่าในช่วงเวลาเดียวกัน
• ทีมที่เสริมด้วย AI มีอัตราการแก้โจทย์สำเร็จสูงขึ้น 70%
• ทีม AI มีอัตราการแก้โจทย์สำเร็จ 27% เทียบกับ 16% สำหรับทีมมนุษย์ล้วนชั้นนำ
• อัตราส่วนอัตราการแก้โจทย์สำเร็จโดยรวมของผู้เข้าร่วมทั้งหมดสูงขึ้น 3.2 เท่า

Haris Pylarinos ซีอีโอและผู้ก่อตั้ง Hack The Box ระบุว่า ผลลัพธ์แสดงให้เห็นว่า AI สามารถเพิ่มความเร็วในการปฏิบัติงานได้อย่างมาก แต่ยังต้องมีมนุษย์กำกับดูแล

“AI สามารถยกระดับผลงานด้านความปลอดภัยไซเบอร์ได้ แต่ไม่ได้ทำให้ความเชี่ยวชาญของมนุษย์หมดความจำเป็น” Pylarinos กล่าว “องค์กรต้องพัฒนาทีมที่ใช้ AI ได้อย่างคล่องแคล่ว และกระบวนการทำงานที่มีมนุษย์ร่วมกำกับ เพื่อใช้ประโยชน์เหล่านี้อย่างปลอดภัย”

ต่างจากการทดสอบสังเคราะห์ที่มักใช้ประเมิน AI การแข่งขันนี้ใช้โจทย์ความปลอดภัยไซเบอร์ระดับวิชาชีพภายใต้แรงกดดันของการแข่งขันจริง จึงเปรียบเทียบทีมที่มี AI ช่วยกับทีมมนุษย์ได้ใกล้เคียงสภาพการปฏิบัติงานจริงมากกว่า

รูปแบบผสมระหว่างมนุษย์กับ AI กลายเป็นกลยุทธ์ที่ได้ผลดีที่สุด

แม้ AI จะช่วยเร่งการทำงานอย่างมาก การศึกษาพบว่า ทีมผสมที่รวมเอเจนต์ AI กับผู้ปฏิบัติงานมนุษย์สร้างผลลัพธ์โดยรวมที่ดีที่สุด

ในการแข่งขัน:

• 73.3% ของทีมที่เสริมด้วย AI แก้โจทย์สำเร็จอย่างน้อยหนึ่งข้อ เทียบกับ 46% ของทีมมนุษย์ล้วน
• เอเจนต์ AI มักเพิ่มผลิตภาพพื้นฐาน แต่ยังต้องให้มนุษย์ตรวจสอบและกำหนดทิศทางเชิงกลยุทธ์เมื่อต้องเผชิญงานซับซ้อน

สำหรับ CISO และผู้นำด้านความปลอดภัย รายงานเน้นว่า AI ควรเป็น ตัวทวีคูณขีดความสามารถ เป็นหลัก ไม่ใช่สิ่งทดแทนผู้เชี่ยวชาญด้านความปลอดภัยไซเบอร์

ผลกระทบของ AI แตกต่างอย่างมากตามระดับทักษะ

ข้อค้นพบสำคัญที่สุดประการหนึ่งคือ AI ส่งผลต่อผู้ปฏิบัติงานด้านความปลอดภัยไซเบอร์แตกต่างกันตามระดับประสบการณ์

ช่วงต้นอาชีพ: “ภาพลวงตาของผลิตภาพ”

สำหรับผู้ปฏิบัติงานระดับเริ่มต้น AI อาจช่วยเชื่อมช่องว่างด้านความสามารถ ทำให้แก้โจทย์ที่ปกติอาจยากเกินไปได้ อย่างไรก็ตาม รายงานเตือนว่าอาจเกิดความรู้สึกว่ามีผลิตภาพสูงทั้งที่ไม่เป็นจริง หากนักวิเคราะห์รุ่นใหม่ขาดความเชี่ยวชาญในการตรวจสอบผลลัพธ์ของ AI หรือชี้นำกระบวนการทำงานของเอเจนต์อย่างมีประสิทธิภาพ

ในบางกรณี ทีมที่เสริมด้วย AI ซึ่งมีผลงานต่ำกลับ ช้าลง 12.5% โดยมักติดอยู่ในวงจรการทำงานที่ไม่มีประสิทธิภาพ เมื่อผู้ปฏิบัติงานขาดทักษะการกำกับดูแลที่เพียงพอ

ช่วงกลางอาชีพ: จุดที่ AI ให้ประโยชน์สูงสุด

ผลิตภาพเพิ่มขึ้นมากที่สุดในกลุ่ม นักวิเคราะห์ช่วงกลางอาชีพ โดยเฉพาะเมื่อทำงานที่มีความซับซ้อนปานกลาง

ในกลุ่มนี้:

• ความได้เปรียบของ AI สูงสุดที่การเพิ่มประสิทธิภาพ 3.89 เท่าในการแก้โจทย์ระดับปานกลาง
• ทีมระดับกลางทำงานเสร็จเร็วขึ้น 40–70% เมื่อเทียบกับทีมมนุษย์ล้วน

จึงชี้ว่าองค์กรอาจได้ผลตอบแทนจากการลงทุนใน AI อย่างรวดเร็วที่สุดด้วยการนำระบบเอเจนต์มาใช้ร่วมกับนักวิเคราะห์ระดับกลาง

ผู้ปฏิบัติงานชั้นนำ: ได้เปรียบด้านความเร็ว ไม่ได้ทดแทนความสามารถ

ในกลุ่มผู้มีผลงานชั้นนำ ช่องว่างระหว่างทีมที่เสริมด้วย AI กับผู้เชี่ยวชาญมนุษย์แคบลงอย่างมาก

ตัวอย่างเช่น:

• ทีมมนุษย์ที่ดีที่สุดแก้โจทย์ครบทั้ง 36 ข้อ ส่วนทีมที่เสริมด้วย AI ที่ดีที่สุดทำสำเร็จ 32 จาก 36 ข้อ
• ในกลุ่มผลงานสูงสุด 5% ความได้เปรียบด้านอัตราการแก้โจทย์สำเร็จลดเหลือ 1.69 เท่า

อย่างไรก็ตาม AI ยังได้เปรียบอย่างมากด้านความเร็ว โดยทีมชั้นนำที่เสริมด้วย AI แก้โจทย์ได้เร็วขึ้นสามถึงสี่เท่า

“ปฏิทรรศน์ความยาก” เผยจุดที่ AI ยังติดขัด

การศึกษายังพบสิ่งที่นักวิจัยเรียกว่า “ปฏิทรรศน์ความยาก” ในประสิทธิภาพของ AI

ความได้เปรียบของ AI เพิ่มขึ้นตามความซับซ้อนของงาน แต่ถึงเพียงจุดหนึ่งเท่านั้น:

• โจทย์ง่ายมาก: ทีม AI ได้เปรียบประมาณ 2.4 เท่า
• โจทย์ปานกลาง: ได้เปรียบ 3.89 เท่า ซึ่งเป็นช่วงที่มีประสิทธิภาพสูงสุด
• โจทย์ยาก: ความได้เปรียบลดเหลือ 2.97 เท่า เผยข้อจำกัดในการใช้เหตุผลของ AI

บางสาขาที่ต้องใช้ความคิดสร้างสรรค์ เช่น การเขียนโค้ดและวิศวกรรมย้อนกลับ มีผลลัพธ์ใกล้เคียงกันระหว่างมนุษย์ชั้นนำกับระบบ AI ชี้ให้เห็นว่าสัญชาตญาณและการใช้เหตุผลในรูปแบบใหม่ของมนุษย์ยังสำคัญ

ประสิทธิภาพของ AI แตกต่างกันมากระหว่างสาขา ตั้งแต่ ได้เปรียบ 5.15 เท่าในงานเขียนโค้ดอย่างปลอดภัย ไปจนถึง 1.68 เท่าในงานนิติวิทยาศาสตร์ดิจิทัล

วิกฤตที่อาจเกิดกับเส้นทางพัฒนาบุคลากร

นอกเหนือจากผลิตภาพที่เพิ่มขึ้น รายงานยกข้อกังวลด้านบุคลากรระยะยาวว่า AI อาจรบกวนเส้นทางการฝึกฝนที่สร้างผู้เชี่ยวชาญความปลอดภัยไซเบอร์ในอนาคต

งานความปลอดภัยระดับเริ่มต้น ซึ่งเดิมใช้ฝึกนักวิเคราะห์รุ่นใหม่ สามารถทำเป็นอัตโนมัติได้มากขึ้น ทีม AI ทำผลงานเหนือกว่าทีมมนุษย์อย่างมากในโจทย์ระดับง่ายที่สุด ชี้ว่างานที่เคยใช้ฝึกนักวิเคราะห์ใหม่อาจตกไปเป็นหน้าที่ของระบบอัตโนมัติมากขึ้น

หากองค์กรทำให้งานช่วงต้นอาชีพเป็นอัตโนมัติมากเกินไป รายงานเตือนว่าเสี่ยงเกิด “ช่องว่างของบุคลากรระดับกลาง” ในเส้นทางพัฒนาบุคลากร โดยมีนักวิเคราะห์น้อยลงที่ได้พัฒนาทักษะจำเป็นเพื่อก้าวเป็นผู้เชี่ยวชาญด้านความปลอดภัยระดับอาวุโส

นัยต่อผู้นำด้านความปลอดภัย

สำหรับ CISO และผู้นำด้านความปลอดภัยขององค์กร ผลการศึกษาชี้ว่าการนำเครื่องมือ AI มาใช้ไม่ใช่ทางเลือกที่ละเลยได้อีกต่อไป

องค์กรที่ไม่ผสาน AI เข้ากับปฏิบัติการรักษาความปลอดภัยอาจเผชิญฝ่ายตรงข้ามที่ใช้ AI เร่งการโจมตีและใช้ประโยชน์จากช่องโหว่ได้เร็วกว่าทีมแบบดั้งเดิมจะตอบสนองทัน

รายงานแนะนำ กลยุทธ์สามระดับสำหรับการผสาน AI:

• ฝึกบุคลากรระดับเริ่มต้นใหม่ให้มุ่งที่การกำกับดูแลและตรวจสอบ AI แทนงานที่ทำด้วยมือ
• นำ AI มาใช้ร่วมกับนักวิเคราะห์ช่วงกลางอาชีพก่อน ซึ่งเป็นกลุ่มที่ผลิตภาพเพิ่มขึ้นสูงสุด
• รักษาบุคลากรชั้นนำและให้ทำงานคู่กับ AI ผู้ช่วย เพื่อเร่งการตอบสนองต่อเหตุการณ์และการวิเคราะห์ภัยคุกคามขั้นสูง

ท้ายที่สุด รายงาน ชี้ว่าอนาคตของความปลอดภัยไซเบอร์จะไม่ใช่ AI แข่งกับมนุษย์ แต่เป็น มนุษย์ที่เสริมด้วย AI และทำงานด้วยความเร็วระดับเครื่องจักร