ผู้นำทางความคิด
การควบคุมฮัลลูซิเนชัน: ข้อดีและความเสี่ยงของการใช้ LLMs ในกระบวนการรักษาความปลอดภัย
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Large Language Models (LLMs) ที่ได้รับการฝึกฝนจากข้อมูลจำนวนมากสามารถทำให้ทีมปฏิบัติการรักษาความปลอดภัยมีความฉลาดมากขึ้น LLMs ให้คำแนะนำและคำแนะนำในการตอบสนอง การตรวจสอบ การจัดการท่าทาง และอื่นๆ ส่วนใหญ่ทีมรักษาความปลอดภัยกำลังทดลองหรือใช้ LLMs เพื่อลดการทำงานด้วยมือในกระบวนการทำงาน ซึ่งสามารถใช้สำหรับงานที่ซับซ้อนและงานที่ซับซ้อนน้อยได้
ตัวอย่างเช่น LLM สามารถส่งอีเมลถึงพนักงานเพื่อสอบถามว่าพวกเขาตั้งใจจะแชร์เอกสารที่เป็นของลับหรือไม่ และประมวลผลคำตอบพร้อมคำแนะนำสำหรับผู้ปฏิบัติการรักษาความปลอดภัย LLM ยังสามารถรับมอบหมายให้ค้นหาการโจมตีในโซ่ поставщикที่เปิดกว้างและสร้างตัวแทนใหม่ที่มุ่งเน้นไปที่เงื่อนไขเฉพาะ — ผู้ร่วมให้ข้อมูลใหม่ในไลบรารีที่ใช้กันอย่างแพร่หลาย รูปแบบโค้ดที่ไม่เหมาะสม — โดยมีตัวแทนแต่ละตัวพร้อมสำหรับเงื่อนไขเฉพาะนั้น
อย่างไรก็ตาม ระบบ AI ที่ทรงพลังนี้มีความเสี่ยงที่สำคัญที่แตกต่างจากความเสี่ยงที่ทีมรักษาความปลอดภัยต้องเผชิญ โมเดลที่ขับเคลื่อน LLMs สำหรับการรักษาความปลอดภัยสามารถถูกบุกรุกได้โดยการฉีดข้อมูลหรือการปนเปื้อนข้อมูล การวนซ้ำอย่างต่อเนื่องและอัลกอริทึมการเรียนรู้ของเครื่องโดยไม่มีการกำกับดูแลของมนุษย์ที่เพียงพอสามารถทำให้ผู้โจมตีสามารถทดสอบการควบคุมและทำให้เกิดการตอบสนองที่ไม่เหมาะสม LLMs มีความเสี่ยงต่อการฮัลลูซิเนชัน แม้ในช่วงโดเมนที่จำกัด LLMs ที่ดีที่สุดสามารถสร้างสิ่งที่ไม่มีอยู่จริงเมื่อไม่รู้คำตอบ
กระบวนการรักษาความปลอดภัยและนโยบาย AI เกี่ยวกับการใช้ LLMs และกระบวนการทำงานจะกลายเป็นสิ่งสำคัญมากขึ้นเมื่อระบบเหล่านี้กลายเป็นที่นิยมมากขึ้นในการดำเนินงานรักษาความปลอดภัยและวิจัย การตรวจสอบให้แน่ใจว่ากระบวนการเหล่านี้ถูกปฏิบัติตามและวัดผลในระบบการกำกับดูแลจะช่วยให้ CISO สามารถให้ความคุ้มครอง GRC (การกำกับดูแล ความเสี่ยง และการปฏิบัติตาม) ที่เพียงพอเพื่อตอบสนองคำสั่งใหม่ๆ เช่น Cybersecurity Framework 2.0
ความหวังใหญ่ของ LLMs ในการรักษาความปลอดภัย
CISO และทีมของพวกเขาต้องต่อสู้อย่างต่อเนื่องเพื่อติดตามการโจมตีไซเบอร์ที่เพิ่มขึ้นใหม่ๆ ตาม Qualys จำนวน CVE ที่รายงานในปี 2023 ถึง 26,447 ซึ่งเพิ่มขึ้นมากกว่า 5 เท่าจากปี 2013
ความท้าทายนี้กลายเป็นเรื่องที่ยากขึ้นเมื่อขนาดพื้นที่โจมตีขององค์กรโดยเฉลี่ยเพิ่มขึ้นทุกปี ทีม AppSec ต้องรักษาความปลอดภัยและตรวจสอบซอฟต์แวร์หลายแอปพลิเคชันมากขึ้น เทคโนโลยีคลาวด์ API มัลติคลาวด์ และการเสมือน化ได้เพิ่มความซับซ้อนมากขึ้น ด้วยเครื่องมือและกระบวนการ CI/CD ที่ทันสมัย ทีมแอปพลิเคชันสามารถส่งโค้ดได้เร็วขึ้นและบ่อยขึ้น มाइक로서비스ได้แบ่งแยกแอปพลิเคชันแบบโมโนลิธิกออกเป็น API หลายตัวและเพิ่มพื้นที่โจมตีและสร้างรูในไฟร์วอลล์ระดับโลกเพื่อการสื่อสารกับบริการภายนอกหรืออุปกรณ์ของลูกค้า
LLMs ที่ทันสมัยมีความหวังใหญ่ที่จะลดภาระงานของทีมรักษาความปลอดภัยและเพิ่มความสามารถของพวกเขา เครื่องมือโค้ด AI ที่มีพลังได้เข้ามาในพื้นที่พัฒนาซอฟต์แวร์อย่างกว้างขวาง การวิจัยของ Github พบว่า 92% ของนักพัฒนาสามารถใช้หรือเคยใช้เครื่องมือ AI สำหรับการแนะนำโค้ดและเสร็จสิ้นโค้ด ส่วนใหญ่ของ “คู่หู” เหล่านี้มีความสามารถด้านความปลอดภัยจริงๆ ในความเป็นจริง สาขาที่มีผลลัพธ์แบบไบนารี่ เช่น การเขียนโค้ด (โค้ดจะผ่านหรือล้มเหลวการทดสอบหน่วย) เหมาะสมสำหรับ LLMs นอกเหนือจากการสแกนโค้ดสำหรับการพัฒนาซอฟต์แวร์และในกระบวนการ CI/CD AI อาจมีคุณค่าสำหรับทีมรักษาความปลอดภัยในหลายวิธี:
- การวิเคราะห์ที่ดีขึ้น: LLMs สามารถประมวลผลข้อมูลรักษาความปลอดภัยจำนวนมาก (บันทึก ข้อความเตือน ข้อมูลภัยคุกคาม) เพื่อระบุรูปแบบและความสัมพันธ์ที่ไม่เห็นได้ด้วยมนุษย์ สามารถทำได้หลายภาษา ตลอด 24 ชั่วโมง และหลายมิติพร้อมกัน ซึ่งเปิดโอกาสใหม่ๆ สำหรับทีมรักษาความปลอดภัย LLMs สามารถลดข้อความเตือนได้เร็วๆ ในเวลาใกล้เคียง โดยระบุข้อความเตือนที่อาจรุนแรงที่สุดได้ ด้วยการเรียนรู้แบบเสริม การวิเคราะห์ควรปรับปรุงขึ้นเมื่อเวลาผ่านไป
- การทำงานอัตโนมัติ: LLMs สามารถทำงานอัตโนมัติสำหรับทีมรักษาความปลอดภัยที่ต้องการการสื่อสารกลับไปกลับมา ตัวอย่างเช่น เมื่อทีมรักษาความปลอดภัยได้รับ IoC และต้องถามเจ้าของจุดสิ้นสุดว่าพวกเขาล็อกอินเข้าไปในอุปกรณ์หรือไม่ หรือว่าพวกเขาตั้งอยู่นอกพื้นที่ทำงานปกติ LLM สามารถดำเนินการเหล่านี้ได้ และติดตามคำถามตามที่จำเป็นพร้อมลิงก์หรือคำแนะนำ ตัวอย่างเช่น Microsoft Copilot สำหรับการรักษาความปลอดภัยสามารถสร้างรายงานการวิเคราะห์เหตุการณ์และแปลโค้ดมัลแวร์ที่ซับซ้อนเป็นคำอธิบายภาษธรรมดา
- การเรียนรู้และการปรับแต่งอย่างต่อเนื่อง: ไม่เหมือนกับระบบการเรียนรู้ของเครื่องก่อนหน้านี้สำหรับนโยบายและความเข้าใจรักษาความปลอดภัย LLMs สามารถเรียนรู้ได้โดยการดูดซับอันดับของมนุษย์สำหรับการตอบสนองและปรับแต่งใหม่ด้วยกลุ่มข้อมูลใหม่ที่อาจไม่ได้ถูกบรรจุในไฟล์บันทึกภายในจริงๆ ด้วยการใช้แบบจำลองพื้นฐานเดียวกัน LLMs สำหรับการรักษาความปลอดภัยสามารถปรับแต่งสำหรับทีมและความต้องการที่แตกต่างกัน กระบวนการทำงาน หรืองานเฉพาะภูมิภาคหรือแนวตั้ง ซึ่งหมายความว่าระบบทั้งหมดสามารถฉลาดได้เหมือนกับแบบจำลองโดยมีการเปลี่ยนแปลงที่แพร่กระจายอย่างรวดเร็วทั่วทั้งอินเทอร์เฟซ
ความเสี่ยงของ LLMs สำหรับการรักษาความปลอดภัย
ในฐานะเทคโนโลยีใหม่ที่มีประวัติที่สั้น LLMs มีความเสี่ยงที่รุนแรง ยิ่งไปกว่านั้น การทำความเข้าใจขอบเขตของความเสี่ยงเหล่านี้เป็นเรื่องที่ท้าทายเพราะผลลัพธ์ของ LLMs ไม่สามารถคาดเดาได้ 100% หรือเป็นไปตามโปรแกรม ตัวอย่างเช่น LLMs สามารถ “ฮัลลูซิเนต” และสร้างคำตอบหรือตอบคำถามไม่ถูกต้องตามข้อมูลที่ไม่มีอยู่จริง ก่อนที่จะนำ LLMs ไปใช้สำหรับการรักษาความปลอดภัย ควรพิจารณาความเสี่ยงที่อาจเกิดขึ้น รวมถึง:
- การฉีดข้อมูล: ผู้โจมตีสามารถสร้างข้อความที่เป็นอันตรายเพื่อสร้างผลลัพธ์ที่ทำให้เข้าใจผิดหรือเป็นอันตรายได้ การโจมตีนี้สามารถใช้ประโยชน์จากความสามารถของ LLMs ในการสร้างเนื้อหาตามข้อความที่ได้รับ ในกรณีการรักษาความปลอดภัย การฉีดข้อมูลอาจเป็นรูปแบบการโจมตีจากภายในหรือการโจมตีโดยผู้ไม่ได้รับอนุญาตที่ใช้ข้อความเพื่อเปลี่ยนพฤติกรรมของระบบอย่างถาวร ซึ่งอาจสร้างผลลัพธ์ที่ไม่ถูกต้องหรือไม่ถูกต้องสำหรับผู้ใช้ระบบอื่นๆ
- การปนเปื้อนข้อมูล: ข้อมูลที่ LLMs พึ่งพานั้นสามารถถูกบุกรุกได้โดยเจตนา ซึ่งกระทบต่อการตัดสินใจของพวกเขา ในกรณีการรักษาความปลอดภัย การปนเปื้อนข้อมูลอาจเกิดขึ้นระหว่างการปรับแต่งแบบจำลองสำหรับลูกค้าและกรณีการใช้งานเฉพาะ ความเสี่ยงนี้อาจเกิดขึ้นเมื่อมีการเพิ่มข้อมูลที่ไม่ดี — ตัวอย่างเช่น ไฟล์บันทึกที่ถูกบุกรุก — เพื่อหลอกลวงกระบวนการฝึกอบรม ซึ่งจะส่งผลให้ LLMs ให้ผลลัพธ์ตามข้อมูลที่ไม่ดี
- ฮัลลูซิเนชัน: LLMs อาจสร้างคำตอบที่ไม่ถูกต้องตามข้อมูลที่ไม่มีอยู่จริงหรือมีเจตนาไม่ดี ในกรณีการรักษาความปลอดภัย ฮัลลูซิเนชันสามารถส่งผลให้เกิดข้อผิดพลาดที่สำคัญซึ่งทำให้การรักษาความปลอดภัยถูกบุกรุก การระบุภัยคุกคาม การจัดลำดับความสำคัญและแก้ไขจุดอ่อน และอื่นๆ เนื่องจากรักษาความปลอดภัยเป็นกิจกรรมที่สำคัญ LLMs จึงต้องมีมาตรฐานที่สูงกว่าในการจัดการและป้องกันฮัลลูซิเนชันในบริบทเหล่านี้
เมื่อระบบ AI มีความสามารถมากขึ้น การใช้งานรักษาความปลอดภัยของพวกเขาก็ขยายตัวเร็วขึ้น เพื่อความชัดเจน บริษัทรักษาความปลอดภัยหลายแห่งได้ใช้การค้นหาพลังงานและอัลกอริทึมการเรียนรู้ของเครื่องสำหรับการกรองแบบไดนามิกมาเป็นเวลานาน สิ่งที่ใหม่ในยุค AI ที่สร้างสรรค์คือ LLMs ที่โต้ตอบซึ่งให้ความฉลาดเพิ่มเติมเหนือกระบวนการทำงานและกลุ่มข้อมูลที่มีอยู่ โดยมีจุดมุ่งหมายเพื่อปรับปรุงประสิทธิภาพและเพิ่มความสามารถของทีมรักษาความปลอดภัย ในอีกคำหนึ่ง GenAI สามารถช่วยให้วิศวกรรักษาความปลอดภัยทำได้มากขึ้นด้วยความพยายามน้อยลงและทรัพยากรเท่าเดิม โดยให้ประสิทธิภาพที่ดีขึ้นและกระบวนการที่เร็วขึ้น
