Sandy Dunn, CISO ที่ SPLX – สัมภาษณ์ ซีรีส์

Sandy Dunn CISO ที่ SPLX เป็น CISO ที่มีประสบการณ์มากกว่า 20 ปี ในด้านการดูแลสุขภาพและสตาร์ทอัพ โดยให้บริการที่ปรึกษาด้าน CISO ผ่าน QuarkIQ เธอนำทีม OWASP Top 10 สำหรับ LLM Applications Cybersecurity และ Governance Checklist และมีส่วนร่วมใน OWASP AI Exchange, OWASP Top 10 สำหรับ LLM และ Cloud Security Alliance เธอยังเป็นอาจารย์ผู้ช่วยด้าน Cybersecurity ที่ Boise State University และเป็นนักพูด ผู้ให้คำปรึกษา และสมาชิกคณะกรรมการของ Boise State’s Institute for Pervasive Cybersecurity Sandy จบการศึกษาระดับมหาบัณฑิตด้านการจัดการความมั่นคงสารสนเทศจาก SANS และมีใบรับรองหลายอย่าง รวมถึง CISSP, SANS GIAC, Security+, ISTQB และ FAIR

SPLX เป็นบริษัทด้านความมั่นคงไซเบอร์ที่ให้การป้องกันแบบ end-to-end สำหรับระบบ AI โดยอัตโนมัติ การป้องกันในขณะทำงาน การกำกับดูแล การแก้ไขปัญหา การตรวจสอบภัยคุกคาม และการรักษาความปลอดภัยแบบจำลอง ระบบของ SPLX สามารถวิ่งการจำลองการโจมตีได้หลายพันครั้งในเวลาไม่ถึงหนึ่งชั่วโมง เพื่อระบุจุดอ่อน การเสริมความแข็งแกร่งของระบบก่อนการนำไปใช้งาน และรวมถึง Agentic Radar ซึ่งเป็นเครื่องมือที่เปิดกว้างสำหรับการสร้างแผนที่และวิเคราะห์ความเสี่ยงในกระบวนการทำงาน AI หลายตัว

สิ่งใดที่ดึงดูดคุณเข้าสู่จุดตัดกันของ AI และความมั่นคงไซเบอร์ และเส้นทางนั้นได้นำคุณไปสู่บทบาทที่ SPLX และการมีส่วนร่วมกับ OWASP อย่างไร

AI ได้กลายเป็นส่วนหนึ่งของการอภิปรายเรื่องความมั่นคงไซเบอร์มาหลายปีแล้ว แต่ดูเหมือนว่าจะไม่ได้รับการตอบรับตามที่คาดหวัง จนกระทั่ง ChatGPT เปิดตัว ฉันคาดว่าจะไม่ประทับใจ แต่กลับพบว่ามันสามารถทำอะไรได้มากมาย และสามารถถูกใช้เพื่อการโจมตีได้อย่างรวดเร็ว เมื่อฉันใช้ ChatGPT เป็นครั้งแรก ฉันรู้สึกทั้งประทับใจและกลัวไปพร้อมๆ กัน ว่าสามารถถูกใช้เพื่อการโจมตีได้อย่างไร ฉันจึงเริ่มศึกษาข้อมูลเกี่ยวกับ LLMs อย่างจริงจัง โดยการอ่านงานวิจัยทุกอย่างที่ฉันสามารถหาได้ การเข้าร่วมชุมชน Slack และ Discord ที่เกี่ยวข้อง และการทำการทดลองของตัวเอง ฉันเริ่มเข้าร่วมช่อง OWASP Top 10 สำหรับ LLMs และเมื่อรายการแรกถูกตีพิมพ์ ฉันรู้ว่ามันเป็นก้าวสำคัญ แต่ในฐานะ CISO ฉันรู้สึกว่าทีมความมั่นคงไซเบอร์ต้องการข้อมูลเพิ่มเติม

ฉันเข้าใกล้ Steve Wilson ผู้นำโครงการเพื่อสร้าง “LLM Security CISO Checklist” และมันกลายเป็นโครงการย่อย OWASP GenAI ซึ่งได้สร้างแรงบันดาลใจให้เกิดโครงการย่อยอื่นๆ อีกมากมาย

ผ่านการทำงานนี้ ฉันได้พบกับ Kristian Kamber และ Ante Gojsalic (ผู้ก่อตั้ง SPLX) และได้ให้คำปรึกษาแก่สตาร์ทอัพด้านความมั่นคง AI หลายแห่ง บางแห่งมีแนวคิดที่น่าสนใจ บางแห่งน้อยกว่านั้น ในขณะนั้น ฉันเป็น CISO ที่บริษัท B2B chatbot และสร้างหนังสือเล่มเล็กสำหรับการทดสอบการโจมตี AI ที่เป็นปฏิปักษ์ เมื่อฉันเห็นการสาธิตของ SPLX ฉันรู้ทันทีว่าพวกเขาได้แก้ปัญหาที่ฉันกำลังต่อสู้ด้วย ซึ่งก็คือการนำการทดสอบการโจมตี AI ที่เป็นปฏิปักษ์มาใช้ในการปฏิบัติงาน เมื่อ SPLX ต้องการ CISO ฉันจึงรีบเข้าร่วมเป็นส่วนหนึ่งของบริษัทที่น่าเหลือเชื่อพร้อมกับคนเหลือเชื่อในการแก้ปัญหาที่สำคัญ

ในฐานะ CISO ที่ SPLX คุณได้ค้นพบเทคนิคการโจมตีที่เป็นนวัตกรรมใหม่ๆ อย่างไร โดยเฉพาะอย่างยิ่งเกี่ยวกับ AI ที่มีเจตนา

เนื่องจากความซับซ้อนของการออกแบบระบบ GenAI จึงไม่สามารถกำจัดจุดอ่อนและความเสี่ยงของ GenAI ได้ การโจมตีแบบ “Memory Poisoning” เช่น MINJA เป็นตัวอย่างหนึ่งของสิ่งนี้ การโจมตีแบบ “Echo Chamber” เป็นอีกตัวอย่างหนึ่ง โดยที่ผู้โจมตีสร้างวงจรการสนทนาโดยการส่งต่อเนื่องของบริบทที่เป็นอันตรายให้กับระบบ AI การโจมตีแบบ “Indirect and cross-modal prompt injection” เป็นอีกตัวอย่างหนึ่ง โดยที่คำสั่งอันตรายซ่อนอยู่ในเนื้อหานอกเช่นภาพหรือเอกสารที่ระบบ AI บริโภค

การโจมตีแบบ “Sophisticated AI agent ecosystem” เช่น “tool poisoning” ต้องการการตรวจสอบอย่างรอบคอบของซัพพลายเชนสำหรับการใช้งาน AI ทั้งหมด ผู้โจมตีสร้างเครื่องมือที่ดูเหมือนถูกต้องสำหรับแพลตฟอร์ม AI แต่ฝังคำสั่งอันตรายไว้ในคำอธิบายและเอกสารเมื่อระบบ AI โหลดเครื่องมือเหล่านี้ คำสั่งอันตรายจะกลายเป็นส่วนหนึ่งของบริบทของระบบ AI ทำให้สามารถดำเนินการไม่ได้รับอนุญาต เช่น การขโมยข้อมูลหรือการบุกรุกระบบ

SPLX ช่วยให้องค์กรตรวจจับและตอบสนองต่อภัยคุกคามที่เฉพาะเจาะจงสำหรับ LLM เช่น การโจมตีแบบ “prompt injection” หรือ “adversarial jailbreak” อย่างไร

SPLX เป็นแพลตฟอร์มความมั่นคงแบบ end-to-end ที่ปกป้องแอปพลิเคชันและระบบ AI ที่ใช้ LLM ทั่วทั้งวงจรชีวิต AI ตั้งแต่การพัฒนาไปจนถึงการนำไปใช้งานและปฏิบัติการในเวลาจริง การป้องกัน Runtime AI ของเราออกแบบมาเพื่อหยุดภัยคุกคามเหล่านี้เมื่อเกิดขึ้น โดยการตรวจสอบและกรองอินพุตและเอาต์พุตอย่างต่อเนื่อง มันทำหน้าที่เหมือนไฟร์วอลล์สำหรับ AI และบังคับใช้ขอบเขตพฤติกรรมที่เข้มงวดบน AI

OWASP ได้อัปเดต GenAI Security Top 10 โดยขยายความเสี่ยงใหม่ๆ เช่น การรั่วไหลของข้อมูลระบบและการโจมตีแบบ “vector-database” ความเสี่ยงใหม่เหล่านี้สะท้อนถึงภูมิทัศน์การโจมตีที่เปลี่ยนแปลงอย่างไร

การอัปเดต OWASP Top 10 สำหรับปี 2025 สะท้อนถึงความเข้าใจที่เพิ่มขึ้นเกี่ยวกับวิธีการใช้ LLMs และเทคโนโลยี AI ที่สร้างขึ้นในสถานการณ์จริง มีหลายภัยคุกคามมากกว่า 10 รายการ แต่จุดมุ่งหมายคือการระบุภัยคุกคามที่สำคัญที่สุด การเปลี่ยนแปลงที่สำคัญคือการเพิ่ม “LLM07 Insecure Plugin Design” ในด้าน Supply Chain และ “LLM010 Model Theft” ในด้าน Unbounded Consumption ซึ่งสร้างพื้นที่สำหรับการเพิ่ม:

1. การรั่วไหลของข้อมูลระบบ ซึ่งระบุถึงความเสี่ยงของการเปิดเผยข้อมูลระบบ ซึ่งอาจเปิดเผยข้อมูลสำคัญหรือแม้กระทั่งความลับ

2. การโจมตีแบบ “vector-database” ซึ่งระบุถึงความเสี่ยงด้านความปลอดภัยภายในระบบ RAG เช่น การรั่วไหลข้ามผู้เช่า การกลับด้านการฝังตัว หรือเอกสารที่มีพิษที่อาจนำไปสู่การแสดงผลที่อันตรายในภายหลัง

การอัปเดตนี้แสดงให้เห็นว่าการโจมตี AI ได้พัฒนาไปสู่การโจมตีที่ซับซ้อนและเป็นกลยุทธ์มากขึ้น โดยมุ่งเป้าไปที่การโจมตีที่มีผลกระทบอย่างกว้างขวางและยั่งยืน

ในความคิดของคุณ อะไรคือจุดอ่อนที่ถูกมองข้ามมากที่สุดในองค์กรที่ใช้ AI ที่มีเจตนาในปัจจุบัน

ปัญหาที่ถูกมองข้ามมากที่สุดคือหลักการของสิทธิในการเข้าถึงข้อมูลที่น้อยที่สุด ซึ่งเป็นความท้าทายที่เราเผชิญในระบบซอฟต์แวร์และระบบเดิมๆ และตอนนี้องค์กรต้องจัดการกับ “Non-Human identities” (NIH) ซึ่งเป็นปัญหาที่ยังไม่ได้รับการเข้าใจหรือแก้ไขอย่างเต็มที่

อีกปัญหาหนึ่งที่มักถูกละเลยหรือเพิกเฉยคือ “ความสัมพันธ์แห่งความไว้วางใจ” ระหว่างระบบ AI ในระบบ AI ที่มีเจตนา ระบบเหล่านี้มักถูกออกแบบให้สามารถสื่อสารและร่วมมือกัน แต่เรากำลังเห็นการโจมตีใหม่ๆ ที่ระบบ AI ที่ถูกบุกรุกสามารถปลอมตัวเป็นระบบ AI ที่ถูกต้องได้ ซึ่งคล้ายกับการโจมตีแบบ “Trojan horse” แต่ในระดับโครงสร้าง

คุณสามารถอธิบายขั้นตอนการดำเนินการที่ทีมความมั่นคงไซเบอร์ขององค์กรมควรทำเมื่อนำ工具 AI ที่มีเจตนาไปใช้ในสภาพแวดล้อมการผลิตอย่างไร

1. เริ่มต้นด้วยแผนการรับมือเหตุฉุกเฉิน ควรพิจารณาว่าวันแย่ที่สุดจะเป็นอย่างไร แล้วทำงานย้อนกลับเพื่อให้แน่ใจว่ามีการควบคุมและความสามารถในการมองเห็นอยู่ในตำแหน่งที่ถูกต้อง เมื่อเกิดการละเมิด AI ขึ้น ศูนย์ปฏิบัติการความมั่นคงไซเบอร์ของคุณต้องการคู่มือการดำเนินงาน

2. การทำinventory ของพื้นผิวการโจมตีและประเมินความเสี่ยง คุณไม่สามารถรักษาความปลอดภัยสิ่งที่คุณไม่รู้ว่าคุณมี ขั้นตอนแรกคือการทำinventory ของตัวแทน AI ทั้งหมด เครื่องมือที่ใช้งาน และการเข้าถึงข้อมูล ระบุข้อมูลที่มันสัมผัสได้ อนุญาติให้ทำอะไรได้บ้าง และผลกระทบที่อาจเกิดขึ้นหากถูกบุกรุก

3. การนำขอบเขตและเครื่องมือติดตามมาใช้ ระบุวัตถุประสงค์ของตัวแทน AI ขอบเขตและอนุญาติให้ทำอะไรได้บ้าง อย่าให้ตัวแทน AI เข้าถึงไลบรารี SharePoint ทั้งหมดหากต้องการเพียงโฟลเดอร์เดียว

4. การนำเครื่องมือความปลอดภัย AI ที่เฉพาะเจาะจงมาใช้ ซึ่งรวมเข้ากับเครื่องมือความปลอดภัยแบบดั้งเดิม คุณต้องการเครื่องมือที่ออกแบบมาเพื่อประเด็นเฉพาะของ GenAI และระบบ AI ที่มีเจตนา เช่น การตรวจสอบคำสั่ง การทำความสะอาดเอาต์พุต และการตรวจสอบพฤติกรรมตัวแทน AI อย่างต่อเนื่อง

5. การรวมการโจมตี AI แบบอัตโนมัติเข้ากับกระบวนการ CI/CD คุณต้องการการทดสอบการโจมตีแบบอัตโนมัติอย่างต่อเนื่องสำหรับตัวแทน AI โดยพิจารณาจากความสำคัญของการเปลี่ยนแปลงและความอยากได้ความเสี่ยงขององค์กร

องค์กรควรรวมการโจมตี AI แบบอัตโนมัติ CIAM การกำกับดูแล RAG และการตรวจสอบเข้ากับกลยุทธ์การจัดการความเสี่ยง AI อย่างไร

กุญแจสำคัญคือการรวมเข้าด้วยกัน ไม่ใช่การรักษาเป็นโครงการแยกกัน กลยุทธ์การจัดการความเสี่ยง AI ของคุณต้องเป็นโครงสร้างที่สอดคล้องกัน โดยที่แต่ละส่วนเสริมส่วนอื่นๆ

เริ่มต้นด้วยการโจมตี AI แบบอัตโนมัติเป็นพื้นฐาน มันเป็นเรื่องสำคัญที่จะต้องมีการทดสอบการโจมตีที่ต่อเนื่องกันซึ่งพัฒนาไปพร้อมกับภูมิทัศน์การโจมตี

การโจมตี AI แบบอัตโนมัติเป็นรากฐาน การควบคุมการเข้าถึงแบบอัตลักษณ์สำหรับระบบ AI ต้องการการคิดใหม่เกี่ยวกับแบบจำลองอัตลักษณ์แบบดั้งเดิม ตัวแทน AI ต้องการสิทธิในการเข้าถึงที่ละเอียดและสามารถปรับเปลี่ยนได้ตามบริบทและระดับความเสี่ยง

การกำกับดูแล RAG มีความสำคัญอย่างยิ่งในการติดตามแหล่งที่มาของข้อมูลสำหรับเนื้อหาทั้งหมดที่ถูกดูดเข้าไปในเวกเตอร์สโตร์

สำหรับการตรวจสอบ คุณต้องการการวัดที่จับได้ทั้งอินดิเคเตอร์ทางเทคนิคและพฤติกรรม

การรวมเข้าด้วยกันเป็นสิ่งสำคัญ ผลการโจมตี AI แบบอัตโนมัติควรแจ้งนโยบาย CIAM ระบบการตรวจสอบควรให้ข้อมูลกลับเข้าสู่กระบวนการกำกับดูแล RAG และทุกอย่างควรประสานกันผ่านแพลตฟอร์มการจัดการความเสี่ยงขององค์กรที่สามารถสอดคล้องกับสัญญาณข้ามโดเมนต่างๆ

ในอีก 12-18 เดือนข้างหน้า คาดว่าจะมีการโจมตี AI เพิ่มขึ้นอย่างไร และผู้นำด้านความมั่นคงควรเตรียมตัวสำหรับแนวโน้มเหล่านี้อย่างไร

ฉันคาดว่าจะเห็นการเพิ่มขึ้นของการโจมตีแบบซัพพลายเชน โดยมุ่งเป้าไปที่โครงสร้างพื้นฐาน AI การโจมตีแบบซัพพลายเชนสามารถทำลายชุดข้อมูลการฝึกอบรม โจมตีคลังเก็บแบบจำลอง หรือฝังตัวโค้ดอันตรายลงในซอฟต์แวร์

การโจมตีแบบ “social engineering” ที่มีการสร้างภาพลวงตาที่สมบูรณ์แบบ เช่น การโทรศัพท์แบบ “vishing” ที่มีการสร้างภาพลวงตาที่สมบูรณ์แบบ จะเพิ่มขึ้น และสิ่งที่ทำให้ฉันกังวลมากที่สุดคือการโจมตี AI ที่สามารถดำเนินการได้อย่างรวดเร็วและซับซ้อน

คุณคาดการณ์ว่ากรอบการทำงานด้านกฎระเบียบและความเชื่อมโยงจะพัฒนาไปอย่างไรเพื่อตอบสนองต่อความเสี่ยงของ AI ที่สร้างขึ้น

ฉันคาดว่าจะมีการเปลี่ยนแปลงครั้งใหญ่ในกรอบการทำงานด้านกฎระเบียบ โดยมุ่งเน้นไปที่ความรับผิดชอบ ความโปร่งใส การพัฒนาที่ปลอดภัย และความปลอดภัยของซัพพลายเชน

ฉันคาดว่าจะเห็นความสนใจในเรื่องของ “data provenance” และความสมบูรณ์ของข้อมูล องค์กรกำกับดูแลจะต้องการทราบว่าข้อมูลที่ใช้ในการฝึกอบรมและเพิ่มความสามารถให้กับแบบจำลอง AI มาจากไหน

สุดท้าย ฉันคิดว่าจะเห็นกฎระเบียบที่เฉพาะเจาะจงสำหรับอุตสาหกรรมต่างๆ เช่น การเงิน และการดูแลสุขภาพ องค์กรกำกับดูแลจะเริ่มกำหนดมาตรฐานเฉพาะสำหรับอุตสาหกรรมที่สำคัญ ซึ่งจะรวมถึงการโจมตี AI แบบอัตโนมัติ การกำกับดูแลของมนุษย์ และการตรวจสอบอย่างเข้มงวดสำหรับระบบ AI ที่อาจมีผลกระทบต่อชีวิตหรือความตาย

ในฐานะอาจารย์ผู้ช่วยและสมาชิกคณะกรรมการที่ Boise State’s Institute for Pervasive Cybersecurity คุณกำลังเตรียมผู้เชี่ยวชาญด้านความมั่นคง AI รุ่นต่อไปอย่างไร และทักษะใดที่คุณเห็นว่ามีความสำคัญที่สุดในปัจจุบัน

การคิดอย่างมีวิจารณญาณและการแก้ปัญหาเป็นทักษะที่สำคัญที่สุดสำหรับนักเรียนที่ต้องการมีอาชีพที่ดีในด้านความมั่นคงไซเบอร์ แต่ทักษะอื่นๆ เช่น จิตวิทยาและภาษาศาสตร์ ซึ่งเคยพบเฉพาะในทีมข่าวกรองภัยคุกคาม ไซเบอร์ จะเป็นทักษะที่มีคุณค่าสำหรับหลายๆ โอกาสในการทำงานในด้านความมั่นคงไซเบอร์ในอนาคต

ทักษะด้านมนุษยสัมพันธ์และการสื่อสารก็มีความสำคัญเช่นกัน ความมั่นคงไซเบอร์ไม่ใช่แค่เรื่องของระบบ IT แต่ยังเกี่ยวกับคน ช่วยให้ธุรกิจบรรลุเป้าหมาย และสามารถแปลและถ่ายทอดความเสี่ยงทางเทคนิคที่ซับซ้อนให้กับผู้มีบทบาทที่ไม่ใช่ด้านเทคนิคได้ อนาคตของความมั่นคงไซเบอร์จะขึ้นอยู่กับบุคลากรที่ไม่เพียงแต่ฉลาดทางเทคนิค แต่ยังมีทักษะในการสื่อสารที่ดี

สุดท้าย ภูมิทัศน์ด้านความมั่นคง AI กำลังพัฒนาไปอย่างรวดเร็ว ดังนั้นจึงมีความสำคัญที่จะสามารถเรียนรู้และปรับตัวได้อย่างรวดเร็ว

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยมและข้อมูลเชิงลึกที่มีรายละเอียด ผู้อ่านสามารถเยี่ยมชม SPLX เพื่อเรียนรู้เพิ่มเติม