คิเอรัน นอร์ตัน ผู้นำด้านไซเบอร์ AI และอัตโนมัติของ Deloitte สหรัฐฯ – ซีรีส์สัมภาษณ์

คิเอรัน นอร์ตัน เป็นหุ้นส่วน (หุ้นส่วน) ของ Deloitte & Touche LLP และเป็นผู้นำด้านไซเบอร์ AI และอัตโนมัติของ Deloitte สหรัฐฯ ด้วยประสบการณ์กว่า 25 ปีและพื้นฐานด้านเทคโนโลยีที่แข็งแกร่ง คิเอรัน มีความเชี่ยวชาญในการจัดการความเสี่ยงด้านเกิดใหม่ และให้คำแนะนำเชิงกลยุทธ์และเชิงปฏิบัติแก่ลูกค้าเกี่ยวกับการจัดการความเสี่ยงด้านไซเบอร์และเทคโนโลยี

ภายใน Deloitte คิเอรัน นำทีมการเปลี่ยนแปลง AI สำหรับฝ่ายไซเบอร์ของสหรัฐฯ เขาเป็นผู้ออกแบบ พัฒนา และวางตลาดโซลูชัน AI และอัตโนมัติ เพื่อช่วยให้ลูกค้าเพิ่มความสามารถด้านไซเบอร์และนำเทคโนโลยี AI/Gen AI มาใช้，同时จัดการความเสี่ยงที่เกี่ยวข้อง

ภายนอก คิเอรัน ช่วยให้ลูกค้าปรับปรุงกลยุทธ์ด้านความปลอดภัยแบบดั้งเดิมเพื่อสนับสนุนการเปลี่ยนแปลงดิจิทัล โมเดิร์นไอซ์โซ่ค้าปลีก เพิ่มความเร็วในการเข้าสู่ตลาด ลดต้นทุน และบรรลุวัตถุประสงค์ทางธุรกิจที่สำคัญอื่นๆ

เมื่อเอเย่นต์ AI มีความเป็นอิสระมากขึ้น อะไรคือประเภทใหม่ของภัยคุกคามด้านไซเบอร์ที่ธุรกิจอาจไม่เข้าใจอย่างเต็มที่?

ความเสี่ยงที่เกี่ยวข้องกับการใช้เทคโนโลยี AI ใหม่ๆ ในการออกแบบ สร้าง และจัดการเอเย่นต์อาจถูกเข้าใจ — แต่การดำเนินการในทางปฏิบัติเป็นอีกเรื่องหนึ่ง

การมอบอำนาจและการทำงานอิสระของเอเย่นต์ AI — ความสามารถในการรับรู้ ตัดสินใจ และดำเนินการโดยไม่มีการควบคุมของมนุษย์ — อาจสร้างความท้าทายในการรักษาความสามารถในการมองเห็นและควบคุมความสัมพันธ์และการโต้ตอบระหว่างโมเดล/เอเย่นต์และผู้ใช้ ข้อมูล และเอเย่นต์อื่นๆ เมื่อเอเย่นต์หลายตัวถูกใช้ในองค์กรและเชื่อมต่อกับหลายแพลตฟอร์มและบริการด้วยความเป็นอิสระและอำนาจในการตัดสินใจที่เพิ่มขึ้น สิ่งนี้จะกลายเป็นเรื่องที่ยากขึ้น ความเสี่ยงที่เกี่ยวข้องกับการมอบอำนาจและการทำงานอิสระที่ไม่ได้รับการคุ้มครองหรือมีขนาดใหญ่เกินไป รวมถึงการรั่วไหลของข้อมูล การบุกรุกเอเย่นต์ (ผ่านการฉีดข้อมูลเข้าไปในระบบ) และการโจมตีแบบเชื่อมโยงเอเย่นต์-เอเย่นต์ ไม่ใช่ภัยคุกคามทั้งหมดที่เกิดขึ้นในขณะนี้ แต่ธุรกิจควรพิจารณาว่าจะจัดการกับภัยคุกคามเหล่านี้อย่างไรเมื่อนำเทคโนโลยี AI มาใช้และพัฒนา

การจัดการตัวตน AI เป็นอีกความเสี่ยงหนึ่งที่ควรพิจารณาอย่างรอบคอบ การระบุ ตั้งค่า และจัดการตัวตนที่เป็นของเอเย่นต์ AI จะกลายเป็นเรื่องที่ซับซ้อนมากขึ้นเมื่อมีการใช้เอเย่นต์หลายตัวในองค์กร และใช้ข้ามหลายแพลตฟอร์มและบริการ การสร้างและลบโมเดล/ส่วนประกอบของโมเดลซ้ำๆ ในสถานการณ์ที่แตกต่างกันจะทำให้เกิดความท้าทายในการรักษาตัวตนนี้ ตัวตนนี้จำเป็นต้องติดตามกิจกรรมและพฤติกรรมของเอเย่นต์จากมุมมองด้านความปลอดภัยและความน่าเชื่อถือ หากไม่ได้รับการดำเนินการและติดตามอย่างเหมาะสม การตรวจจับปัญหา (ด้านประสิทธิภาพ ความปลอดภัย ฯลฯ) จะเป็นเรื่องที่ยากมาก

เราควรห่วงใยการโจมตีแบบพิษข้อมูลในกระบวนการฝึกอบรม AI มากน้อยเพียงใด และกลยุทธ์การป้องกันที่ดีที่สุดคืออะไร?

การโจมตีแบบพิษข้อมูลเป็นวิธีหนึ่งที่จะส่งผลต่อโมเดล AI ในช่วงชีวิตของโมเดล การพิษข้อมูลมักเกิดขึ้นเมื่อผู้กระทำความผิดฉีดข้อมูลที่เป็นอันตรายเข้าสู่ชุดข้อมูลฝึกอบรม อย่างไรก็ตาม สิ่งสำคัญที่ควรทราบคือ นอกเหนือจากผู้กระทำที่เป็นอันตรายโดยตรงแล้ว การพิษข้อมูลยังสามารถเกิดขึ้นได้จากข้อผิดพลาดหรือปัญหาเชิงระบบในการสร้างข้อมูล เมื่อองค์กรต้องการข้อมูลมากขึ้นและหาข้อมูลที่ใช้ได้ในที่อื่น (เช่น การทำแอนโนเทชันแบบอัตโนมัติ ชุดข้อมูลสังเคราะห์ที่ซื้อหรือสร้างขึ้น) ความเป็นไปได้ที่จะพิษข้อมูลโดยไม่ตั้งใจจะเพิ่มขึ้น และอาจไม่ได้รับการวินิจฉัยได้ง่าย

การโจมตีกระบวนการฝึกอบรม AI เป็นเวกเตอร์การโจมตีหลักที่ผู้กระทำความผิดใช้เพื่อการโจมตีทั้งแบบซ่อนเร้นและโจมตีแบบเปิดเผย การบุกรุกโมเดล AI สามารถนำไปสู่ผลลัพธ์ที่รวมถึงการตรวจจับปลอม การตรวจจับปลอมที่ไม่ถูกต้อง และการบิดเบือนอิทธิพลที่ซ่อนเร้นซึ่งสามารถเปลี่ยนแปลงการคาดการณ์ของ AI ได้

กลยุทธ์การป้องกันรวมถึงการดำเนินการทางเทคนิค การดำเนินการตามขั้นตอน และการออกแบบโครงสร้าง การดำเนินการตามขั้นตอนรวมถึงการตรวจสอบและทำความสะอาดข้อมูล การประเมินความไว้วางใจ การดำเนินการทางเทคนิครวมถึงการใช้การเพิ่มความปลอดภัยด้วยเทคนิค AI เช่น การเรียนรู้แบบกระจาย การดำเนินการทางโครงสร้างรวมถึงการนำแนวคิด Zero-Trust มาใช้และติดตั้งระบบติดตามและแจ้งเตือนแบบเข้มงวดเพื่อช่วยในการตรวจจับความผิดปกติ โมเดลเหล่านี้มีคุณภาพเท่ากับข้อมูลที่ใช้ในการฝึกอบรม ดังนั้นการป้องกันการโจมตีแบบพิษข้อมูลจึงเป็นจุดอ่อนที่สำคัญสำหรับผู้ที่ไม่เตรียมตัว

ผู้กระทำความผิดสามารถบุกรุกและบิดเบือนโมเดล AI หลังการวางตลาดได้อย่างไร และธุรกิจสามารถตรวจจับการบุกรุกได้อย่างไร?

การเข้าถึงโมเดล AI หลังการวางตลาดมักจะทำได้โดยการเข้าถึง Application Programming Interface (API) การเข้าถึงแอปพลิเคชั่นผ่านระบบฝังตัว หรือการเข้าถึงอุปกรณ์ขอบผ่านโพรโทคอล-พอร์ต การตรวจจับการบุกรุกในระยะแรกต้องใช้การทำงานในระยะแรกของวงจรชีวิตการพัฒนา ซอฟต์แวร์ (SDLC) การทำความเข้าใจเทคนิคการบุกรุกโมเดลที่เกี่ยวข้อง以及เวกเตอร์การโจมตีที่ให้ความสำคัญเพื่อสร้างวิธีการในการตรวจจับและป้องกัน บางครั้งการบุกรุกโมเดลเกี่ยวข้องกับการบุกรุก API การบุกรุกพื้นที่จัดเก็บข้อมูล (runtime) และการบุกรุกแบบช้าๆ ผ่านการเปลี่ยนแปลงของโมเดล (model drift) ด้วยวิธีการเหล่านี้ การตรวจจับการบุกรุกในระยะแรกอาจรวมถึงการใช้การตรวจสอบและติดตามจุดสิ้นสุด (ผ่าน Endpoint Detection and Response และ Extended Detection and Response) การนำไปใช้ของการประมวลผลที่ปลอดภัย (เช่น การประมวลผลแบบมั่วสุมและหลักการ Zero-Trust) และการเปิดใช้งานการทำเครื่องหมายโมเดล (model watermarking) /การลงนามโมเดล (model signing)

การฉีดข้อมูลเข้าไปในระบบ (prompt injection) เป็นกลุ่มการโจมตีแบบโมเดลที่เกิดขึ้นหลังการวางตลาดและสามารถใช้เพื่อวัตถุประสงค์ต่างๆ รวมถึงการดึงข้อมูลออกมาในทางที่ไม่ได้ตั้งใจ การเปิดเผยคำสั่งระบบที่ไม่ได้หมายถึงผู้ใช้ปกติ และการกระตุ้นให้โมเดลตอบสนองในลักษณะที่อาจทำให้องค์กรมองไม่ดี มีเครื่องมือรักษาความปลอดภัยหลายอย่างในตลาดที่ช่วยลดความเสี่ยงของการฉีดข้อมูลเข้าไปในระบบ แต่เช่นเดียวกับด้านความปลอดภัยทางไซเบอร์ สิ่งนี้เป็นการแข่งขันที่ไม่สิ้นสุดระหว่างเทคนิคการโจมตีและการป้องกัน

กรอบการทำงานด้านความปลอดภัยทางไซเบอร์แบบดั้งเดิมล้มเหลวในการจัดการกับความเสี่ยงเฉพาะของระบบ AI อย่างไร?

เรามักจะเชื่อมโยง ‘กรอบการทำงานด้านความปลอดภัยทางไซเบอร์’ กับคำแนะนำและมาตรฐาน เช่น NIST, ISO, MITRE ฯลฯ บางองค์กรที่อยู่เบื้องหลังกรอบการทำงานเหล่านี้ได้เผยแพร่คำแนะนำที่อัปเดตเกี่ยวกับการปกป้องระบบ AI ซึ่งสามารถเป็นประโยชน์ได้มาก

AI ไม่ได้ทำให้กรอบการทำงานเหล่านี้ไร้ประสิทธิภาพ — คุณยังคงต้องจัดการกับโดเมนการรักษาความปลอดภัยทางไซเบอร์ทั้งหมด — สิ่งที่คุณอาจต้องทำคืออัปเดตกระบวนการและโปรแกรม (เช่น SDLC) เพื่อจัดการกับประเด็นนูอานซ์ที่เกี่ยวข้องกับงาน AI การฝังและอัตโนมัติ (เมื่อเป็นไปได้) การควบคุมเพื่อป้องกันภัยคุกคามที่ซับซ้อนที่กล่าวถึงข้างต้นเป็นวิธีที่มีประสิทธิภาพและเป็นไปได้มากที่สุด

ในระดับตัวตนต่อตัว การกล่าวถึงที่น่าสนใจคือ พิสัยของการเข้าและออกที่เป็นไปได้ทั้งหมดมักจะใหญ่กว่าแอปพลิเคชันที่ไม่ใช่ AI มาก ซึ่งสร้างปัญหาเรื่องขนาดสำหรับการทดสอบการเจาะระบบแบบดั้งเดิมและการตรวจจับตามกฎ ดังนั้นจึงมุ่งเน้นไปที่การอัตโนมัติ

องค์ประกอบหลักใดที่ควรรวมอยู่ในกลยุทธ์ด้านความปลอดภัยทางไซเบอร์ที่ออกแบบมาโดยเฉพาะสำหรับองค์กรที่ใช้ AI ที่สร้างขึ้นหรือโมเดลภาษาขนาดใหญ่?

เมื่อสร้างกลยุทธ์ด้านความปลอดภัยทางไซเบอร์สำหรับการใช้ AI ที่สร้างขึ้นหรือโมเดลภาษาขนาดใหญ่ ไม่มีวิธีการที่เหมาะสมทุกกรณี สิ่งนี้ขึ้นอยู่กับวัตถุประสงค์ทางธุรกิจโดยรวมขององค์กร ยุทธศาสตร์ด้าน IT ความเชี่ยวชาญด้านอุตสาหกรรม รอยเท้าด้านกฎระเบียบ ความทนทานต่อความเสี่ยง และอื่นๆ รวมถึงกรณีการใช้งาน AI โดยเฉพาะที่กำลังพิจารณา ตัวอย่างเช่น แชทบอทที่ใช้ภายในเท่านั้นมีรอยเท้าความเสี่ยงที่แตกต่างจากตัวแทนการที่อาจส่งผลกระทบต่อผลลัพธ์ด้านสุขภาพของผู้ป่วย

อย่างไรก็ตาม มีหลักการพื้นฐานที่ทุกองค์กรควรจัดการ:

• การประเมินความพร้อม — สิ่งนี้จะสร้างบรรทัดฐานของความสามารถปัจจุบันและระบุช่องว่างที่อาจเกิดขึ้น โดยพิจารณาจากกรณีการใช้งาน AI ที่ให้ความสำคัญ องค์กรควรระบุว่า哪里มีการควบคุมที่มีอยู่ที่สามารถขยายเพื่อจัดการกับความเสี่ยงที่ซับซ้อนที่เกี่ยวข้องกับ AI ที่สร้างขึ้น และความจำเป็นในการนำเทคโนโลยีใหม่ๆ มาใช้หรือปรับปรุงกระบวนการที่มีอยู่
• การสร้างกระบวนการกำกับดูแล AI — สิ่งนี้อาจเป็นการสร้างใหม่ภายในองค์กรหรือการปรับปรุงโปรแกรมการจัดการความเสี่ยงที่มีอยู่ สิ่งนี้ควรรวมถึงการกำหนดฟังก์ชันการทำงานด้าน AI ทั่วทั้งองค์กร และการดึงผู้มีส่วนได้ส่วนเสียจากทั่วทั้งธุรกิจ IT ผลิตภัณฑ์ ความเสี่ยง ความปลอดภัยทางไซเบอร์ ฯลฯ เข้าสู่โครงสร้างการกำกับดูแล นอกจากนี้ การกำหนด/ปรับปรุงนโยบาย (เช่น นโยบายการใช้งานที่ยอมรับได้ นโยบายความปลอดภัยทางคลาวด์ การจัดการความเสี่ยงด้านเทคโนโลยีของบุคคลที่สาม ฯลฯ) และการกำหนดความต้องการด้านการเรียนรู้และการพัฒนาที่จะสนับสนุนความรู้ด้าน AI และความปลอดภัย/ความปลอดภัยของ AI ทั่วทั้งองค์กร
• การสร้างโครงสร้าง AI ที่เชื่อถือได้ — ด้วยการสร้างแพลตฟอร์มและห้องทดลอง AI ใหม่ๆ เทคโนโลยีที่มีอยู่และโซลูชันใหม่ๆ (เช่น ไฟร์วอลล์ AI /การรักษาความปลอดภัยแบบเรียลไทม์ การจัดการชีวิตของโมเดลที่เพิ่มขึ้น ความสามารถด้านการบริหารจัดการตัวตนขั้นสูง ฯลฯ) จะต้องถูกผสมผสานเข้ากับสภาพแวดล้อมในการพัฒนาและวางตลาดในลักษณะที่ทำซ้ำได้และปรับขนาดได้
• การปรับปรุง SDLC — องค์กรควรสร้างการผสมผสานที่แน่นหนาระหว่างนักพัฒนา AI และทีมการจัดการความเสี่ยงที่ทำงานเพื่อปกป้องและสร้างความไว้วางใจในโซลูชัน AI สิ่งนี้รวมถึงการสร้างข้อปฏิบัติในการพัฒนาซอฟต์แวร์ที่ปลอดภัยมาตรฐานและข้อกำหนดการควบคุมในความร่วมมือกับทีมพัฒนาและนำร่อง AI ที่กว้างขึ้น

คุณสามารถอธิบายแนวคิดของ “ไฟร์วอลล์ AI” ในรูปแบบง่ายๆ ได้อย่างไร มันแตกต่างจากไฟร์วอลล์เครือข่ายแบบดั้งเดิมอย่างไร?

ไฟร์วอลล์ AI คือชั้นการรักษาความปลอดภัยที่ออกแบบมาเพื่อติดตามและควบคุมการเข้าและออกของระบบ AI — โดยเฉพาะโมเดลภาษาขนาดใหญ่ — เพื่อป้องกันการใช้ในทางที่ผิด การรั่วไหลของข้อมูล และการรับรองพฤติกรรม AI ที่มีความรับผิดชอบ ไม่เหมือนกับไฟร์วอลล์เครือข่ายแบบดั้งเดิมที่ปกป้องเครือข่ายโดยการกรองการรับส่งข้อมูลตามที่อยู่ IP พอร์ตและภัยคุกคามที่ทราบ ไฟร์วอลล์ AI มุ่งเน้นไปที่การทำความเข้าใจและจัดการกับการโต้ตอบภาษาธรรมชาติ ไฟร์วอลล์ AI ปิดกั้นสิ่งต่อไปนี้: เนื้อหาที่เป็นอันตราย การรั่วไหลของข้อมูล การฉีดข้อมูลเข้าไปในระบบ และการใช้ AI ในทางที่ผิด โดยการนำนโยบาย ตัวกรองแบบตระหนักถึงบริบท และการป้องกันแบบเฉพาะโมเดลมาใช้ ในที่สุด ไฟร์วอลล์แบบดั้งเดิมจะปกป้องเครือข่ายของคุณ ในขณะที่ไฟร์วอลล์ AI ปกป้องโมเดล AI และการออกของพวกมัน

มีมาตรฐานอุตสาหกรรมหรือโพรโทคอลที่เกิดขึ้นใหม่ซึ่งควบคุมการใช้ไฟร์วอลล์ AI หรือการป้องกันอย่างไร?

โพรโทคอลการสื่อสารแบบโมเดล (MCP) ไม่ใช่มาตรฐานทั่วไป แต่ได้รับการยอมรับในอุตสาหกรรมเพื่อช่วยจัดการภาระการกำหนดค่าที่เพิ่มขึ้นในองค์กรที่ต้องจัดการความหลากหลายของโซลูชัน AI-GenAI MCP จัดการกับวิธีการที่โมเดล AI แลกเปลี่ยนข้อมูล (รวมถึงการเรียนรู้) รวมถึงความสมบูรณ์และการตรวจสอบ เราสามารถพิจารณา MCP เป็นโพรโทคอล TCP/IP สำหรับโมเดล AI ซึ่งมีประโยชน์อย่างยิ่งในการใช้งานแบบกระจายหรือแบบกระจาย MCP เป็นโครงสร้างแนวคิดที่เกิดขึ้นผ่านเครื่องมือ การวิจัย และโครงการต่างๆ

พื้นที่นี้กำลังเคลื่อนไหวอย่างรวดเร็ว และเราสามารถคาดหวังว่ามันจะเปลี่ยนแปลงไปมากในช่วงหลายปีที่จะมาถึง

AI กำลังเปลี่ยนแปลงสาขาการตรวจจับและตอบสนองต่อภัยคุกคามอย่างไรเมื่อเทียบกับเพียง 5 ปีที่แล้ว?

เราได้เห็นแพลตฟอร์มการดำเนินงานด้านความปลอดภัย (SOC) แบบพาณิชย์สมัยใหม่ โดยใช้เซตข้อมูลขนาดใหญ่และคุณภาพสูงพร้อมด้วยโมเดล AI/ML ที่ทันสมัยเพื่อปรับปรุงการตรวจจับและจำแนกภัยคุกคาม นอกจากนี้ยังใช้การอัตโนมัติ การทำงานแบบเวิร์กโฟลว์ และการแก้ไขอัตโนมัติเพื่อลดเวลาตั้งแต่การตรวจจับจนถึงการบรรเทา นอกจากนี้ยังมีการแนะนำคุณสมบัติ Co-Pilot เพื่อสนับสนุนการไตร่ตรองและการตอบสนอง

นอกจากนี้ เอเย่นต์กำลังถูกพัฒนาขึ้นเพื่อเติมเต็มบทบาทที่เลือกภายใน SOC ตัวอย่างเช่น เราได้สร้างเอเย่นต์ ‘นักวิเคราะห์ดิจิทัล’ สำหรับการใช้งานบริการจัดการของเรา เอเย่นต์จะทำหน้าที่เป็นนักวิเคราะห์ระดับ 1 โดยการไตร่ตรองการแจ้งเตือนเข้ามา การเพิ่มบริบทจากข่าวกรองภัยคุกคามและแหล่งอื่นๆ และการแนะนำขั้นตอนการตอบสนอง (ตามประวัติคดีมากมาย) สำหรับนักวิเคราะห์ของเราที่จะตรวจสอบ ตรวจสอบ และดำเนินการ

คุณมองเห็นความสัมพันธ์ระหว่าง AI และความปลอดภัยทางไซเบอร์จะพัฒนาไปอย่างไรในช่วง 3-5 ปีที่จะมาถึง — AI จะเป็นความเสี่ยงหรือวิธีแก้ปัญหา?

เมื่อ AI พัฒนาในช่วง 3-5 ปีที่จะมาถึง AI จะช่วยให้ความปลอดภัยทางไซเบอร์ดีขึ้น แต่ในขณะเดียวกันก็สามารถนำไปสู่ความเสี่ยง AI จะขยายพื้นที่การโจมตีและสร้างความท้าทายใหม่ๆ จากมุมมองการป้องกัน นอกจากนี้ AI ที่เป็นอันตรายจะเพิ่มความเป็นไปได้ ความเร็ว และขนาดของการโจมตี ซึ่งจะสร้างความท้าทายเพิ่มเติม ในทางกลับกัน การใช้ AI ในธุรกิจความปลอดภัยทางไซเบอร์นำเสนอโอกาสที่จะปรับปรุงประสิทธิภาพ ความมีประสิทธิผล ความคล่องตัว และความเร็วของการดำเนินการทางไซเบอร์ในส่วนใหญ่ของโดเมน — สุดท้ายจะสร้างสถานการณ์ ‘ต่อสู้กับไฟด้วยไฟ’

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านอาจต้องการเยี่ยมชม Deloitte ด้วย