ดร. ปีเตอร์ การ์ราแกน CEO, CTO และผู้ร่วมก่อตั้ง Mindgard – ซีรีส์สัมภาษณ์

ดร. ปีเตอร์ การ์ราแกน เป็น CEO, CTO และผู้ร่วมก่อตั้ง Mindgard ผู้นำด้านการตรวจสอบความปลอดภัยของปัญญาประดิษฐ์ ก่อตั้งที่มหาวิทยาลัยแลงแคสเตอร์ และได้รับการสนับสนุนจากงานวิจัยขั้นสูง Mindgard ช่วยให้องค์กรต่างๆ ป้องกันระบบปัญญาประดิษฐ์ของตนจากภัยคุกคามใหม่ที่เครื่องมือความปลอดภัยแบบดั้งเดิมไม่สามารถจัดการได้ ในฐานะศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์ที่มหาวิทยาลัยแลงแคสเตอร์ ปีเตอร์เป็นผู้เชี่ยวชาญด้านความปลอดภัยของปัญญาประดิษฐ์ที่ได้รับการยอมรับในระดับนานาชาติ เขาได้อุทิศอาชีพของเขาในการพัฒนเทคโนโลยีขั้นสูงเพื่อต่อต้านภัยคุกคามที่เพิ่มขึ้นซึ่งเผชิญกับปัญญาประดิษฐ์ ด้วยเงินทุนสนับสนุนการวิจัยมากกว่า 11.6 ล้านยูโร และมากกว่า 60 บทความวิจัยที่ตีพิมพ์ ผลงานของเขาครอบคลุมทั้งนวัตกรรมทางวิทยาศาสตร์และวิธีแก้ปัญหาเชิงปฏิบัติ

คุณสามารถแบ่งปันเรื่องราวเบื้องหลังการก่อตั้ง Mindgard ได้หรือไม่? สิ่งใดกระตุ้นให้คุณเปลี่ยนจากวิชาการไปสู่การเป็นผู้ประกอบการด้านความปลอดภัยไซเบอร์?

Mindgard เกิดขึ้นจากความปรารถนาที่จะเปลี่ยนข้อค้นพบทางวิชาการให้เป็นผลกระทบในโลกแห่งความเป็นจริง ในฐานะศาสตราจารย์ด้านระบบคอมพิวเตอร์ ปัญญาประดิษฐ์ และการเรียนรู้ของเครื่อง ฉันถูกขับเคลื่อนด้วยความปรารถนาที่จะทำวิทยาศาสตร์ที่สร้างผลกระทบต่อชีวิตของผู้คนในวงกว้าง ตั้งแต่ปี 2014 ฉันได้ทำการวิจัยเกี่ยวกับปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง โดยตระหนักถึงศักยภาพในการเปลี่ยนแปลงสังคมและความเสี่ยงที่ยิ่งใหญ่ที่พวกมันนำมา รวมถึงการโจมตีของรัฐและการแทรกแซงการเลือกตั้ง เครื่องมือที่มีอยู่ไม่ได้รับการออกแบบมาเพื่อจัดการกับความท้าทายเหล่านี้ ดังนั้นฉันจึงนำทีมนักวิทยาศาสตร์และวิศวกรในการพัฒนาวิธีการใหม่ๆ ในด้านความปลอดภัยของปัญญาประดิษฐ์ Mindgard เกิดขึ้นเป็นโครงการวิจัยที่มุ่งเน้นในการสร้างวิธีแก้ปัญหาที่เป็นรูปธรรมเพื่อป้องกันภัยคุกคามของปัญญาประดิษฐ์ โดยผสมผสานการวิจัยขั้นสูงเข้ากับการมุ่งเน้นในการใช้งานในอุตสาหกรรม

คุณเผชิญกับความท้าทายอะไรบ้างเมื่อสร้างบริษัทจากมหาวิทยาลัย และคุณเอาชนะพวกมันอย่างไร?

เราได้ก่อตั้ง Mindgard อย่างเป็นทางการในเดือนพฤษภาคม 2022 และแม้ว่ามหาวิทยาลัยแลงแคสเตอร์จะให้การสนับสนุนที่ดี แต่การสร้างบริษัทสปินออฟจากมหาวิทยาลัยต้องใช้มากกว่าแค่ทักษะการวิจัย นั่นหมายถึงการระดมทุน การปรับแต่งคุณค่า และการเตรียมเทคโนโลยีให้พร้อมสำหรับการแสดงผลทั้งขณะที่ฉันยังคงรักษาบทบาทของฉันในฐานะศาสตราจารย์ นักวิชาการถูกฝึกให้เป็นนักวิจัยและติดตามวิทยาศาสตร์ใหม่ๆ การสปินออฟประสบความสำเร็จไม่เพียงแต่ด้วยเทคโนโลยีที่เป็นนวัตกรรมเท่านั้น แต่ยังรวมถึงวิธีที่เทคโนโลยีนั้นจัดการกับความต้องการทางธุรกิจที่แท้จริงและนำเสนอคุณค่าที่ดึงดูดและรักษาลูกค้า

ผลิตภัณฑ์หลักของ Mindgard เป็นผลมาจากหลายปีของการวิจัยและพัฒนา คุณสามารถพูดเกี่ยวกับวิธีการที่ขั้นตอนการวิจัยในระยะแรกพัฒนาไปสู่วิธีแก้ปัญหาทางการค้าได้หรือไม่?

การเดินทางจากงานวิจัยไปสู่วิธีแก้ปัญหาทางการค้าเป็นกระบวนการที่ตั้งใจและทำซ้ำๆ มันเริ่มต้นเมื่อเกือบสิบปีที่แล้ว เมื่อทีมของฉันที่มหาวิทยาลัยแลงแคสเตอร์สำรวจความท้าทายพื้นฐานในด้านความปลอดภัยของปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง เราได้ระบุถึงจุดอ่อนในระบบปัญญาประดิษฐ์ที่เครื่องมือความปลอดภัยแบบดั้งเดิมไม่สามารถจัดการได้

เมื่อเวลาผ่านไป การมุ่งเน้นของเราเปลี่ยนจากการสำรวจการวิจัยไปสู่การสร้างต้นแบบและการทดสอบภายในสถานการณ์การผลิต การทำงานร่วมกับคู่ค้าในอุตสาหกรรม เราได้ปรับปรุงแนวทางของเราเพื่อให้แน่ใจว่ามันจัดการกับความต้องการเชิงปฏิบัติ เมื่อหลายผลิตภัณฑ์ปัญญาประดิษฐ์ถูกเปิดตัวโดยไม่มีการทดสอบความปลอดภัยหรือการรับประกันอย่างเพียงพอ ทำให้องค์กรต่างๆ ตกอยู่ในความเสี่ยง—ปัญหาที่เน้นโดยการค้นพบของ Gartner ที่ 29% ขององค์กรที่ใช้ระบบปัญญาประดิษฐ์รายงานการละเมิดความปลอดภัย และเพียง 10% ของผู้ตรวจสอบภายในมีความเข้าใจถึงความเสี่ยงของปัญญาประดิษฐ์—ฉันรู้สึกว่าเวลานี้เหมาะสมที่จะทำให้วิธีแก้ปัญหานี้เป็นเชิงการค้า

คุณสามารถพูดถึงผลงานสำคัญบางอย่างในเส้นทางของ Mindgard ตั้งแต่เริ่มก่อตั้งในปี 2022 ได้หรือไม่?

ในเดือนกันยายน 2023 เราได้รับเงินทุน 3 ล้านปอนด์จาก IQ Capital และ Lakestar เพื่อเร่งพัฒนาวิธีแก้ปัญหาของ Mindgard เราได้สร้างทีมผู้นำที่มีประสบการณ์จาก Snyk, Veracode และ Twilio เพื่อผลักดันบริษัทของเราไปสู่ขั้นตอนต่อไปของการเติบโต เรารู้สึกภูมิใจที่ได้รับการยอมรับว่าเป็น ผู้นำด้านไซเบอร์เอสเอ็มอี ที่ Infosecurity Europe ในปีนี้ ปัจจุบันเราได้สร้างทีมที่มี 15 คนเต็มเวลา 10 นักวิจัยด้านปรัชญาดุษฎีบัณฑิต (และกำลังรับสมัครเพิ่มเติม) และกำลังรับสมัครนักวิเคราะห์และวิศวกรด้านความปลอดภัยเพื่อเข้าร่วมทีม เรามีแผนในการขยายการมีอยู่ของเราในสหรัฐอเมริกา โดยมีการระดมทุนรอบใหม่จากนักลงทุนในบอสตันซึ่งให้พื้นฐานที่แข็งแกร่งสำหรับการเติบโตนี้

เมื่อองค์กรต่างๆ นำปัญญาประดิษฐ์มาใช้มากขึ้น คุณเห็นภัยคุกคามด้านความปลอดภัยไซเบอร์ที่กดดันมากที่สุดว่าเป็นอย่างไร?

หลายองค์กรต่างๆ มองข้ามความเสี่ยงด้านความปลอดภัยไซเบอร์ที่เกี่ยวข้องกับปัญญาประดิษฐ์ มันค่อนข้างยากสำหรับผู้ที่ไม่ใช่ผู้เชี่ยวชาญในการเข้าใจว่าปัญญาประดิษฐ์ทำงานอย่างไร ไม่เพียงแต่ความหมายด้านความปลอดภัยต่อธุรกิจของพวกเขา ฉันใช้เวลาส่วนใหญ่ในการอธิบายความปลอดภัยของปัญญาประดิษฐ์ แม้กระทั่งกับเทคโนโลยีที่มีประสบการณ์ซึ่งเป็นผู้เชี่ยวชาญด้านความปลอดภัยของโครงสร้างพื้นฐานและความปลอดภัยของข้อมูล ในท้ายที่สุด ปัญญาประดิษฐ์เป็นเพียงซอฟต์แวร์และข้อมูลที่ทำงานบนฮาร์ดแวร์ แต่มันนำความอ่อนไหวที่ไม่เหมือนใครที่แตกต่างจากระบบดั้งเดิม และภัยคุกคามจากพฤติกรรมของปัญญาประดิษฐ์นั้นมากกว่าและยากต่อการทดสอบเมื่อเทียบกับซอฟต์แวร์อื่นๆ

คุณได้ค้นพบจุดอ่อนในระบบอย่าง Microsoft’s (MSFT ) AI content filters แล้ว ค้นพบเหล่านั้นมีอิทธิพลต่อการพัฒนาของแพลตฟอร์มของคุณอย่างไร?

จุดอ่อนที่เราได้ค้นพบในบริการ Azure AI Content Safety ของ Microsoft นั้นไม่ได้เกี่ยวกับการกำหนดรูปแบบการพัฒนาของแพลตฟอร์มของเรา แต่เกี่ยวกับการแสดงความสามารถของมัน

Azure AI Content Safety เป็นบริการที่ออกแบบมาเพื่อปกป้องแอปพลิเคชันปัญญาประดิษฐ์โดยการปรับให้เหมาะสมกับเนื้อหาที่เป็นอันตรายในข้อความ รูปภาพ และวิดีโอ จุดอ่อนที่เราได้ค้นพบส่งผลกระทบต่อการปรับให้เหมาะสมด้านข้อความ AI (ซึ่งบล็อกเนื้อหาที่เป็นอันตราย เช่น คำพูดที่เกลียดชัง วัสดุทางเพศ ฯลฯ) และ Prompt Shield (ซึ่งป้องกันการโจมตีแบบจेलเบรกและอินเจคชันพรอมต์) หากปล่อยทิ้งไว้โดยไม่ได้รับการตรวจสอบ จุดอ่อนนี้สามารถถูกใช้เพื่อเปิดตัวการโจมตีที่กว้างขึ้น ลดความไว้วางใจในระบบ GenAI และกระทบต่อความสมบูรณ์ของแอปพลิเคชันที่พึ่งพาปัญญาประดิษฐ์สำหรับการตัดสินใจและการประมวลผลข้อมูล

จนถึงเดือนตุลาคม 2024 Microsoft ได้ใช้มาตรการบรรเทาที่เข้มงวดมากขึ้นเพื่อจัดการกับปัญหาเหล่านี้ อย่างไรก็ตาม เรายังคงสนับสนุนให้มีการรักษาความปลอดภัยที่เพิ่มขึ้นเมื่อใช้การป้องกันปัญญาประดิษฐ์ มาตรการเสริม เช่น เครื่องมือการปรับให้เหมาะสมเพิ่มเติมหรือการใช้ LLM ที่น้อยกว่าในการป้องกันเนื้อหาที่เป็นอันตรายและจุดอ่อน เป็นสิ่งจำเป็นในการรับประกันความปลอดภัยของปัญญาประดิษฐ์ที่มั่นคง

คุณสามารถอธิบายถึงความสำคัญของ “การโจมตีแบบจอลเบรก” และ “การควบคุมพรอมต์” ในระบบปัญญาประดิษฐ์ และเหตุใดพวกมันจึงเป็นความท้าทายที่ไม่เหมือนใคร?

การโจมตีแบบจอลเบรกเป็นรูปแบบหนึ่งของการฉีดพรอมต์ที่ผู้โจมตีสามารถใช้ประโยชน์จาก LLM เพื่อปฏิบัติตามคำสั่งที่ขัดแย้งกับการใช้งานที่ตั้งใจไว้ ของ LLM มีลักษณะคล้ายกับการโจมตีแบบ SQL Injection ที่อนุญาตให้ข้อมูลผู้ใช้ที่ไม่น่าเชื่อถือสามารถเปลี่ยนคำถามฐานข้อมูลได้ ปัญหาก็คือความเสี่ยงเหล่านี้สามารถตรวจจับได้เฉพาะในขณะทำงานเท่านั้น เนื่องจากโค้ดของ LLM เป็นเมทริกซ์จำนวนขนาดใหญ่ที่ไม่สามารถอ่านได้ด้วยมนุษย์

ตัวอย่างเช่น ทีมวิจัยของ Mindgard ได้สำรวจรูปแบบการโจมตีแบบจอลเบรกที่ซับซ้อน ซึ่งรวมถึงการฝังข้อความเสียงลับภายในข้อมูลเสียงที่ไม่สามารถตรวจจับได้โดยผู้ฟังมนุษย์ แต่ถูกตระหนักและดำเนินการโดย LLM แต่ละข้อความที่ฝังไว้ประกอบด้วยคำสั่งจอลเบรกที่ปรับให้เหมาะสมพร้อมกับคำถามที่ออกแบบมาเพื่อสถานการณ์เฉพาะ ดังนั้นในสถานการณ์เช็ตบอตทางการแพทย์ ข้อความที่ซ่อนอยู่อาจกระตุ้นให้เช็ตบอตให้คำแนะนำที่อันตราย เช่น วิธีการสังเคราะห์เมทแอมเฟตามีน ซึ่งอาจส่งผลเสียต่อชื่อเสียงอย่างรุนแรงหากคำตอบของเช็ตบอตถูกนำมาใช้จริง

แพลตฟอร์มของ Mindgard ระบุการโจมตีแบบจอลเบรกและความอ่อนไหวด้านความปลอดภัยอื่นๆ ในแบบจำลองปัญญาประดิษฐ์และวิธีการนำไปใช้ในแอปพลิเคชันของธุรกิจ ดังนั้นผู้นำด้านความปลอดภัยจึงสามารถรับประกันได้ว่าแอปพลิเคชันปัญญาประดิษฐ์ของตนได้รับการออกแบบมาเพื่อความปลอดภัยและยังคงปลอดภัย

แพลตฟอร์มของ Mindgard จัดการกับความอ่อนไหวในระบบปัญญาประดิษฐ์ต่างๆ อย่างไร ตั้งแต่ LLM ไปจนถึงระบบหลายรูปแบบ?

แพลตฟอร์มของเราจัดการกับความอ่อนไหวที่หลากหลายภายในปัญญาประดิษฐ์ ซึ่งรวมถึงการฉีดพรอมต์ การโจมตีแบบจอลเบรก การถอดรหัส (การขโมยแบบจำลอง) การกลับด้าน (การวิศวกรรมย้อนกลับของข้อมูล) การรั่วไหลของข้อมูล และการหลบเลี่ยงการตรวจจับ (การหลบเลี่ยงการตรวจจับ) และอื่นๆ ทุกรูปแบบของแบบจำลองปัญญาประดิษฐ์ (ไม่ว่าจะเป็น LLM หรือหลายรูปแบบ) แสดงให้เห็นถึงความอ่อนไหวต่อความเสี่ยง—เคล็ดลับอยู่ที่การค้นหาวิธีการเฉพาะที่กระตุ้นให้เกิดปัญหาเหล่านี้และสร้างปัญหาเกี่ยวกับความปลอดภัย ที่ Mindgard เรามีทีม R&D ที่มีขนาดใหญ่ที่เชี่ยวชาญในการค้นพบและใช้การโจมตีใหม่ๆ ในแพลตฟอร์มของเรา เพื่อให้ผู้ใช้สามารถติดตามความเสี่ยงรัฐของศิลปะได้

บทบาทของการโจมตีแบบแดง (Red Teaming) ในการรักษาความปลอดภัยของระบบปัญญาประดิษฐ์คืออะไร และแพลตฟอร์มของคุณสร้างนวัตกรรมในพื้นที่นี้อย่างไร?

การโจมตีแบบแดงเป็นส่วนสำคัญของความปลอดภัยของปัญญาประดิษฐ์ โดยการจำลองการโจมตีของฝ่ายตรงข้ามอย่างต่อเนื่อง การโจมตีแบบแดงช่วยระบุความอ่อนไหวในระบบปัญญาประดิษฐ์ ช่วยให้องค์กรสามารถบรรเทาความเสี่ยงและเร่งการนำปัญญาประดิษฐ์มาใช้ แม้ว่ามันจะมีความสำคัญ แต่การโจมตีแบบแดงในด้านปัญญาประดิษฐ์ขาดมาตรฐาน นำไปสู่ความไม่สอดคล้องกันในการประเมินภัยคุกคามและการกลยุทธ์การบรรเทา ทำให้ยากต่อการเปรียบเทียบความปลอดภัยของระบบต่างๆ อย่างเป็นกลางหรือติดตามภัยคุกคามได้อย่างมีประสิทธิภาพ

เพื่อจัดการกับปัญหานี้ เราได้แนะนำ MITRE ATLAS™ Adviser ซึ่งเป็นคุณลักษณะที่ออกแบบมาเพื่อมาตรฐานการรายงานการโจมตีแบบแดงในด้านปัญญาประดิษฐ์และทำให้การปฏิบัติงานการโจมตีแบบแดงเป็นระบบมากขึ้น สิ่งนี้ช่วยให้องค์กรสามารถจัดการความเสี่ยงในปัจจุบันและเตรียมพร้อมสำหรับภัยคุกคามในอนาคตเมื่อความสามารถของปัญญาประดิษฐ์กำลังพัฒนา ด้วยคลังโจมตีขั้นสูงที่พัฒนาขึ้นโดยทีม R&D ของเรา Mindgard สนับสนุนการโจมตีแบบแดงหลายรูปแบบ โดยครอบคลุมทั้งแบบจำลองดั้งเดิมและแบบจำลอง GenAI แพลตฟอร์มของเราจัดการกับความเสี่ยงหลักต่อความเป็นส่วนตัว ความสมบูรณ์ การละเมิด และความพร้อมใช้งาน เพื่อให้องค์กรต่างๆ มีความพร้อมที่จะรักษาความปลอดภัยของระบบปัญญาประดิษฐ์ของตนได้อย่างมีประสิทธิภาพ

คุณเห็นว่าผลิตภัณฑ์ของคุณมีตำแหน่งอย่างไรในกระบวนการ MLOps สำหรับองค์กรที่นำปัญญาประดิษฐ์มาใช้ในระดับใหญ่?

Mindgard ได้รับการออกแบบมาเพื่อทำงานร่วมกับระบบอัตโนมัติ CI/CD และทุกระดับของ SDLC โดยต้องการเพียงจุดสิ้นสุดการอนุมานหรือ API สำหรับการรวมแบบจำลอง วิธีแก้ปัญหาของเราทำการตรวจสอบความปลอดภัยของแอปพลิเคชันแบบไดนามิกสำหรับแบบจำลองปัญญาประดิษฐ์ (DAST-AI) มันทำให้ลูกค้าของเราได้รับการทดสอบความปลอดภัยอย่างต่อเนื่องสำหรับปัญญาประดิษฐ์ทั้งหมดตลอดวงจรชีวิตการสร้างและซื้อสำหรับองค์กร ทีมความปลอดภัยใช้มันเพื่อให้ได้ความเข้าใจและตอบสนองต่อความเสี่ยงจากนักพัฒนาที่สร้างและใช้ปัญญาประดิษฐ์ เพื่อทดสอบและประเมินโซลูชันปัญญาประดิษฐ์และ WAF และเพื่อประเมินความเสี่ยงระหว่างแบบจำลองปัญญาประดิษฐ์ที่ปรับให้เหมาะสมและแบบจำลองฐานราก การโจมตีแบบแดงและนักวิเคราะห์ด้านความปลอดภัยใช้ Mindgard เพื่อขยายความพยายามในการโจมตีแบบแดงของปัญญาประดิษฐ์ ในขณะที่นักพัฒนามีประโยชน์จากการทดสอบความปลอดภัยอย่างต่อเนื่องของการนำไปใช้ปัญญาประดิษฐ์ของตน

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Mindgard เพื่อเรียนรู้เพิ่มเติม