วาหิด เบซาดัน ผู้อำนวยการ Secure and Assured Intelligent Learning (SAIL) Lab – สัมภาษณ์เชิงลึก

วาหิด เป็นอาจารย์ผู้ช่วยสอนวิชาคอมพิวเตอร์ศาสตร์และวิทยาศาสตร์ข้อมูลที่มหาวิทยาลัย New Haven เขายังเป็นผู้อำนวยการของ Secure and Assured Intelligent Learning (SAIL) Lab อีกด้วย

ความสนใจในการวิจัยของเขารวมถึงความปลอดภัยและความมั่นคงของระบบอัจฉริยะ การสร้างแบบจำลองจิตวิทยาของปัญหาความปลอดภัยของ AI ความมั่นคงของระบบเชิงซ้อน การใช้ทฤษฎีเกม ระบบหลายตัวแทน และความมั่นคงทางไซเบอร์

คุณมีประสบการณ์ยาวนานในด้านความปลอดภัยของไซเบอร์และการรักษาความปลอดภัยของ AI คุณสามารถแบ่งปันเรื่องราวของคุณได้หรือไม่ว่าคุณได้ถูกดึงดูดให้เข้าสู่ทั้งสองสาขานี้ได้อย่างไร

เส้นทางการวิจัยของฉันถูกขับเคลื่อนโดยสองความสนใจหลักของฉัน คือ การค้นหาว่าสิ่งต่างๆ ล้มเหลวและเรียนรู้เกี่ยวกับกลไกของจิตใจมนุษย์ ฉันเข้าร่วมในด้านความปลอดภัยของไซเบอร์ตั้งแต่ช่วงวัยรุ่นตอนต้น และสร้างวาระการวิจัยในช่วงแรกของฉันรอบๆ ปัญหาในด้านนี้ หลายปีต่อมาในช่วงการเรียนระดับบัณฑิตศึกษา ฉันพบโอกาสที่จะเปลี่ยนสาขาวิจัยของฉัน ในช่วงนั้น ฉันเพิ่งพบกับผลงานเริ่มต้นของ Szegedy และ Goodfellow เกี่ยวกับการโจมตีแบบ adversarial example และพบว่าแนวคิดในการโจมตีเครื่องมือการเรียนรู้ของเครื่องจักรนั้นน่าสนใจมาก เมื่อฉันศึกษาปัญหาเพิ่มเติม ฉันพบว่าความปลอดภัยและความมั่นคงของ AI เป็นสาขาที่ครอบคลุมความสนใจหลักของฉัน เช่น ความปลอดภัยของไซเบอร์ วิทยาศาสตร์เชิง인지 เศรษฐศาสตร์ และปรัชญา ฉันเชื่อว่าการวิจัยในด้านนี้ไม่เพียงแต่น่าสนใจ แต่ยังจำเป็นต่อการรับรองผลประโยชน์และความปลอดภัยในระยะยาวของการปฏิวัติ AI ด้วย

คุณเป็นผู้อำนวยการของ Secure and Assured Intelligent Learning (SAIL) Lab ซึ่งทำงานเพื่อสร้างรากฐานที่มั่นคงสำหรับความปลอดภัยและความมั่นคงของเครื่องจักรอัจฉริยะ คุณสามารถอธิบายรายละเอียดเกี่ยวกับการทำงานของ SAIL ได้หรือไม่

ที่ SAIL นักเรียนและฉันทำงานเกี่ยวกับปัญหาที่อยู่ที่จุดตัดกันของความปลอดภัย AI และระบบเชิงซ้อน จุดสนใจหลักของการวิจัยของเราคือการตรวจสอบความปลอดภัยและความมั่นคงของระบบอัจฉริยะ ทั้งจากมุมมองทางทฤษฎีและทางปฏิบัติ ในด้านทฤษฎี เรากำลังศึกษาปัญหา value-alignment ในสภาพแวดล้อมหลายตัวแทน และพัฒนาทoolsทางคณิตศาสตร์เพื่อประเมินและปรับให้เหมาะสมวัตถุประสงค์ของตัวแทน AI เกี่ยวกับความเสถียรและความสอดคล้องที่มั่นคง ในด้านปฏิบัติ บางโครงการของเราสำรวจจุดอ่อนด้านความปลอดภัยของเทคโนโลยี AI ที่ทันสมัย เช่น รถยนต์ไร้คนขับและระบบการซื้อขายอัลกอริทึม และมุ่งหมายที่จะพัฒนาวิธีการในการประเมินและปรับปรุงความทนทานของเทคโนโลยีเหล่านี้ต่อการโจมตีแบบ adversarial

เรายังทำงานเกี่ยวกับการใช้การเรียนรู้ของเครื่องจักรในด้านความปลอดภัยของไซเบอร์ เช่น การทดสอบการเจาะระบบอัตโนมัติ การตรวจจับการบุกรุกในระยะแรก และการรวบรวมและวิเคราะห์ข้อมูลภัยคุกคามอัตโนมัติจากแหล่งข้อมูลที่เปิดกว้าง เช่น สื่อโซเชียล

คุณได้นำเสนอการเสนอแนะเกี่ยวกับการสร้างแบบจำลองปัญหาความปลอดภัยของ AI เป็นโรคจิตเภท คุณสามารถอธิบายสิ่งนี้ได้หรือไม่

โครงการนี้มุ่งเน้นไปที่ความซับซ้อนของระบบ AI และตัวแทน ซึ่งปัจจุบัน已经ยากที่จะวินิจฉัย คาดการณ์ และควบคุมพฤติกรรมที่ไม่ปลอดภัยของตัวแทนการเรียนรู้แบบเสริมในสถานการณ์ที่ไม่ซับซ้อน โดยการสร้างแบบจำลองพฤติกรรมที่เป็นอันตรายใน AI และ AGI โดยใช้แนวทางทางวิทยาศาสตร์ในการศึกษาปัญหาพฤติกรรมในมนุษย์ เราเสนอให้ใช้ psychopathology เป็นกรอบการทำงานระดับสูงในการศึกษาปัญหาเหล่านี้ ในฐานะการแสดงให้เห็นเป็นตัวอย่าง เราเรียนรู้เกี่ยวกับปัญหาความปลอดภัยของ AI ในเรื่องของ reward hacking ในตัวแทนการเรียนรู้แบบเสริมที่เรียนรู้การเล่นเกม Snake เราพบว่าหากเราบวก “ยาซี๊ด” ลงในสภาพแวดล้อม ตัวแทนจะเรียนรู้พฤติกรรมที่ไม่เหมาะสมซึ่งสามารถอธิบายได้ด้วยแบบจำลองทางประสาทวิทยาศาสตร์ของการเสพติด นอกจากนี้ เรายังเสนอแนวทางในการควบคุมพฤติกรรมเหล่านี้โดยใช้วิธีการรักษาในจิตแพทยศาสตร์ เช่น การใช้สัญญาณรางวัลที่สร้างขึ้นโดยอาศัยการบำบัดด้วยยาทางจิตแพทย์

คุณมีความกังวลเกี่ยวกับความปลอดภัยของ AI เมื่อพูดถึงรถยนต์ไร้คนขับหรือไม่

รถยนต์ไร้คนขับเป็นตัวอย่างที่โดดเด่นของการนำ AI ไปใช้ในระบบไซเบอร์ฟิสิกส์ เมื่อพิจารณาถึงความอ่อนไหวพื้นฐานของเทคโนโลยีการเรียนรู้ของเครื่องจักรที่มีต่อข้อผิดพลาดและโจมตีแบบ adversarial ฉันจึงกังวลอย่างลึกซึ้งเกี่ยวกับความปลอดภัยและความมั่นคงของรถยนต์ไร้คนขับแม้แต่ในระดับกึ่งอัตโนมัติ นอกจากนี้ สาขาการขับขี่อัตโนมัติยังต้องการมาตรฐานและโพรโทคอลการประเมินความปลอดภัยอย่างจริงจัง อย่างไรก็ตาม ฉันยังคงมีความหวัง เช่นเดียวกับความฉลาดธรรมชาติ AI ก็จะยังต้องเผชิญกับการทำผิดพลาด แต่วัตถุประสงค์ของรถยนต์ไร้คนขับยังคงสามารถบรรลุได้ หากอัตราและผลกระทบของข้อผิดพลาดเหล่านี้สามารถลดให้ต่ำกว่าของคนขับได้ เรากำลังเห็นความพยายามที่เพิ่มขึ้นในการแก้ไขปัญหานี้ในอุตสาหกรรมและในมหาวิทยาลัย เช่นเดียวกับรัฐบาล

การโจมตีเครื่องหมายถนนด้วยสติกเกอร์หรือวิธีอื่นๆ สามารถทำให้ระบบการมองเห็นของรถยนต์ไร้คนขับสับสนได้ คุณคิดว่านี่เป็นปัญหาใหญ่แค่ไหน

สติกเกอร์เหล่านี้และตัวอย่างที่เป็นอันตรายโดยทั่วไปทำให้เกิดความท้าทายพื้นฐานในด้านความแข็งแกร่งของแบบจำลองการเรียนรู้ของเครื่องจักร เพื่ออ้างคำพูดของ George E. P. Box “ทุกแบบจำลองมีข้อผิดพลาด แต่บางแบบจำลองมีประโยชน์” ตัวอย่างที่เป็นอันตรายจะใช้ประโยชน์จาก “ข้อผิดพลาด” ของแบบจำลองเหล่านี้ ซึ่งเกิดจากธรรมชาติของการสร้างแบบจำลองและการจำกัดข้อมูลที่ใช้ในการฝึกอบรมแบบจำลองเหล่านี้ ความพยายามล่าสุดในด้านการเรียนรู้ของเครื่องจักรที่เป็นอันตรายได้นำไปสู่ความก้าวหน้าที่สำคัญในการเพิ่มความทนทานของแบบจำลองการเรียนรู้ลึกต่อการโจมตีเหล่านี้ จากมุมมองด้านความปลอดภัย วิธีการหลอกลวงแบบจำลองการเรียนรู้ของเครื่องจักรจะยังคงมีอยู่เสมอ แต่วัตถุประสงค์ในการรักษาความปลอดภัยของแบบจำลองเหล่านี้คือการเพิ่มต้นทุนในการใช้การโจมตีเหล่านี้จนถึงระดับที่ไม่คุ้มค่าทางเศรษฐกิจ

จุดสนใจของคุณอยู่ที่คุณลักษณะด้านความปลอดภัยและความมั่นคงของทั้งการเรียนรู้ลึกและการเรียนรู้แบบเสริมลึก คุณคิดว่าทำไมสิ่งนี้จึงมีความสำคัญ

การเรียนรู้แบบเสริมเป็นวิธีการนำการเรียนรู้ของเครื่องจักรไปใช้กับปัญหาในการควบคุม ซึ่งโดยธรรมชาติแล้วเกี่ยวข้องกับการจัดการกับสภาพแวดล้อม ดังนั้น ฉันเชื่อว่าระบบที่ใช้การเรียนรู้แบบเสริมมีความเสี่ยงสูงในการก่อให้เกิดความเสียหายครั้งใหญ่ในโลกแห่งความเป็นจริงเมื่อเทียบกับวิธีการเรียนรู้ของเครื่องจักรอื่นๆ เช่น การจำแนกประเภท นี่เป็นปัญหาที่รุนแรงขึ้นเมื่อผสมผสานการเรียนรู้ลึกเข้ากับการเรียนรู้แบบเสริม ซึ่งทำให้สามารถนำไปใช้ในสถานการณ์ที่ซับซ้อนได้ ฉันคิดว่าโครงสร้างการเรียนรู้แบบเสริมมีความเกี่ยวข้องอย่างใกล้ชิดกับกลไกพื้นฐานของการรับรู้ในจิตใจของมนุษย์ และการศึกษาความปลอดภัยและความอ่อนไหวของมันสามารถนำไปสู่ความเข้าใจที่ดีขึ้นเกี่ยวกับขีดจำกัดของการตัดสินใจในใจของเรา

คุณคิดว่าเรากำลังใกล้จะบรรลุความฉลาดเทียมทั่วไป (AGI) หรือไม่

นี่เป็นคำถามที่ยากที่จะตอบ ฉันเชื่อว่าปัจจุบันเรามีบล็อกการก่อสร้างบางส่วนของสถาปัตยกรรมที่สามารถอำนวยความสะดวกในการเกิดขึ้นของ AGI แต่อาจต้องใช้เวลาหลายปีหรือทศวรรษเพื่อปรับปรุงสถาปัตยกรรมเหล่านี้และเพิ่มประสิทธิภาพในการฝึกอบรมและบำรุงรักษา ในช่วงหลายปีที่จะมาถึง ตัวแทนของเราจะกลายเป็นอัจฉริยะมากขึ้นในอัตราที่เพิ่มขึ้น ฉันไม่คิดว่าการเกิดขึ้นของ AGI จะถูกประกาศในรูปแบบของหัวข้อข่าวที่ถูกต้องตามหลักวิทยาศาสตร์ แต่เป็นผลมาจากความก้าวหน้าอย่างต่อเนื่อง นอกจากนี้ ฉันไม่คิดว่าเรายังมีวิธีการที่ได้รับการยอมรับอย่างกว้างขวางในการทดสอบและตรวจจับการมีอยู่ของ AGI ซึ่งอาจทำให้เราไม่ตระหนักถึงตัวอย่างแรกๆ ของ AGI

เราจะรักษาความปลอดภัยในระบบ AGI ที่สามารถคิดเองได้และอาจฉลาดกว่ามนุษย์เป็นเท่าใด

ฉันเชื่อว่าทฤษฎีเอกภาพของพฤติกรรมอัจฉริยะคือเศรษฐศาสตร์และการศึกษาว่าเอเย่นต์กระทำการและโต้ตอบกันเพื่อให้บรรลุเป้าหมายของตนได้อย่างไร การตัดสินใจและการกระทำของมนุษย์ถูกกำหนดโดยวัตถุประสงค์ ข้อมูล และทรัพยากรที่มีให้ ความร่วมมือและสังคมเกิดขึ้นจากผลประโยชน์ที่เกิดขึ้นสำหรับสมาชิกแต่ละคนของกลุ่มเหล่านั้น ตัวอย่างอื่นๆ คือกฎหมายอาญาที่ยับยั้งการตัดสินใจบางอย่างโดยการกำหนดค่าใช้จ่ายสูงกับการกระทำที่อาจก่อให้เกิดอันตรายต่อสังคม ในทำนองเดียวกัน ฉันเชื่อว่าการควบคุมแรงจูงใจและทรัพยากรสามารถนำไปสู่การเกิดขึ้นของสถานะสมดุลระหว่างมนุษย์และตัวอย่างของ AGI ปัจจุบันชุมชนความปลอดภัยของ AI กำลังศึกษาความคิดนี้ภายใต้ปัญหา value-alignment

คุณติดตามเรื่องราวของการต่อต้านการก่อการร้ายอย่างใกล้ชิด คุณมีความกังวลเกี่ยวกับกลุ่มก่อการร้ายที่เข้าควบคุมระบบ AI หรือ AGI หรือไม่

มีความกังวลหลายประการเกี่ยวกับการใช้เทคโนโลยี AI ในทางที่ผิด ในกรณีการดำเนินงานของกลุ่มก่อการร้าย ปัญหาหลักคือความง่ายในการที่กลุ่มก่อการร้ายสามารถพัฒนาระบบโจมตีแบบอัตโนมัติได้ เพื่อนร่วมงานหลายคนของฉันเตือนถึงความเสี่ยงของการสร้างอาวุธอัตโนมัติ (ดู https://autonomousweapons.org/ ) หนึ่งในปัญหาหลักของอาวุธที่ใช้ AI คือความยากในการควบคุมเทคโนโลยีพื้นฐาน: AI เป็นหน้าด้านของการวิจัยแบบเปิด และใครก็ตามที่มีการเข้าถึงอินเทอร์เน็ตและฮาร์ดแวร์ผู้บริโภคสามารถพัฒนาระบบ AI ที่เป็นอันตรายได้ ฉันคิดว่าการเกิดขึ้นของอาวุธอัตโนมัติเป็นเรื่องที่หลีกเลี่ยงไม่ได้ และเชื่อว่าจะมีความจำเป็นในการพัฒนาวิธีแก้ปัญหาใหม่ๆ เพื่อต่อต้านอาวุธเหล่านี้ ซึ่งอาจนำไปสู่การวนซ้ำแบบแมวและหนู ที่กระตุ้นให้เกิดการวิวัฒนาการของอาวุธที่ใช้ AI ซึ่งอาจก่อให้เกิดความเสี่ยงด้านการดำรงอยู่ในระยะยาว

เราสามารถทำอะไรเพื่อรักษาความปลอดภัยของระบบ AI จากตัวแทนเหล่านี้ที่เป็นอันตราย

ขั้นตอนแรกและสำคัญที่สุดคือการศึกษา: วิศวกรและผู้ปฏิบัติงาน AI ทุกคนต้องเรียนรู้เกี่ยวกับจุดอ่อนของเทคโนโลยี AI และพิจารณาความเสี่ยงเหล่านั้นในการออกแบบและใช้งานระบบของตน สำหรับคำแนะนำทางเทคนิคที่เฉพาะเจาะจง มีแนวคิดและแนวทางแก้ไขหลายอย่างที่สามารถนำไปใช้ได้ ตัวอย่างเช่น การฝึกตัวแทนการเรียนรู้ของเครื่องจักรในสภาพแวดล้อมที่เป็นอันตรายสามารถปรับปรุงความทนทานและความแข็งแกร่งของมันในการหลบหลีกและโจมตีแบบนโยบาย (ดูเอกสารของฉันเรื่อง “Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger“) วิธีแก้ปัญหาหนึ่งคือการคำนึงถึงความเสี่ยงของการโจมตีแบบ adversarial ในสถาปัตยกรรมของตัวแทนโดยตรง (เช่น การใช้แนวทางแบบเบย์ในการสร้างแบบจำลองความเสี่ยง) อย่างไรก็ตาม มีช่องว่างที่สำคัญในด้านนี้ ซึ่งก็คือความจำเป็นในมาตรฐานและวิธีการที่เป็นสากลในการประเมินความทนทานของตัวแทน AI ต่อการโจมตีแบบ adversarial วิธีแก้ปัญหาในปัจจุบันส่วนใหญ่เป็นแบบเฉพาะเจาะจงและไม่สามารถให้มาตรการความทนทานที่ทั่วไปต่อการโจมตีทั้งหมด

คุณมีอะไรอีกที่ต้องการแบ่งปันเกี่ยวกับหัวข้อเหล่านี้หรือไม่

ในปี 2014 Scully และคณะได้ตีพิมพ์เอกสารที่การประชุม NeurIPS เรื่อง “Machine Learning: The High-Interest Credit Card of Technical Debt” แม้ว่าสาขานี้จะก้าวหน้าไปมากในหลายปีที่ผ่านมา แต่คำกล่าวนี้ยังคงไม่สูญเสียความถูกต้อง ความก้าวหน้าในปัจจุบันของ AI และการเรียนรู้ของเครื่องจักรนั้นน่าประทับใจ แต่เรายังคงไม่ได้เติมช่องว่างที่สำคัญหลายช่องในมูลฐานและมิติทางวิศวกรรมของ AI สิ่งนี้ในความคิดของฉันคือสิ่งที่สำคัญที่สุดในการนำไปสู่การอภิปรายของเรา ฉันไม่ได้ตั้งใจที่จะทำให้การนำเทคโนโลยี AI ไปใช้ในเชิงพาณิชย์ลดลง แต่เพียงเพื่อให้ชุมชนวิศวกรรมสามารถคำนึงถึงความเสี่ยงและข้อจำกัดของเทคโนโลยี AI ปัจจุบันในการตัดสินใจของตน

ฉันชอบที่ได้เรียนรู้เกี่ยวกับความท้าทายด้านความปลอดภัยและความมั่นคงของระบบ AI ที่หลากหลาย นี่เป็นสิ่งที่บุคคล องค์กร และรัฐบาลต้องตระหนักถึง ผู้อ่านผู้ต้องการเรียนรู้เพิ่มเติมควรเยี่ยมชม Secure and Assured Intelligent Learning (SAIL) Lab