Vin Sharma ผู้ร่วมก่อตั้งและประธานเจ้าหน้าที่บริหารของ Vijil – ซีรีส์บทสัมภาษณ์

Vin Sharma เป็นผู้ร่วมก่อตั้งและประธานเจ้าหน้าที่บริหารของ Vijil โดยมีประสบการณ์มากกว่า 30 ปีในด้านความมั่นคงปลอดภัยทางไซเบอร์ โอเพนซอร์ส คลาวด์คอมพิวติ้ง และโครงสร้างพื้นฐาน AI ก่อนก่อตั้งบริษัท เขาเป็นผู้นำงานด้านวิศวกรรมการเรียนรู้เชิงลึกที่ AWS สำหรับ Amazon SageMaker และ Amazon Bedrock พัฒนาโครงสร้างพื้นฐานศูนย์ข้อมูลที่ Intel และดำรงตำแหน่งด้านผลิตภัณฑ์และวิศวกรรมที่ Hewlett-Packard เส้นทางอาชีพของเขาเริ่มต้นจากการทดสอบทีมแดงแบบอัตโนมัติสำหรับระบบ UNIX ที่เชื่อถือได้ ซึ่งเป็นรากฐานที่กำหนดแนวทางการทำงานของเขาเพื่อให้เอเจนต์ AI สำหรับองค์กรมีความน่าเชื่อถือ มั่นคงปลอดภัย และปลอดภัย

Vijil ให้บริการโครงสร้างพื้นฐานด้านความน่าเชื่อถือสำหรับเอเจนต์ AI ในองค์กร ช่วยให้องค์กรประเมินพฤติกรรม บังคับใช้มาตรการควบคุม และเสริมความสามารถในการรับมือได้ตลอดวงจรชีวิตของเอเจนต์ แนวทางของบริษัทผสานการทดสอบ ความมั่นคงปลอดภัย และการรับข้อมูลป้อนกลับอย่างต่อเนื่อง เพื่อให้พฤติกรรมของเอเจนต์สอดคล้องกับวัตถุประสงค์และนโยบายที่องค์กรกำหนดไว้ ในบทสัมภาษณ์นี้ Sharma พูดถึงวิธีนิยามและวัดความน่าเชื่อถือ เหตุใดการทดสอบเอเจนต์จึงแตกต่างจากการรักษาความปลอดภัยซอฟต์แวร์แบบเดิม และการกำกับดูแลที่องค์กรจำเป็นต้องมีเมื่อเอเจนต์มีอิสระในการทำงานมากขึ้น

ก่อนก่อตั้ง Vijil คุณทำงานกับบริษัทต่าง ๆ ซึ่งรวมถึง AWS, Intel และ Hewlett-Packard มานานกว่า 30 ปี อะไรคือสิ่งที่ทำให้คุณเชื่อมั่นในท้ายที่สุดว่า ความน่าเชื่อถือและความมั่นคงปลอดภัยของ AI เป็นปัญหาที่ยังไม่ได้รับการแก้ไขและมีขนาดใหญ่พอที่จะก่อตั้งบริษัทขึ้นมาเพื่อแก้ไข?

ก่อนเข้าร่วมสตาร์ตอัปด้านความมั่นคงปลอดภัยเมื่อ 30 ปีก่อน ผมกำลังศึกษาระดับบัณฑิตศึกษาในสาขา AI และแมชชีนเลิร์นนิง ตั้งแต่นั้นมา ผมได้ทำงานในทีมผลิตภัณฑ์ที่ผนวกความมั่นคงปลอดภัยระดับกองทัพเข้ากับระบบปฏิบัติการที่ใช้ Unix และ Linux พัฒนาเว็บเซิร์ฟเวอร์ที่ปลอดภัยสำหรับธนาคารออนไลน์ สร้างสภาพแวดล้อมการประมวลผลที่เชื่อถือได้สำหรับคลาวด์คอมพิวติ้ง ผนวกการเข้ารหัสเข้ากับแพลตฟอร์มวิเคราะห์ข้อมูล และล่าสุดก็ได้วนกลับมาทำงานด้านการสร้างบริการ AI/ML ที่พร้อมใช้งานในองค์กรที่ AWS อีกครั้ง เส้นทางนี้ทำให้ผมเชื่อมั่นว่า การสร้างความน่าเชื่อถือให้ระบบอัจฉริยะนั้นท้าทายยิ่งกว่าการสร้างระบบอัจฉริยะขึ้นมาเอง แม้อุตสาหกรรม AI โดยรวมดูมุ่งมั่นที่จะเพิ่มขีดความสามารถของเอเจนต์ แต่ผมเชื่อว่าเราจำเป็นต้องทุ่มทรัพยากรเพื่อสร้างกลไกการกำกับดูแลและการควบคุมที่ขยายขนาดได้ให้แก่เอเจนต์ในปริมาณไม่น้อยไปกว่ากัน หากปราศจากตัวชี้วัดและกลไกเหล่านี้ ซึ่งปรับให้เหมาะกับความต้องการของแต่ละองค์กร การนำไปใช้ในระยะแรกที่ขยายตัวอย่างคึกคักก็จะสะดุดลงท่ามกลางความเสี่ยงและผลตอบแทนจากการลงทุน เพราะธุรกิจจะไม่สามารถพิสูจน์ได้ว่าเอเจนต์ทำงานเพื่อประโยชน์สูงสุดของตน

แนวคิดหลักของ Vijil คือเอเจนต์ AI จำนวนมากไม่เคยได้ใช้งานจริงในระบบการผลิต เพราะองค์กรไม่สามารถตรวจสอบความน่าเชื่อถือ ความมั่นคงปลอดภัย และความปลอดภัยของเอเจนต์ได้อย่างเพียงพอ เมื่อบริษัทเปลี่ยนจากต้นแบบ AI ไปสู่การนำไปใช้งานจริง คุณเห็นช่องว่างด้านความน่าเชื่อถือที่สำคัญที่สุดเกิดขึ้นตรงไหนบ้าง?

อุปสรรคต่อการนำเอเจนต์ที่มีอิสระในการทำงานเพิ่มขึ้นไปใช้งานในวงกว้าง คือองค์กรสามารถระบุพฤติกรรมที่ต้องการจากเอเจนต์ และตรวจสอบได้หรือไม่ว่าเอเจนต์ทำงานตามที่ตั้งใจไว้ นอกจากนี้ องค์กรยังต้องทำสิ่งเหล่านี้ได้ในระดับขนาดและความเร็วเท่ากับที่เอเจนต์ทำงาน จึงสมเหตุสมผลที่เราจำเป็นต้องมีวิธีให้เอเจนต์วัดและปรับเปลี่ยนพฤติกรรมของเอเจนต์ตัวอื่น ช่องว่างสำคัญสองประการคือ การรู้ว่าควรวัดอะไร (พฤติกรรมที่ดีของเอเจนต์หมายถึงอะไร) และการรู้ว่าควรปรับอะไร (ควรปรับแต่งองค์ประกอบใดของระบบเอเจนต์เพื่อให้เกิดพฤติกรรมตามที่ผู้มอบหมายงานต้องการ ไม่ว่าจะเป็นโมเดลและพารามิเตอร์ พรอมป์ต์ระบบ คำสั่งจากผู้ใช้ โครงสร้างควบคุมเอเจนต์ หรือกราฟของระบบหลายเอเจนต์)

Vijil นิยามและวัด “ความน่าเชื่อถือ” ของเอเจนต์ AI อย่างไร และสัญญาณหรือตัวชี้วัดมาตรฐานใดสำคัญที่สุดในการพิจารณาว่าเอเจนต์พร้อมทำงานภายในสภาพแวดล้อมขององค์กรหรือไม่?

เรานิยามความน่าเชื่อถือว่าเป็นประโยชน์ที่คาดว่าจะได้รับจากการมอบหมายงานให้เอเจนต์อัตโนมัติ โดยหักลดตามความเสี่ยงที่เอเจนต์จะทรยศต่อเจตนาของเรา หมายความว่าเอเจนต์จะถือว่าเชื่อถือได้ หากทำงานได้อย่างถูกต้องในสภาวะปกติ สภาวะที่มีสัญญาณรบกวน และสภาวะที่เป็นปฏิปักษ์ และเมื่อทำงานผิดพลาดก็สามารถจำกัดขอบเขตความเสียหายให้น้อยที่สุดได้ จากนั้นเราสามารถวัดความน่าเชื่อถือได้โดยพิจารณาสามด้าน ได้แก่ ความน่าเชื่อถือในการทำงาน ความมั่นคงปลอดภัย และความปลอดภัย เอเจนต์มีความน่าเชื่อถือในการทำงานเมื่อทำงานได้ตามที่คาดหวังภายใต้สภาวะที่หลากหลาย มีความมั่นคงปลอดภัยเมื่อทำงานได้ตามที่คาดหวังภายใต้สภาวะที่เป็นปฏิปักษ์ และมีความปลอดภัยเมื่อสามารถลดความเสี่ยงด้านธุรกิจ กฎหมาย และเทคนิคให้น้อยที่สุด

เอเจนต์ AI อาจแสดงพฤติกรรมที่คาดเดาไม่ได้ เพราะประกอบด้วยโมเดล เครื่องมือ แหล่งข้อมูล หน่วยความจำ และระบบภายนอก การทดสอบเอเจนต์แตกต่างจากการทดสอบความมั่นคงปลอดภัยของแอปพลิเคชันแบบดั้งเดิม หรือการประเมินโมเดลแบบทั่วไปอย่างไร?

ซอฟต์แวร์แบบดั้งเดิมมักทำงานผิดพลาดในรูปแบบที่เราเข้าใจกันดีแล้ว กล่าวโดยกว้าง ได้แก่ การไม่สามารถจัดการกับข้อมูลนำเข้าที่ผิดรูปแบบ จุดอ่อนด้านตรรกะและการออกแบบระบบ ข้อบกพร่องในการนำไปใช้งาน ช่องโหว่ที่ซ่อนอยู่ซึ่งเปิดทางให้ถูกโจมตี และผลข้างเคียงที่ไม่ตั้งใจจากผลลัพธ์ การทดสอบเพื่อค้นหาความผิดพลาดเหล่านี้จึงคาดการณ์ได้อย่างเหมาะสม แต่เอเจนต์ขยายขอบเขตความเสี่ยงที่จะเกิดความผิดพลาดออกไปอย่างมหาศาล จนถึงจุดที่การประเมินโมเดล การทดสอบหน่วย การทดสอบการผสานระบบ การทดสอบความมั่นคงปลอดภัยของแอปพลิเคชัน การทดสอบเจาะระบบ และการตรวจสอบการปฏิบัติตามข้อกำหนด ไม่สามารถครอบคลุมขอบเขตดังกล่าวได้อย่างสิ้นเชิง ในการทดสอบขอบเขตความเสี่ยงใหม่ของเอเจนต์ เราจำเป็นต้องมีตัวชี้วัดและกลไกใหม่ที่ใช้ประเมินพฤติกรรมของเอเจนต์ โดยพิจารณาว่าสอดคล้องกับวัตถุประสงค์ที่ผู้มอบหมายงานกำหนด บุคลิกและลักษณะของผู้ใช้ ตลอดจนนโยบายขององค์กร อุตสาหกรรม และภูมิภาคที่เอเจนต์ทำงานอยู่หรือไม่

ประสบการณ์ของคุณครอบคลุมการเป็นผู้นำด้านวิศวกรรมดีปเลิร์นนิงให้กับ Amazon SageMaker และ Amazon Bedrock บทเรียนใดจากการพัฒนาโครงสร้างพื้นฐาน AI ที่ AWS ส่งอิทธิพลต่อแนวทางด้านความปลอดภัยและความน่าเชื่อถือของเอเจนต์ที่ Vijil มากที่สุด

บทเรียนที่หล่อหลอมแนวคิดของผมมากที่สุดคือ การค้นหาปัญหาด้านความน่าเชื่อถือ ความปลอดภัย และการปฏิบัติตามข้อกำหนดของบริการตั้งแต่ช่วงต้นของวงจรการพัฒนานั้นมีประสิทธิผลและประหยัดเวลากว่ามาก เมื่อเทียบกับการค้นพบปัญหาในช่วงใกล้เปิดตัว ซึ่งเป็นแนวทางที่ใช้กันมาแต่เดิม หรือที่แย่กว่านั้นคือพบหลังจากนำบริการขึ้นใช้งานจริงแล้ว ซึ่งอาจทำให้ต้องตื่นมารับโทรศัพท์แจ้งว่าบริการขัดข้อง

Vijil มุ่งเน้นไม่เพียงการทดสอบเอเจนต์ก่อนนำไปใช้งาน แต่ยังปกป้องและปรับปรุงเอเจนต์อย่างต่อเนื่องหลังนำขึ้นใช้งานจริงด้วย ความเสี่ยงประเภทใดบ้างที่จะปรากฏให้เห็นก็ต่อเมื่อเอเจนต์เริ่มโต้ตอบกับผู้ใช้จริง ข้อมูลจริง และระบบขององค์กร

โลกแห่งความเป็นจริงมีเรื่องไม่คาดคิดเกิดขึ้นได้ไม่รู้จบ และเมื่อเอเจนต์พบเรื่องไม่คาดคิด ก็มีแนวโน้มที่จะทำผิดพลาด เอเจนต์ที่สร้างมีมผิดพลาดไม่ใช่เรื่องที่ใครต้องกังวล แต่เอเจนต์ที่ออกแบบมาเพื่อช่วยเหลือหรือทำหน้าที่แทนที่ปรึกษาทางการเงิน ผู้ช่วยทนายความ ทนายความ พยาบาล แพทย์ ผู้ป่วย หรือผู้ประกอบวิชาชีพใดก็ตามในอุตสาหกรรมที่ต้องแสดงหลักฐานการปฏิบัติหน้าที่ในฐานะผู้ได้รับความไว้วางใจ จะไม่สามารถทำงานได้หากไม่มีการกำหนดขอบเขตความคลาดเคลื่อนอย่างรัดกุม เฝ้าติดตามอย่างระมัดระวัง และฟื้นฟูพฤติกรรมของเอเจนต์ให้กลับสู่สภาวะที่เหมาะสมได้อย่างรวดเร็ว

เมื่อองค์กรนำเอเจนต์ที่ทำงานได้อย่างอิสระมากขึ้นมาใช้ โดยเอเจนต์เหล่านี้สามารถลงมือดำเนินการแทนที่จะเพียงสร้างคำตอบ แนวทางด้านความปลอดภัยจำเป็นต้องปรับเปลี่ยนอย่างไร แนวคิดดั้งเดิมอย่างสิทธิ์การอนุญาต การระบุตัวตน และการควบคุมการเข้าถึงยังเพียงพอหรือไม่

ไม่เพียงพอ เมื่อเอเจนต์เริ่มมีบทบาทลงมือปฏิบัติการภายในองค์กร จำเป็นต้องกำหนดตัวตนเฉพาะให้เอเจนต์แต่ละตัวและตรวจสอบยืนยันได้ ต้องกำหนดบทบาทที่ควบคุมทั้งพฤติกรรมและองค์ประกอบการทำงานของเอเจนต์ (เครื่องมือที่มีสิทธิ์เข้าถึงทรัพยากร) พร้อมใช้นโยบายควบคุมการเข้าถึงแบบบังคับใช้ ต้องเฝ้าติดตามอย่างต่อเนื่องเพื่อดูว่าพฤติกรรมเบี่ยงเบนจากวัตถุประสงค์ที่กำหนดไว้หรือไม่ และต้องชี้นำให้เอเจนต์ยังคงรับมือได้อย่างยืดหยุ่นเมื่อถูกโจมตี

Vijil เติบโตจากการระดมทุนรอบ Seed มูลค่า 6 ล้านดอลลาร์สหรัฐ ไปสู่รอบ Series A มูลค่า 17 ล้านดอลลาร์สหรัฐ พร้อมสร้างทีมผู้ก่อตั้งราว 20 คน และมีรายได้ประจำต่อปีแตะ 1 ล้านดอลลาร์สหรัฐเป็นครั้งแรก การตัดสินใจใดสำคัญที่สุดที่ช่วยให้คุณเปลี่ยนแนวคิดทางเทคนิคในระยะเริ่มต้นให้กลายเป็นการนำไปใช้ในเชิงพาณิชย์

ตั้งแต่แรก เราเลือกสร้างชั้นความไว้วางใจที่ผสานการทำงานเข้ากับแพลตฟอร์มที่ลูกค้าเลือกใช้ แต่ก็คาดการณ์ว่าองค์กรต่าง ๆ จะต้องการการปรับแต่งที่มากขึ้น การควบคุมที่ละเอียดขึ้น และต้นทุนที่ต่ำลงสำหรับระบบหลายเอเจนต์ที่ใช้โมเดลแบบเปิดมากขึ้นเรื่อย ๆ การมุ่งสร้างชั้นแพลตฟอร์มแทนผลิตภัณฑ์เฉพาะทางเพียงอย่างเดียวในระยะยาวทำให้เราได้เปรียบในเชิงเปรียบเทียบ แต่ก็สร้างเงื่อนไขที่ท้าทายด้วย เพราะการจับคู่กับองค์กรที่พร้อมกำกับดูแลเอเจนต์ในวงกว้างนั้นไม่ง่ายเท่ากับการขายบริการที่ย้ายระบบเดิมมาใช้โดยแทบไม่ต้องปรับเปลี่ยน

คุณเริ่มต้นอาชีพด้วยการพัฒนาการทดสอบทีมแดงแบบอัตโนมัติสำหรับระบบ UNIX ที่เชื่อถือได้ในปี 1995 เกือบสามทศวรรษต่อมา หลักการของการทดสอบทีมแดงเปลี่ยนไปอย่างไร เมื่อระบบที่ทดสอบคือเอเจนต์ AI ซึ่งให้เหตุผล ปรับตัว และใช้เครื่องมือภายนอกได้

ในอดีต การทดสอบทีมแดงหมายถึงการทดสอบแนวป้องกันขององค์กรต่อการโจมตีที่ประสานงานกัน หลักการทั่วไปยังคงใช้ได้ เราจำเป็นต้องประสานการโจมตีภายใต้เงื่อนไขควบคุมเพื่อค้นหาจุดอ่อนขององค์กรที่กำลังทดสอบเช่นเดิม อย่างไรก็ตาม แนวทางในช่วงหนึ่งของประวัติศาสตร์ที่ใช้แบบฝึกหัดทีมแดงซึ่งเขียนสคริปต์ไว้ล่วงหน้าเพื่อทดสอบระบบซอฟต์แวร์นั้นไม่เพียงพออีกต่อไป เพราะเอเจนต์ AI ไม่เหมือนซอฟต์แวร์ที่ทำงานแบบกำหนดแน่นอน แต่ได้รับการออกแบบให้ปรับตัวเข้ากับสภาพแวดล้อมของตน จึงไม่สามารถนำการโจมตีแบบเดิมมาทำซ้ำแล้วคาดเดาผลได้ ผมเสนอว่าควรมองเอเจนต์เสมือนบริษัท เมื่อเป็นเช่นนั้น การทดสอบทีมแดงกับเอเจนต์จึงต้องปรับให้สอดคล้องกับวัตถุประสงค์ของเอเจนต์ ตรวจสอบว่าเอเจนต์เบี่ยงเบนจากเจตนาของผู้ใช้อย่างไร และทดสอบความเต็มใจและความสามารถของเอเจนต์ในการหลบเลี่ยงนโยบายของสภาพแวดล้อมที่ทำงานอยู่

เมื่อมองไปข้างหน้า คุณคาดว่าการทดสอบโดยอิสระและมาตรฐานความน่าเชื่อถือที่วัดผลได้สำหรับเอเจนต์ AI จะกลายเป็นเงื่อนไขเบื้องต้นสำหรับการนำไปใช้ในองค์กรหรือไม่ และอุตสาหกรรมต้องดำเนินการอย่างไรบ้างเพื่อให้การรับรองในระดับนั้นกลายเป็นแนวปฏิบัติมาตรฐาน

ปัจจุบัน ผู้พัฒนาประเมินขีดความสามารถของเอเจนต์ ทีมทดสอบทีมแดงทดสอบความทนทานต่อการโจมตีด้วยการแทรกพรอมป์ตและการเจลเบรก ส่วนทีม GRC เพิ่งเริ่มทดสอบการปฏิบัติตามกฎระเบียบ มีองค์กรเพียงไม่กี่แห่งที่จัดให้มีระบบตรวจสอบยืนยันพฤติกรรม ซึ่งทำงานต่อเนื่องอยู่เบื้องหลังตลอดวงจรชีวิตของเอเจนต์ แม้โมเดล เครื่องมือ ทรัพยากร เวิร์กโฟลว์ และสภาพแวดล้อมเป้าหมายจะเปลี่ยนแปลงไป ที่สำคัญยิ่งไปกว่านั้น จุดที่ Vijil ช่วยองค์กรได้อย่างโดดเด่นคือการติดตามพฤติกรรมจริงของเอเจนต์ขณะใช้งานจริงย้อนกลับไปยังข้อกำหนดของเอเจนต์ ผ่านวงจรป้อนกลับที่ปรับปรุงเอเจนต์อย่างต่อเนื่อง เอเจนต์ที่อยู่รอดจากการโจมตีได้คือเอเจนต์ที่ปรับตัวเพื่อรักษาความยืดหยุ่นในการรับมือ

ขอบคุณสำหรับบทสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านที่ต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการทดสอบ การปกป้อง และการปรับปรุงเอเจนต์ AI สำหรับองค์กรอย่างต่อเนื่อง สามารถเยี่ยมชม Vijil ได้