Rebecca Qian, ผู้ร่วมก่อตั้งและ CTO ของ Patronus AI – สัมภาษณ์รายการ

Rebecca Qian เป็นผู้ร่วมก่อตั้งและ CTO ของ Patronus AI โดยมีประสบการณ์เกือบหนึ่งทศวรรษในการสร้างระบบการเรียนรู้ของเครื่องแบบการผลิตที่จุดตัดกันของ NLP, Embodied AI และโครงสร้างพื้นฐาน ในที่ Facebook (META ) AI เธอทำงานทั้งด้านการวิจัยและการใช้งาน โดยฝึกอบรม FairBERTa ซึ่งเป็นโมเดลภาษาขนาดใหญ่ที่ออกแบบด้วยวัตถุประสงค์ความยุติธรรม พัฒนาโมเดลการเปลี่ยนแปลงประชากรศาสตร์เพื่อเขียนเนื้อหาของวิกิพีเดียใหม่ และเป็นผู้นำการวิเคราะห์ความหมายสำหรับหุ่นยนต์ผู้ช่วย เธอยังสร้างระบบการทำงานแบบมีคนในวงจรสำหรับเอเจนต์ที่มีร่างกายและสร้างเครื่องมือโครงสร้างพื้นฐาน เช่น การทำเหมืองแบบต่อเนื่อง ซึ่งถูกนำมาใช้ในทีมโครงสร้างพื้นฐานของ Facebook และนำเสนอที่ ICSE เธอได้เข้าร่วมโครงการโอเพ่นซอร์ส รวมถึง FacebookResearch/fairo และ Droidlet ซึ่งเป็นสมุดบันทึกการวิเคราะห์ความหมาย ในฐานะผู้ร่วมก่อตั้ง เธอมุ่งเน้นไปที่การดูแลอย่างมีประสิทธิภาพ การเรียนรู้แบบเสริมกำลัง และการนำเอเจนต์ AI ที่ปลอดภัยและตระหนักรู้สภาพแวดล้อมมาใช้

Patronus AI เป็นบริษัทที่ตั้งอยู่ที่ซานฟรานซิสโก ซึ่งให้บริการแพลตฟอร์มที่ขับเคลื่อนด้วยการวิจัยสำหรับการประเมิน การติดตาม และการเพิ่มประสิทธิภาพโมเดลภาษาขนาดใหญ่ (LLM) และเอเจนต์ AI เพื่อช่วยให้นักพัฒนาสามารถส่งมอบผลิตภัณฑ์ AI ที่สร้างสรรค์ได้อย่างมั่นใจ แพลตฟอร์มนี้ให้เครื่องมือการประเมินอัตโนมัติ การทดสอบมาตรฐาน การวิเคราะห์ ชุดข้อมูลที่กำหนดเอง และสภาพแวดล้อมเฉพาะเอเจนต์ที่สามารถระบุปัญหาประสิทธิภาพ เช่น การหลอกลวง ความเสี่ยงด้านความปลอดภัย หรือความล้มเหลวของตรรกะ ซึ่งช่วยให้ทีมสามารถปรับปรุงและแก้ไขปัญหา AI ระบบต่างๆ ได้อย่างต่อเนื่องในกรณีการใช้งานจริง Patronus ให้บริการลูกค้าองค์กรและพันธมิตรด้านเทคโนโลยีโดยการเพิ่มความสามารถให้พวกเขาในการประเมินพฤติกรรมแบบจำลอง ตรวจจับข้อผิดพลาดในระดับใหญ่ และเพิ่มความน่าเชื่อถือและประสิทธิภาพในแอปพลิเคชัน AI

คุณมีประสบการณ์อย่างลึกซึ้งในการสร้างระบบ ML ที่ Facebook AI รวมถึงการทำงานกับ FairBERTa และระบบการทำงานแบบมีคนในวงจร คุณบอกเราได้หรือไม่ว่าประสบการณ์นั้นได้กำหนดมุมมองของคุณเกี่ยวกับการใช้งาน AI ในโลกแห่งความเป็นจริงและความปลอดภัยอย่างไร

การทำงานที่ Meta AI ทำให้ฉันเน้นไปที่สิ่งที่ต้องการเพื่อให้โมเดลมีความน่าเชื่อถือในทางปฏิบัติ—โดยเฉพาะอย่างยิ่งเกี่ยวกับการใช้ NLP อย่างรับผิดชอบ ฉันทำงานเกี่ยวกับการสร้างโมเดลภาษาที่มุ่งเน้นความยุติธรรม และฉันเห็นด้วยตัวเองว่า 얼마น่ายากที่จะประเมินและตีความผลลัพธ์ของโมเดล นั่นได้กำหนดมุมมองของฉันเกี่ยวกับความปลอดภัย หากคุณไม่สามารถวัดและเข้าใจพฤติกรรมของโมเดลได้ จะยากที่จะใช้งาน AI ในโลกแห่งความเป็นจริงได้อย่างมั่นใจ

อะไรเป็นแรงบันดาลใจให้คุณเปลี่ยนจากการเป็นวิศวกรวิจัยไปสู่การเป็นผู้ประกอบการ โดยร่วมก่อตั้ง Patronus AI และปัญหาใดที่คุณรู้สึกว่าจำเป็นต้องแก้ไขในขณะนั้น

การประเมินกลายเป็นอุปสรรคใน AI ในขณะนั้น ฉันออกจาก Meta AI ในเดือนเมษายนเพื่อเริ่ม Patronus กับ Anand เพราะ ฉันเห็นด้วยตัวเองว่า 얼마น่ายากที่จะประเมินและตีความผลลัพธ์ของ AI และเมื่อ AI ที่สร้างสรรค์เริ่มเข้าสู่กระบวนการทำงานขององค์กร ก็ชัดเจนว่านี่ไม่ใช่ปัญหาในห้องปฏิบัติการอีกต่อไป 

เรายังคงได้ยินสิ่งเดียวกันจากองค์กร พวกเขาต้องการใช้ LLM แต่ไม่สามารถทดสอบได้อย่างน่าเชื่อถือ ติดตาม หรือเข้าใจรูปแบบการล้มเหลว เช่น การหลอกลวง โดยเฉพาะในอุตสาหกรรมที่มีการควบคุมที่มีความอดทนต่อข้อผิดพลาดน้อยมาก 

ดังนั้น ปัญหาเร่งด่วนที่เราต้องแก้ไขในตอนแรกคือการสร้างวิธีการประเมินแบบจำลองอัตโนมัติ—การประเมินแบบจำลองในสถานการณ์จริง การสร้างกรณีทดสอบที่เป็นปฏิปักษ์ และการเปรียบเทียบ—เพื่อให้ทีมสามารถใช้งานได้อย่างมั่นใจแทนการเดา

Patronus ได้แนะนำซิมูเลเตอร์ที่สร้างสรรค์เป็นสภาพแวดล้อมแบบปรับเปลี่ยนสำหรับเอเจนต์ AI อะไรคือข้อจำกัดในการประเมินหรือการฝึกอบรมที่มีอยู่ซึ่งนำคุณไปสู่ทิศทางนี้

เรายังคงเห็นความไม่ตรงกันระหว่างวิธีการประเมินเอเจนต์ AI และวิธีที่พวกมันคาดหวังให้ทำงานในโลกแห่งความเป็นจริง การทดสอบมาตรฐานวัดความสามารถที่แยกจากกันในจุดเวลาหนึ่ง แต่งานจริงมีความ动态 งานถูกขัดจังหวะ ความต้องการเปลี่ยนแปลงระหว่างการดำเนินการ และการตัดสินใจสะสมตลอดระยะเวลานาน เอเจนต์สามารถดูแข็งแกร่งในการทดสอบแบบคงที่ แต่ล้มเหลวอย่างมากเมื่อใช้งานจริง เมื่อเอเจนต์ดีขึ้น พวกมันก็อิ่มตัวในมาตรฐานคงที่ ซึ่งทำให้การเรียนรู้ถึงจุดอิ่มตัว ซิมูเลเตอร์ที่สร้างสรรค์เกิดขึ้นเพื่อแทนที่การทดสอบแบบคงที่ด้วยสภาพแวดล้อมที่มีชีวิตซึ่งปรับเปลี่ยนเมื่อเอเจนต์เรียนรู้

คุณเห็นว่าซิมูเลเตอร์ที่สร้างสรรค์เปลี่ยนแปลงวิธีการฝึกอบรมและประเมินเอเจนต์ AI อย่างไร เมื่อเทียบกับการทดสอบแบบคงที่หรือชุดข้อมูลแบบคงที่

การเปลี่ยนแปลงคือการทดสอบไม่ใช่การทดสอบอีกต่อไป แต่เป็นสภาพแวดล้อมแทนการนำเสนอบทถามแบบคงที่ ซิมูเลเตอร์สร้างการมอบหมายงาน สภาพแวดล้อม และตรรกะการประเมินแบบไดนามิก เมื่อเอเจนต์แสดงพฤติกรรมและดีขึ้น สภาพแวดล้อมปรับเปลี่ยน นั่นลบล้างขอบเขตระหว่างการฝึกอบรมและการประเมิน คุณไม่ได้ถามว่าเอเจนต์ผ่านการทดสอบหรือไม่ แต่ว่าเอเจนต์สามารถทำงานได้อย่างน่าเชื่อถือตลอดเวลาในสภาพแวดล้อมแบบไดนามิกหรือไม่

จากมุมมองทางเทคนิค อะไรคือแนวคิดทางสถาปัตยกรรมหลักที่อยู่เบื้องหลังซิมูเลเตอร์ที่สร้างสรรค์ โดยเฉพาะอย่างยิ่งเกี่ยวกับการสร้างงาน การเปลี่ยนแปลงสภาพแวดล้อม และโครงสร้างรางวัล

ในระดับสูง ซิมูเลเตอร์ที่สร้างสรรค์รวมการเรียนรู้แบบเสริมกำลังเข้ากับการสร้างสภาพแวดล้อมแบบไดนามิก ซิมูเลเตอร์สามารถสร้างงานใหม่ อัปเดตกฎของโลกแบบไดนามิก และประเมินการกระทำของเอเจนต์แบบเรียลไทม์ ส่วนประกอบหลักคือสิ่งที่เรียกว่า “ผู้ปรับเปลี่ยนหลักสูตร” ซึ่งวิเคราะห์พฤติกรรมของเอเจนต์และปรับเปลี่ยนความยากและโครงสร้างของสถานการณ์เพื่อรักษาการเรียนรู้ให้ผลผลิต โครงสร้างรางวัลถูกออกแบบมาเพื่อให้สามารถตรวจสอบได้และเฉพาะโดเมน ดังนั้นเอเจนต์จะถูกนำไปสู่พฤติกรรมที่ถูกต้องแทนการหลอกลวง

เมื่อช่องว่างการประเมินและเครื่องมือเอเจนต์ AI มีความแออัดมากขึ้น อะไรที่ชัดเจนที่สุดในการแยกแนวทางของ Patronus

จุดเน้นของเราคือความถูกต้องทางนิเวศวิทยา เราออกแบบสภาพแวดล้อมที่สะท้อนถึงกระบวนการทำงานของมนุษย์จริง รวมถึงการขัดจังหวะ การเปลี่ยนบริบท การใช้เครื่องมือ และการให้เหตุผลแบบหลายขั้นตอน ไม่ใช่การเพิ่มประสิทธิภาพเอเจนต์ให้ดูดีในการทดสอบแบบกำหนดไว้ล่วงหน้า แต่เรามุ่งเน้นไปที่การเปิดเผยความล้มเหลวที่สำคัญในกระบวนการทำงาน ซิมูเลเตอร์ประเมินพฤติกรรมตลอดเวลา ไม่ใช่แค่ผลลัพธ์แบบแยกออกมา

ประเภทงานหรือรูปแบบการล้มเหลวใดที่ได้รับประโยชน์มากที่สุดจากการทดสอบโดยใช้ซิมูเลเตอร์ เมื่อเทียบกับการทดสอบแบบดั้งเดิม

งานที่มีระยะเวลานานและหลายขั้นตอนได้รับประโยชน์มากที่สุด แม้ว่าอัตราการผิดพลาดต่อขั้นตอนจะเล็กน้อย แต่ก็สามารถสะสมเป็นอัตราการล้มเหลวที่สำคัญในงานที่ซับซ้อน ซึ่งการทดสอบแบบคงที่ไม่สามารถจับได้ การทดสอบโดยใช้ซิมูเลเตอร์ทำให้สามารถระบุความล้มเหลวที่เกี่ยวข้องกับการยึดติดกับงานตลอดเวลา การจัดการการขัดจังหวะ การใช้เครื่องมือ และการปรับตัวเมื่อสภาพแวดล้อมเปลี่ยนแปลงระหว่างงาน

การเรียนรู้โดยใช้สภาพแวดล้อมเปลี่ยนแปลงวิธีคิดเกี่ยวกับความปลอดภัยของ AI อย่างไร และซิมูเลเตอร์ที่สร้างสรรค์นำความเสี่ยงใหม่ๆ เช่น การหลอกลวงรางวัลหรือรูปแบบการล้มเหลวที่เกิดขึ้นเองมาหรือไม่

การเรียนรู้โดยใช้สภาพแวดล้อมทำให้ปัญหาด้านความปลอดภัยหลายอย่างง่ายต่อการตรวจจับ การหลอกลวงรางวัลมักจะเจริญเติบโตในสภาพแวดล้อมแบบคงที่ที่เอเจนต์สามารถใช้ประโยชน์จากช่องโหว่แบบคงที่ได้ ในซิมูเลเตอร์ที่สร้างสรรค์ สภาพแวดล้อมเป็นเป้าหมายที่เคลื่อนไหว ซึ่งทำให้การหลอกลวงเหล่านั้นยากต่อการรักษาไว้ นั้นกล่าวได้ว่าการออกแบบอย่างระมัดระวังคือสิ่งจำเป็นรอบๆ รางวัลและการดูแล การใช้สภาพแวดล้อมให้ได้ประโยชน์มากกว่าการใช้การทดสอบแบบคงที่มาก เพราะให้การควบคุมและความเข้าใจพฤติกรรมของเอเจนต์ที่ดีกว่า

เมื่อมองไปข้างหน้า 5 ปี คุณเห็น Patronus AI อยู่ที่ไหนในแง่ของความทะเยอทะยานทางเทคนิคและผลกระทบต่ออุตสาหกรรม

เรามองว่าสภาพแวดล้อมกำลังจะกลายเป็นโครงสร้างพื้นฐานที่สำคัญสำหรับ AI เมื่อเอเจนต์เปลี่ยนจากการตอบคำถามไปสู่การทำงานจริง สภาพแวดล้อมที่พวกมันเรียนรู้จะกำหนดความสามารถและความน่าเชื่อถือของพวกมัน ความทะเยอทะยานในระยะยาวของเราคือการเปลี่ยนกระบวนการทำงานจริงให้เป็นสภาพแวดล้อมที่มีโครงสร้างซึ่งเอเจนต์สามารถเรียนรู้ได้อย่างต่อเนื่อง การแยกความแตกต่างระหว่างการประเมินและการฝึกอบรมกำลังจะล้มลง และเราคิดว่าการเปลี่ยนแปลงนั้นจะกำหนดรูปแบบของระบบ AI ในอนาคต

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Patronus AI เพื่อเรียนรู้เพิ่มเติม