อานันท์ กันนปปัน ซีอีโอและผู้ร่วมก่อตั้ง Patronus AI – สัมภาษณ์รายการ

อานันท์ กันนปปัน เป็นผู้ร่วมก่อตั้งและซีอีโอของ Patronus AI ซึ่งเป็นแพลตฟอร์มการประเมินและรักษาความปลอดภัย AI อัตโนมัติสำหรับองค์กร ช่วยให้สามารถจับข้อผิดพลาดของ LLM ได้ที่ระดับใหญ่ ในช่วงก่อนหน้านี้ อานันท์เป็นผู้นำทีม ML Explainability และ Advanced Experimentation ที่ Meta Reality Labs

สิ่งใดที่ดึงดูดคุณให้เข้าสู่สาขาวิทยาการคอมพิวเตอร์?

เมื่อเติบโตขึ้น ฉันสนใจเทคโนโลยีและวิธีการใช้เทคโนโลยีในการแก้ปัญหาโลกแห่งความเป็นจริง ความคิดที่จะสร้างบางสิ่งจากศูนย์โดยใช้เพียงคอมพิวเตอร์และโค้ด ทำให้ฉันรู้สึกประทับใจ เมื่อฉันศึกษาวิทยาการคอมพิวเตอร์อย่างลึกซึ้ง ฉันรู้สึกว่ามันเต็มไปด้วยศักยภาพในการสร้างนวัตกรรมและเปลี่ยนแปลงในหลายอุตสาหกรรม การผลักดันให้เกิดนวัตกรรมและสร้างผลกระทบเชิงบวกคือสิ่งที่ดึงดูดฉันให้เข้าสู่สาขาวิทยาการคอมพิวเตอร์

คุณสามารถเล่าเรื่องราวเบื้องหลังการก่อตั้ง Patronus AI ได้หรือไม่?

การก่อตั้ง Patronus AI เป็นการเดินทางที่น่าสนใจมาก เมื่อ OpenAI เปิดตัว ChatGPT มันกลายเป็นผลิตภัณฑ์สำหรับผู้บริโภคที่เติบโตเร็วที่สุด โดยมีผู้ใช้มากกว่า 100 ล้านคนในเวลาเพียงสองเดือน การยอมรับในระดับใหญ่นี้เน้นย้ำถึงศักยภาพของ AI ที่สร้างขึ้น แต่ก็ทำให้เห็นความลังเลขององค์กรในการใช้ AI ในอัตราที่เร็วเช่นนี้ หลายธุรกิจกังวลเกี่ยวกับข้อผิดพลาดที่อาจเกิดขึ้นและพฤติกรรมที่ไม่คาดคิดของ LLM

เรเบคก้าและฉันรู้จักกันมาหลายปี หลังจากที่เราศึกษาวิทยาการคอมพิวเตอร์ด้วยกันที่มหาวิทยาลัยชิคาโก ที่ Meta เราทั้งคู่เผชิญกับความท้าทายในการประเมินและตีความผลลัพธ์ของเครื่องมือการเรียนรู้ของเครื่อง – เรเบคก้าจากมุมมองการวิจัย และฉันจากมุมมองการประยุกต์ เมื่อ ChatGPT เปิดตัว เราทั้งคู่เห็นศักยภาพในการเปลี่ยนแปลงของ LLM แต่ก็เข้าใจถึงความระมัดระวังที่องค์กรแสดงออกมา

จุดเปลี่ยนเกิดขึ้นเมื่อน้องชายของฉันซึ่งเป็นนักลงทุนใน Piper Sandler ตัดสินใจห้ามการเข้าถึง OpenAI ภายในองค์กร ทำให้เราเข้าใจว่า尽管 AI ได้พัฒนาไปมาก แต่ยังมีช่องว่างในการนำไปใช้ในองค์กรเนื่องจากความกังวลเรื่องความน่าเชื่อถือและความปลอดภัย เราจึงก่อตั้ง Patronus AI เพื่อแก้ไขช่องว่างนี้และเพิ่มความมั่นใจให้กับองค์กรในการใช้ AI ที่สร้างขึ้นโดยการให้บริการชั้นการประเมินและรักษาความปลอดภัยสำหรับ LLM

คุณสามารถอธิบายฟังก์ชันหลักของแพลตฟอร์ม Patronus AI สำหรับการประเมินและรักษาความปลอดภัย LLM ได้หรือไม่?

ภารกิจของเราคือการเพิ่มความมั่นใจให้กับองค์กรในการใช้ AI ที่สร้างขึ้น เราได้พัฒนาแพลตฟอร์มการประเมินและรักษาความปลอดภัยอัตโนมัติสำหรับ LLM ซึ่งเป็นครั้งแรกในอุตสาหกรรม แพลตฟอร์มของเราช่วยให้ธุรกิจสามารถตรวจจับข้อผิดพลาดในผลลัพธ์ของ LLM ได้ที่ระดับใหญ่ ทำให้สามารถใช้ผลิตภัณฑ์ AI ได้อย่างปลอดภัยและมั่นใจ

แพลตฟอร์มของเราอัตโนมัติหลายกระบวนการหลัก:

• การให้คะแนน: เราประเมินประสิทธิภาพของแบบจำลองในสถานการณ์จริง โดยเน้นไปที่เกณฑ์ที่สำคัญ เช่น การหลอกลวงและความปลอดภัย
• การสร้างการทดสอบ: เราสร้างชุดการทดสอบที่เป็นปฏิปักษ์โดยอัตโนมัติเพื่อประเมินความสามารถของแบบจำลองอย่างเข้มงวด
• การเปรียบเทียบ: เราเปรียบเทียบแบบจำลองต่างๆ เพื่อช่วยให้ลูกค้าระบุแบบจำลองที่เหมาะสมที่สุดสำหรับการใช้งานเฉพาะ

องค์กรต้องการการประเมินบ่อยๆ เพื่อปรับตัวให้เข้ากับแบบจำลองที่พัฒนาไป การเปลี่ยนแปลงของข้อมูล และความต้องการของผู้ใช้ แพลตฟอร์มของเราทำหน้าที่เป็นผู้ประเมินอิสระที่ให้มุมมองที่ไม่ลำเอียง เช่นเดียวกับ Moody’s ในพื้นที่ AI พันธมิตรเริ่มต้นของเรารวมถึงบริษัท AI ชั้นนำ เช่น MongoDB (MDB ), Databricks, Cohere และ Nomic AI และเรากำลังอยู่ในกระบวนการหารือกับบริษัทชั้นนำในอุตสาหกรรมดั้งเดิมเพื่อทดลองใช้แพลตฟอร์มของเรา

Patronus AI ของคุณสามารถตรวจจับข้อผิดพลาดหรือ “การหลอกลวง” ประเภทใดบ้างในผลลัพธ์ของ LLM และจะแก้ไขปัญหาเหล่านี้ให้กับธุรกิจอย่างไร?

LLM เป็นเครื่องมือที่ทรงพลัง แต่ธรรมชาติที่เป็นไปได้ของมันทำให้มันเสี่ยงต่อ “การหลอกลวง” หรือข้อผิดพลาดที่แบบจำลองสร้างข้อมูลที่ไม่ถูกต้องหรือไม่เกี่ยวข้อง การหลอกลวงเหล่านี้เป็นปัญหา โดยเฉพาะในสภาพแวดล้อมทางธุรกิจที่ความแม่นยำมีความสำคัญสูง

ในอดีต ธุรกิจต่างๆ พึ่งพาการตรวจสอบด้วยตนเองเพื่อประเมินผลลัพธ์ของ LLM ซึ่งเป็นกระบวนการที่ไม่เพียงแต่ต้องใช้เวลา แต่ยังไม่สามารถขยายขนาดได้ เพื่อทำให้กระบวนการนี้ง่ายขึ้น Patronus AI ได้พัฒนา Lynx ซึ่งเป็นแบบจำลองที่ช่วยเพิ่มความสามารถของแพลตฟอร์มของเราโดยการตรวจจับการหลอกลวงโดยอัตโนมัติ Lynx ซึ่งเป็นส่วนหนึ่งของแพลตฟอร์มของเรา ให้การครอบคลุมการทดสอบที่ครอบคลุมและรับประกันประสิทธิภาพที่แข็งแกร่ง โดยมุ่งเน้นไปที่การระบุข้อผิดพลาดที่สำคัญที่อาจส่งผลกระทบต่อการดำเนินงานของธุรกิจ เช่น การคำนวณทางการเงินที่ไม่ถูกต้องหรือข้อผิดพลาดในการทบทวนเอกสารทางกฎหมาย

ด้วย Lynx เราบรรเทาผลกระทบของการประเมินด้วยตนเองผ่านการทดสอบที่เป็นปฏิปักษ์โดยอัตโนมัติ โดยสำรวจสถานการณ์ความล้มเหลวที่เป็นไปได้ ซึ่งช่วยให้สามารถตรวจจับปัญหาได้ที่อาจหลบเลี่ยงผู้ประเมินด้วยตนเอง นำเสนอความน่าเชื่อถือและความมั่นใจที่เพิ่มขึ้นให้กับธุรกิจในการใช้ LLM ในแอปพลิเคชันที่สำคัญ

FinanceBench ถูกอธิบายว่าเป็นมาตรฐานแรกสำหรับการประเมินประสิทธิภาพของ LLM ในคำถามทางการเงิน อะไรคือความท้าทายในภาคการเงินที่ทำให้เกิดการพัฒนา FinanceBench?

FinanceBench ถูกพัฒนาตอบสนองต่อความท้าทายที่ไม่เหมือนใครที่ภาคการเงินต้องเผชิญในการนำ LLM มาใช้ การใช้งานทางการเงินต้องการความแม่นยำและความน่าเชื่อถือในระดับสูง เนื่องจากข้อผิดพลาดอาจนำไปสู่ความสูญเสียทางการเงินหรือปัญหาในการปฏิบัติตามกฎระเบียบ

FinanceBench ถูกสร้างขึ้นเป็นมาตรฐานที่ครอบคลุมเพื่อประเมินประสิทธิภาพของ LLM ในบริบททางการเงิน มันประกอบด้วยคู่คำถามและคำตอบ 10,000 คู่ตามเอกสารทางการเงินสาธารณะ ซึ่งครอบคลุมด้านต่างๆ เช่น การให้เหตุผลเชิงตัวเลข การค้นหาข้อมูล การให้เหตุผลเชิงตรรกะ และความรู้ของโลก โดยการให้มาตรฐานนี้ เราหวังว่าจะช่วยให้องค์กรเข้าใจข้อจำกัดของแบบจำลองปัจจุบันและระบุพื้นที่ที่ต้องการปรับปรุง

การวิเคราะห์เบื้องต้นของเราทำให้เห็นว่า LLM หลายตัวไม่ผ่านมาตรฐานที่สูงซึ่งต้องการสำหรับการใช้งานทางการเงิน ซึ่งเน้นย้ำถึงความจำเป็นในการปรับปรุงและการประเมินที่มุ่งเน้น โดย FinanceBench เรากำลังให้เครื่องมือที่มีคุณค่าแก่องค์กรเพื่อประเมินและปรับปรุงประสิทธิภาพของ LLM ในภาคการเงิน

การวิจัยของคุณเน้นย้ำว่าโมเดล AI ชั้นนำ เช่น GPT-4 สร้างเนื้อหาที่มีลิขสิทธิ์เมื่อได้รับคำกระตุ้นจากหนังสือยอดนิยม คุณเชื่อว่าสิ่งนี้จะมีผลกระทบระยะยาวต่อการพัฒนา AI และอุตสาหกรรมเทคโนโลยีโดยรวม โดยเฉพาะอย่างยิ่งเมื่อพิจารณาการถกเถียงที่กำลังดำเนินอยู่เกี่ยวกับ AI และกฎหมายลิขสิทธิ์?

ปัญหาเกี่ยวกับโมเดล AI ที่สร้างเนื้อหาที่มีลิขสิทธิ์เป็นเรื่องที่ซับซ้อนและกดดันในอุตสาหกรรม AI การวิจัยของเราทำให้เห็นว่าโมเดล เช่น GPT-4 เมื่อได้รับคำกระตุ้นจากหนังสือยอดนิยม มักจะสร้างเนื้อหาที่มีลิขสิทธิ์ ซึ่งทำให้เกิดคำถามสำคัญเกี่ยวกับสิทธิ์ในทรัพย์สินทางปัญญาและผลกระทบทางกฎหมายของการใช้เนื้อหาที่สร้างโดย AI

ในระยะยาว การค้นพบเหล่านี้เน้นย้ำถึงความจำเป็นในการมีแนวทางและข้อบังคับที่ชัดเจนเกี่ยวกับ AI และลิขสิทธิ์ อุตสาหกรรมจะต้องทำงานเพื่อพัฒนาโมเดล AI ที่เคารพสิทธิ์ในทรัพย์สินทางปัญญาในขณะเดียวกันก็รักษาความสามารถสร้างสรรค์ของพวกมันไว้ นี่อาจเกี่ยวข้องกับการปรับปรุงชุดข้อมูลการฝึกอบรมเพื่อแยกเนื้อหาที่มีลิขสิทธิ์หรือการนำระบบที่สามารถตรวจจับและป้องกันการสร้างเนื้อหาที่มีลิขสิทธิ์

อุตสาหกรรมเทคโนโลยีโดยรวมจะต้องมีส่วนร่วมในการอภิปรายอย่างต่อเนื่องกับผู้เชี่ยวชาญด้านกฎหมาย นักกำหนดนโยบาย และผู้มีส่วนได้ส่วนเสียเพื่อตั้งกรอบการทำงานที่สร้างสมดุลระหว่างนวัตกรรมและความเคารพต่อกฎหมายที่มีอยู่ เมื่อ AI ต่อไปนี้จะพัฒนา มันจะสำคัญที่จะแก้ไขความท้าทายเหล่านี้ในลักษณะที่มีความรับผิดชอบและจริยธรรม

เมื่อพิจารณาอัตราที่น่าตกใจที่ LLM ที่ทันสมัยสร้างเนื้อหาที่มีลิขสิทธิ์ตามที่การศึกษาของคุณแสดงให้เห็น คุณคิดว่าผู้พัฒนา AI และอุตสาหกรรมโดยรวมต้องดำเนินขั้นตอนใดเพื่อแก้ไขข้อกังวลเหล่านี้ นอกจากนี้ Patronus AI มีแผนจะช่วยสร้างโมเดล AI ที่มีความรับผิดชอบและเป็นไปตามกฎหมายมากขึ้นอย่างไร?

การแก้ไขปัญหาเกี่ยวกับโมเดล AI ที่สร้างเนื้อหาที่มีลิขสิทธิ์ต้องใช้แนวทางหลายด้าน ผู้พัฒนา AI และอุตสาหกรรมโดยรวมต้องจัดลำดับความสำคัญของความโปร่งใสและความรับผิดชอบในการพัฒนาโมเดล AI ซึ่งรวมถึง:

• การปรับปรุงการคัดเลือกข้อมูล: รับประกันว่าชุดข้อมูลการฝึกอบรมได้รับการคัดเลือกอย่างระมัดระวังเพื่อหลีกเลี่ยงเนื้อหาที่มีลิขสิทธิ์ เว้นแต่จะได้รับอนุญาตอย่างเหมาะสม
• การพัฒนาวิธีการตรวจจับ: การนำระบบที่สามารถระบุได้ว่าโมเดล AI กำลังสร้างเนื้อหาที่อาจมีลิขสิทธิ์ และให้ตัวเลือกแก่ผู้ใช้ในการแก้ไขหรือลบเนื้อหาดังกล่าว
• การกำหนดมาตรฐานอุตสาหกรรม: การร่วมมือกับผู้เชี่ยวชาญด้านกฎหมายและผู้มีส่วนได้ส่วนเสียในอุตสาหกรรมเพื่อสร้างแนวทางและมาตรฐานในการพัฒนา AI ที่เคารพสิทธิ์ในทรัพย์สินทางปัญญา

ที่ Patronus AI เรามุ่งมั่นที่จะช่วยเหลือในการพัฒนา AI ที่มีความรับผิดชอบโดยการเน้นไปที่การประเมินและการปฏิบัติตามกฎระเบียบ ผลิตภัณฑ์ของเรารวมถึง EnterprisePII ซึ่งช่วยให้ธุรกิจสามารถตรวจจับและจัดการปัญหาที่อาจเกิดขึ้นเกี่ยวกับความเป็นส่วนตัวในผลลัพธ์ของ AI โดยการให้บริการเหล่านี้ เราตั้งเป้าที่จะช่วยให้ธุรกิจสามารถใช้ AI ได้อย่างมีความรับผิดชอบและลดความเสี่ยงทางกฎหมาย

ด้วยเครื่องมืออย่าง EnterprisePII และ FinanceBench คุณคาดว่าจะมีการเปลี่ยนแปลงใดในการใช้ AI ขององค์กร โดยเฉพาะอย่างยิ่งในพื้นที่ที่ละเอียดอ่อน เช่น การเงินและส่วนบุคคล?

เครื่องมือเหล่านี้ให้ความสามารถแก่ธุรกิจในการประเมินและจัดการผลลัพธ์ของ AI ได้อย่างมีประสิทธิภาพ โดยเฉพาะอย่างยิ่งในพื้นที่ที่ละเอียดอ่อน เช่น การเงินและส่วนบุคคล

ในภาคการเงิน FinanceBench ช่วยให้องค์กรสามารถประเมินประสิทธิภาพของ LLM ได้อย่างแม่นยำ ทำให้สามารถใช้ AI ในการวิเคราะห์ข้อมูลและการตัดสินใจได้อย่างมั่นใจและเชื่อถือได้มากขึ้น

ในทำนองเดียวกัน เครื่องมืออย่าง EnterprisePII ช่วยให้องค์กรสามารถนำทางความซับซ้อนของความเป็นส่วนตัวได้ โดยการให้ข้อมูลเชิงลึกเกี่ยวกับความเสี่ยงและวิธีการบรรเทา ทำให้องค์กรสามารถใช้ AI ได้อย่างปลอดภัยและมีความรับผิดชอบมากขึ้น

โดยรวมแล้ว เครื่องมือเหล่านี้เปิดทางให้กับแนวทางที่มีข้อมูลและเชิงกลยุทธ์มากขึ้นในการนำ AI ไปใช้ ช่วยให้องค์กรสามารถใช้ประโยชน์จาก AI ในขณะเดียวกันก็ลดความเสี่ยงที่เกี่ยวข้อง

Patronus AI ทำงานร่วมกับบริษัทอย่างไรเพื่อผสานรวมเครื่องมือเหล่านี้เข้ากับการใช้ LLM ที่มีอยู่และกระบวนการทำงาน?

ที่ Patronus AI เราเข้าใจถึงความสำคัญของการผสานรวมอย่างราบรื่นเมื่อพูดถึงการนำ AI ไปใช้ เราทำงานอย่างใกล้ชิดกับลูกค้าเพื่อให้แน่ใจว่าเครื่องมือของเราจะรวมเข้ากับการใช้งาน LLM ที่มีอยู่และกระบวนการทำงานของพวกเขาได้อย่างง่ายดาย ซึ่งรวมถึงการให้ลูกค้า:

• แผนการผสานรวมที่ปรับแต่ง: เราทำงานร่วมกับลูกค้าแต่ละรายเพื่อพัฒนาแผนการผสานรวมที่เหมาะสมกับความต้องการและวัตถุประสงค์ของพวกเขา
• การสนับสนุนที่ครอบคลุม: ทีมของเรามอบการสนับสนุนอย่างต่อเนื่องตลอดกระบวนการผสานรวม โดยให้คำแนะนำและความช่วยเหลือเพื่อให้แน่ใจว่าการเปลี่ยนแปลงเป็นไปอย่างราบรื่น
• การฝึกอบรมและการศึกษา: เราเสนอสессันการฝึกอบรมและการศึกษาเพื่อช่วยให้ลูกค้าเข้าใจและใช้เครื่องมือของเราได้อย่างเต็มที่ ทำให้พวกเขาได้รับประโยชน์สูงสุดจากการลงทุนใน AI

เมื่อพิจารณาความซับซ้อนในการรับรองว่าผลลัพธ์ของ AI มีความปลอดภัย ถูกต้อง และเป็นไปตามกฎหมายต่างๆ คุณมีคำแนะนำใดสำหรับผู้พัฒนา LLM และบริษัทที่ต้องการใช้ LLM เหล่านี้?

โดยการจัดลำดับความสำคัญของการทำงานร่วมกันและความช่วยเหลือ เรามุ่งหวังที่จะทำให้กระบวนการผสานรวมเป็นไปอย่างตรงไปตรงมาและประสิทธิภาพสูงสุด เพื่อให้องค์กรสามารถปลดปล่อยศักยภาพเต็มที่ของโซลูชัน AI ของเรา

ความซับซ้อนที่เกี่ยวข้องกับการรับรองว่าผลลัพธ์ของ AI มีความปลอดภัย ถูกต้อง และเป็นไปตามกฎหมายต่างๆ นำเสนอความท้าทายที่สำคัญ สำหรับผู้พัฒนา LLM สิ่งสำคัญคือการให้ความสำคัญกับความโปร่งใสและความรับผิดชอบตลอดกระบวนการพัฒนา

หนึ่งในประเด็นสำคัญคือคุณภาพของข้อมูล ผู้พัฒนาต้องแน่ใจว่าชุดข้อมูลการฝึกอบรมมีการเลือกสรรมาอย่างดีและไม่มีเนื้อหาที่มีลิขสิทธิ์ เว้นแต่จะได้รับอนุญาตอย่างเหมาะสม นอกจากนี้ การจัดการความลำเอียงและความยุติธรรมยังเป็นสิ่งสำคัญ โดยการทำงานอย่างแข็งขันเพื่อระบุและบรรเทาผลกระทบของความลำเอียง และการพัฒนาชุดข้อมูลการฝึกอบรมที่หลากหลายและเป็นตัวแทนของทุกคน จะช่วยลดความลำเอียงและรับประกันผลลัพธ์ที่ยุติธรรมสำหรับผู้ใช้ทุกคน

ขั้นตอนการประเมินที่เข้มแข็งเป็นสิ่งจำเป็น การนำการทดสอบและใช้มาตรฐาน เช่น FinanceBench สามารถช่วยประเมินประสิทธิภาพและความน่าเชื่อถือของแบบจำลอง AI และรับประกันว่าพวกมันตรงตามข้อกำหนดของการใช้งานเฉพาะ นอกจากนี้ การพิจารณาด้านจริยธรรมควรอยู่ในระดับแนวหน้า การมีส่วนร่วมในกรอบการทำงานด้านจริยธรรมและแนวทางปฏิบัติจะช่วยให้แน่ใจว่าระบบ AI ถูกพัฒนาอย่างมีความรับผิดชอบและเป็นไปตามค่านิยมของสังคม

สำหรับบริษัทที่ต้องการใช้ LLM สิ่งสำคัญคือต้องเข้าใจความสามารถของ AI และตั้งความคาดหวังที่เป็นจริง ควรให้ความสำคัญกับการผสานรวมและความช่วยเหลือ โดยการทำงานร่วมกับคู่ค้าที่เชื่อถือได้ บริษัทสามารถรวมโซลูชัน AI เข้ากับกระบวนการทำงานที่มีอยู่และรับประกันว่าทีมของพวกเขาจะได้รับการฝึกอบรมและได้รับการสนับสนุนเพื่อใช้ AI อย่างมีประสิทธิภาพ

การปฏิบัติตามกฎระเบียบและความปลอดภัยควรได้รับการจัดลำดับความสำคัญ โดยมุ่งเน้นไปที่การปฏิบัติตามกฎระเบียบและกฎหมายคุ้มครองข้อมูล เครื่องมืออย่าง EnterprisePII สามารถช่วยให้องค์กรติดตามและจัดการความเสี่ยงที่อาจเกิดขึ้นได้ การติดตามและประเมินประสิทธิภาพของ AI อย่างต่อเนื่องก็จำเป็นต่อการรักษาความแม่นยำและความน่าเชื่อถือ โดยช่วยให้สามารถปรับเปลี่ยนตามความจำเป็น

ขอขอบคุณสำหรับสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Patronus AI เพื่อเรียนรู้เพิ่มเติม