Anand Kannappan, CEO & Co-founder of Patronus AI – Interview Series

Anand Kannappan เป็น Co-Founder และ CEO ของ Patronus AI ซึ่งเป็นแพลตฟอร์มการประเมินและรักษาความปลอดภัย AI อัตโนมัติแบบอุตสาหกรรมแรก เพื่อช่วยให้ธุรกิจจับข้อผิดพลาดของ LLM ในขนาดใหญ่ ก่อนหน้านี้ Anand เป็นผู้นำด้านการอธิบาย ML และความพยายามในการทดลองขั้นสูงที่ Meta Reality Labs

สิ่งใดที่ดึงดูดคุณเข้าสู่วิทยาศาสตร์คอมพิวเตอร์?

เมื่อเติบโตขึ้น ฉันสนใจเทคโนโลยีและวิธีการใช้เทคโนโลยีเพื่อแก้ปัญหาในโลกแห่งความเป็นจริง ความคิดที่จะสร้างบางสิ่งจากศูนย์โดยใช้เพียงคอมพิวเตอร์และโค้ด ทำให้ฉันรู้สึกประทับใจ เมื่อฉันศึกษาวิทยาศาสตร์คอมพิวเตอร์อย่างลึกซึ้ง ฉันรู้สึกว่ามีศักยภาพในการสร้างนวัตกรรมและเปลี่ยนแปลงอุตสาหกรรมต่างๆ สิ่งนี้ทำให้ฉันสนใจวิทยาศาสตร์คอมพิวเตอร์

คุณสามารถแบ่งปันเรื่องราวเกี่ยวกับ Patronus AI ได้หรือไม่?

เรื่องราวของ Patronus AI เป็นการเดินทางที่น่าสนใจ เมื่อ OpenAI เปิดตัว ChatGPT มันเป็นผลิตภัณฑ์ที่เติบโตเร็วที่สุด โดยมีผู้ใช้มากกว่า 100 ล้านคนในเวลาเพียงสองเดือน สิ่งนี้เน้นย้ำถึงศักยภาพของ AI ที่สร้างขึ้น แต่ก็ทำให้ธุรกิจต่างๆ กังวลเกี่ยวกับข้อผิดพลาดและพฤติกรรมที่ไม่คาดคิดของ LLM

Rebecca และฉันรู้จักกันตั้งแต่เรียนวิทยาศาสตร์คอมพิวเตอร์ที่ University of Chicago ที่ Meta เราทั้งคู่เผชิญกับความท้าทายในการประเมินและตีความผลลัพธ์ของ ML — Rebecca จากมุมมองการวิจัยและฉันจากมุมมองการประยุกต์ เมื่อ ChatGPT เปิดตัว เราทั้งคู่เห็นถึงศักยภาพการเปลี่ยนแปลงของ LLM แต่ก็เข้าใจถึงความกังวลของธุรกิจต่างๆ

จุดเปลี่ยนเกิดขึ้นเมื่อน้องชายของฉัน Piper Sandler ตัดสินใจห้ามการเข้าถึง OpenAI ภายในบริษัท สิ่งนี้ทำให้เราเข้าใจว่าแม้ว่า AI จะพัฒนาไปมาก แต่ยังมีช่องว่างในการนำไปใช้ในธุรกิจเนื่องจากความกังวลเกี่ยวกับความน่าเชื่อถือและความปลอดภัย เราก่อตั้ง Patronus AI เพื่อแก้ไขช่องว่างนี้และเพิ่มความมั่นใจให้กับธุรกิจในการใช้ AI ที่สร้างขึ้นโดยการให้บริการการประเมินและความปลอดภัยสำหรับ LLM

คุณสามารถอธิบายฟังก์ชันหลักของแพลตฟอร์ม Patronus AI สำหรับการประเมินและรักษาความปลอดภัย LLM ได้หรือไม่?

ภารกิจของเราคือเพิ่มความมั่นใจให้กับธุรกิจในการใช้ AI ที่สร้างขึ้น เราได้พัฒนาแพลตฟอร์มการประเมินและรักษาความปลอดภัยอัตโนมัติสำหรับ LLM แพลตฟอร์มของเราช่วยให้ธุรกิจสามารถตรวจจับข้อผิดพลาดในผลลัพธ์ของ LLM ในขนาดใหญ่ ทำให้สามารถใช้ AI ได้อย่างปลอดภัยและมั่นใจ

แพลตฟอร์มของเราอัตโนมัติหลายกระบวนการ:

• การให้คะแนน: เราประเมินประสิทธิภาพของโมเดลในสถานการณ์จริง โดยเน้นไปที่เกณฑ์ที่สำคัญ เช่น การหลอกลวงและความปลอดภัย
• การสร้างการทดสอบ: เราสร้างชุดการทดสอบที่เป็นปฏิปักษ์อัตโนมัติในขนาดใหญ่เพื่อประเมินความสามารถของโมเดลอย่างเข้มงวด
• การเปรียบเทียบ: เราเปรียบเทียบโมเดลต่างๆ เพื่อช่วยให้ลูกค้าระบุโมเดลที่เหมาะสมที่สุดสำหรับการใช้งานเฉพาะ

ธุรกิจต่างๆ ต้องการการประเมินบ่อยๆ เพื่อปรับตัวให้เข้ากับโมเดลที่เปลี่ยนแปลงไป ข้อมูล และความต้องการของผู้ใช้ แพลตฟอร์มของเราทำหน้าที่เป็นผู้ประเมินอิสระ โดยให้มุมมองที่ไม่ลำเอียง เช่นเดียวกับ Moody’s ในอุตสาหกรรม AI หุ้นส่วนแรกของเรารวมถึงบริษัท AI ชั้นนำ เช่น MongoDB, Databricks, Cohere และ Nomic AI และเรากำลังพูดคุยกับบริษัทชั้นนำในอุตสาหกรรมดั้งเดิมหลายแห่งเพื่อทดลองใช้แพลตฟอร์มของเรา

คุณสามารถอธิบายข้อผิดพลาดหรือ “การหลอกลวง” ที่โมเดล Lynx ของ Patronus AI ตรวจจับในผลลัพธ์ของ LLM และวิธีการแก้ไขปัญหาเหล่านี้สำหรับธุรกิจได้หรือไม่?

LLM เป็นเครื่องมือที่ทรงพลัง แต่ธรรมชาติที่เป็นไปได้ทำให้พวกมันเสี่ยงต่อ “การหลอกลวง” หรือข้อผิดพลาดที่โมเดลสร้างข้อมูลที่ไม่ถูกต้องหรือไม่เกี่ยวข้อง การหลอกลวงเหล่านี้เป็นปัญหา โดยเฉพาะในสภาพแวดล้อมทางธุรกิจที่ความแม่นยำมีความสำคัญ

ในแบบดั้งเดิม ธุรกิจต่างๆ พึ่งพาการตรวจสอบด้วยมือเพื่อประเมินผลลัพธ์ของ LLM ซึ่งเป็นกระบวนการที่ใช้เวลานานและไม่สามารถขยายขนาดได้ เพื่อทำให้กระบวนการนี้ง่ายขึ้น Patronus AI พัฒนา Lynx ซึ่งเป็นโมเดลที่ปรับปรุงความสามารถของแพลตฟอร์มของเราโดยการตรวจจับการหลอกลวงอัตโนมัติ Lynx ซึ่งรวมอยู่ในแพลตฟอร์มของเรา ให้การครอบคลุมการทดสอบที่ครอบคลุมและรับประกันประสิทธิภาพที่แข็งแกร่ง โดยเน้นไปที่การระบุข้อผิดพลาดที่สำคัญที่อาจส่งผลกระทบต่อการดำเนินธุรกิจ เช่น การคำนวณทางการเงินที่ไม่ถูกต้องหรือข้อผิดพลาดในการทบทวนเอกสารทางกฎหมาย

ด้วย Lynx เราบรรเทาผลกระทบของการประเมินด้วยมือผ่านการทดสอบที่เป็นปฏิปักษ์อัตโนมัติ โดยสำรวจชุดข้อผิดพลาดที่อาจเกิดขึ้น ซึ่งช่วยให้สามารถตรวจจับปัญหาได้ที่อาจหลบเลี่ยงผู้ประเมิน ทำให้ธุรกิจมีความน่าเชื่อถือและความมั่นใจในการใช้ LLM ในแอปพลิเคชันที่สำคัญ

FinanceBench ได้รับการอธิบายว่าเป็นมาตรฐานการประเมิน LLM ในด้านการเงินครั้งแรก สิ่งใดที่กระตุ้นให้เกิดการพัฒนา FinanceBench ในภาคการเงิน?

FinanceBench ได้รับการพัฒนาเพื่อตอบสนองต่อความท้าทายที่ภาคการเงินต้องเผชิญในการนำ LLM มาใช้ การใช้งานทางการเงินต้องการความแม่นยำและความน่าเชื่อถือสูง เนื่องจากข้อผิดพลาดอาจนำไปสู่ความสูญเสียทางการเงินหรือปัญหาในการควบคุมดูแล แม้ว่า LLM จะมีศักยภาพในการจัดการข้อมูลทางการเงินในปริมาณมาก แต่การวิจัยของเราแสดงให้เห็นว่าโมเดลที่มีคุณภาพสูง เช่น GPT-4 และ Llama 2 ต้องดิ้นรนในการตอบคำถามทางการเงิน โดยมักไม่สามารถดึงข้อมูลที่ถูกต้องได้

FinanceBench ถูกสร้างขึ้นเป็นมาตรฐานการประเมินที่ครอบคลุมสำหรับการประเมินประสิทธิภาพของ LLM ในบริบททางการเงิน มันรวมถึงคู่คำถามและคำตอบ 10,000 คู่ที่อิงจากเอกสารทางการเงินสาธารณะ ซึ่งครอบคลุมด้านการให้เหตุผลเชิงตัวเลข การดึงข้อมูล การให้เหตุผลเชิงตรรกะ และความรู้ของโลก โดยการให้มาตรฐานนี้ เราตั้งเป้าที่จะช่วยให้ธุรกิจเข้าใจข้อจำกัดของโมเดลปัจจุบันและระบุพื้นที่ที่ต้องการปรับปรุง

การวิเคราะห์เบื้องต้นของเราแสดงให้เห็นว่า LLM หลายตัวไม่ผ่านมาตรฐานสูงสำหรับการใช้งานทางการเงิน ซึ่งเน้นย้ำถึงความจำเป็นในการปรับปรุงและประเมินเป้าหมาย โดยมี FinanceBench เรากำลังให้เครื่องมือที่มีคุณค่าแก่ธุรกิจเพื่อประเมินและปรับปรุงประสิทธิภาพของ LLM ในภาคการเงิน

การวิจัยของคุณเน้นย้ำว่าโมเดล AI ชั้นนำ โดยเฉพาะ GPT-4 ของ OpenAI สร้างเนื้อหาที่มีลิขสิทธิ์ในอัตราส่วนที่สำคัญเมื่อถูกกระตุ้นด้วยตัวอย่างจากหนังสือยอดนิยม คุณเชื่อว่าสิ่งนี้จะมีผลกระทบระยะยาวต่อการพัฒนา AI และอุตสาหกรรมเทคโนโลยีโดยรวม โดยเฉพาะอย่างยิ่งเมื่อพิจารณาการถกเถียงที่กำลังดำเนินอยู่เกี่ยวกับ AI และกฎหมายลิขสิทธิ์?

ปัญหาเกี่ยวกับโมเดล AI ที่สร้างเนื้อหาที่มีลิขสิทธิ์เป็นปัญหาเชิงซ้อนและกดดันในอุตสาหกรรม AI การวิจัยของเราแสดงให้เห็นว่าโมเดล เช่น GPT-4 เมื่อถูกกระตุ้นด้วยตัวอย่างจากหนังสือยอดนิยม มักจะสร้างเนื้อหาที่มีลิขสิทธิ์ สิ่งนี้ทำให้เกิดคำถามสำคัญเกี่ยวกับสิทธิในทรัพย์สินทางปัญญาและผลกระทบทางกฎหมายของการใช้เนื้อหาที่สร้างโดย AI

ในระยะยาว การค้นพบเหล่านี้เน้นย้ำถึงความจำเป็นในการมีแนวทางและข้อบังคับที่ชัดเจนเกี่ยวกับ AI และลิขสิทธิ์ อุตสาหกรรมต้องทำงานเพื่อพัฒนาโมเดล AI ที่เคารพสิทธิในทรัพย์สินทางปัญญาในขณะเดียวกันก็รักษาความสามารถสร้างสรรค์ของพวกมันไว้ สิ่งนี้อาจเกี่ยวข้องกับการปรับปรุงชุดข้อมูลการฝึกอบรมเพื่อแยกเนื้อหาที่มีลิขสิทธิ์หรือการนำกลไกที่สามารถตรวจจับและป้องกันการสร้างเนื้อหาที่มีลิขสิทธิ์

อุตสาหกรรมเทคโนโลยีโดยรวมต้องมีส่วนร่วมในการอภิปรายอย่างต่อเนื่องกับ chuyên家ด้านกฎหมาย นักการเมือง และผู้มีส่วนได้ส่วนเสียเพื่อตั้งกรอบการทำงานที่สร้างสมดุลระหว่างนวัตกรรมและความเคารพต่อกฎหมายที่มีอยู่ เมื่อ AI tiếp tụcพัฒนา จะเป็นสิ่งสำคัญที่จะแก้ไขความท้าทายเหล่านี้ในลักษณะที่มีความรับผิดชอบและจริยธรรม

เมื่อพิจารณาอัตราที่น่าตกใจที่โมเดล AI ชั้นนำซ้ำซ้อนเนื้อหาที่มีลิขสิทธิ์ตามที่ศึกษาของคุณแสดงให้เห็น คุณคิดว่าผู้พัฒนา AI และอุตสาหกรรมโดยรวมควรดำเนินขั้นตอนใดเพื่อแก้ไขข้อกังวลเหล่านี้ นอกจากนี้ Patronus AI มีแผนที่จะช่วยในการสร้างโมเดล AI ที่มีความรับผิดชอบและถูกต้องตามกฎหมายในแง่ของการค้นพบเหล่านี้หรือไม่?

การแก้ไขปัญหาเกี่ยวกับโมเดล AI ที่ซ้ำซ้อนเนื้อหาที่มีลิขสิทธิ์ต้องใช้แนวทางที่หลากหลาย ผู้พัฒนา AI และอุตสาหกรรมโดยรวมต้องจัดลำดับความสำคัญของความโปร่งใสและความรับผิดชอบในการพัฒนาโมเดล AI สิ่งนี้รวมถึง:

• การปรับปรุงการคัดเลือกข้อมูล: การรับประกันว่าชุดข้อมูลการฝึกอบรมได้รับการดูแลอย่างระมัดระวังเพื่อหลีกเลี่ยงเนื้อหาที่มีลิขสิทธิ์ เว้นแต่จะได้รับอนุญาตอย่างเหมาะสม
• การสร้างกลไกการตรวจจับ: การนำระบบที่สามารถระบุเมื่อโมเดล AI สร้างเนื้อหาที่อาจมีลิขสิทธิ์ และให้ตัวเลือกแก่ผู้ใช้ในการแก้ไขหรือลบเนื้อหาดังกล่าว
• การสร้างมาตรฐานอุตสาหกรรม: การร่วมมือกับ chuyên家ด้านกฎหมายและผู้มีส่วนได้ส่วนเสียในอุตสาหกรรมเพื่อสร้างแนวทางและมาตรฐานสำหรับการพัฒนา AI ที่เคารพสิทธิในทรัพย์สินทางปัญญา

ที่ Patronus AI เรามุ่งมั่นที่จะช่วยในการพัฒนา AI ที่มีความรับผิดชอบโดยเน้นไปที่การประเมินและความสอดคล้อง แพลตฟอร์มของเรารวมถึงผลิตภัณฑ์ เช่น EnterprisePII ซึ่งช่วยให้ธุรกิจสามารถตรวจจับและจัดการปัญหาที่อาจเกิดขึ้นเกี่ยวกับความเป็นส่วนตัวในผลลัพธ์ของ AI โดยการให้บริการเหล่านี้ เราตั้งเป้าที่จะเพิ่มขีดความสามารถให้กับธุรกิจในการใช้ AI อย่างมีความรับผิดชอบและจริยธรรม ในขณะเดียวกันก็ลดความเสี่ยงทางกฎหมาย

ด้วยเครื่องมือ เช่น EnterprisePII และ FinanceBench คุณคาดการณ์การเปลี่ยนแปลงใดในธุรกิจที่ใช้ AI โดยเฉพาะในด้านที่ละเอียดอ่อน เช่น การเงินและข้อมูลส่วนบุคคล?

เครื่องมือเหล่านี้ให้ธุรกิจสามารถประเมินและจัดการผลลัพธ์ของ AI ได้อย่างมีประสิทธิภาพ โดยเฉพาะในด้านที่ละเอียดอ่อน เช่น การเงินและข้อมูลส่วนบุคคล

ในภาคการเงิน FinanceBench ช่วยให้ธุรกิจสามารถประเมินประสิทธิภาพของ LLM ได้อย่างแม่นยำ โดยรับประกันว่าโมเดลเหล่านั้นตรงตามข้อกำหนดที่เข้มงวดของการประยุกต์ใช้ทางการเงิน สิ่งนี้ทำให้ธุรกิจสามารถใช้ AI สำหรับงาน เช่น การวิเคราะห์ข้อมูลและการตัดสินใจด้วยความมั่นใจและความน่าเชื่อถือมากขึ้น

ในทำนองเดียวกัน เครื่องมือ เช่น EnterprisePII ช่วยให้ธุรกิจสามารถนำทางความซับซ้อนของการรักษาความปลอดภัยข้อมูลส่วนบุคคล โดยให้ข้อมูลเชิงลึกเกี่ยวกับความเสี่ยงและวิธีแก้ปัญหาเพื่อลดความเสี่ยงเหล่านั้น เครื่องมือเหล่านี้ช่วยให้ธุรกิจสามารถใช้ AI ได้อย่างปลอดภัยและรับผิดชอบมากขึ้น

โดยรวมแล้ว เครื่องมือเหล่านี้เปิดทางให้กับแนวทางที่มีข้อมูลและเชิงกลยุทธ์มากขึ้นในการนำ AI มาใช้ โดยช่วยให้ธุรกิจสามารถใช้ประโยชน์จาก AI ในขณะเดียวกันก็ลดความเสี่ยงที่เกี่ยวข้อง

Patronus AI ทำงานร่วมกับบริษัทต่างๆ อย่างไรเพื่อผสมผสานเครื่องมือเหล่านี้เข้ากับการใช้งาน LLM ที่มีอยู่และกระบวนการทำงาน?

ที่ Patronus AI เราเข้าใจถึงความสำคัญของการผสมผสานอย่างราบรื่นเมื่อพูดถึงการนำ AI มาใช้ เราทำงานอย่างใกล้ชิดกับลูกค้าของเราเพื่อให้แน่ใจว่าเครื่องมือของเราถูกผสมผสานเข้ากับการใช้งาน LLM ที่มีอยู่และกระบวนการทำงานของพวกเขาได้อย่างง่ายดาย ซึ่งรวมถึง:

• แผนการผสมผสานแบบกำหนดเอง: เราให้ความช่วยเหลือในการวางแผนการผสมผสานแบบกำหนดเองสำหรับลูกค้าแต่ละราย ซึ่งตรงกับความต้องการและวัตถุประสงค์ของพวกเขา
• การสนับสนุนที่ครอบคลุม: ทีมของเรามอบการสนับสนุนอย่างต่อเนื่องตลอดกระบวนการผสมผสาน โดยให้คำแนะนำและการช่วยเหลือเพื่อให้แน่ใจว่าการเปลี่ยนแปลงเป็นไปอย่างราบรื่น
• การฝึกอบรมและการศึกษา: เราเสนอสессันการฝึกอบรมและการศึกษาเพื่อช่วยให้ลูกค้าเข้าใจและใช้เครื่องมือของเราได้อย่างเต็มที่ โดยเพิ่มขีดความสามารถให้พวกเขาในการใช้ประโยชน์สูงสุดจากการลงทุนใน AI ของพวกเขา

เมื่อพิจารณาความซับซ้อนในการรับประกันว่าผลลัพธ์ของ AI มีความปลอดภัย ถูกต้อง และสอดคล้องกับกฎหมายต่างๆ คุณมีคำแนะนำใดสำหรับผู้พัฒนา LLM และบริษัทที่ต้องการใช้ LLM เหล่านี้?

ด้วยการให้ความสำคัญกับการทำงานร่วมกันและความช่วยเหลือ เราตั้งเป้าที่จะทำให้กระบวนการผสมผสานเป็นไปอย่างง่ายและประสิทธิภาพสูงสุด โดยช่วยให้ธุรกิจสามารถปลดปล่อยศักยภาพเต็มที่ของโซลูชัน AI ของเรา

ความซับซ้อนในการรับประกันว่าผลลัพธ์ของ AI มีความปลอดภัย ถูกต้อง และสอดคล้องกับกฎหมายต่างๆ นำเสนอความท้าทายที่สำคัญ สำหรับผู้พัฒนา LLM สิ่งสำคัญคือการให้ความสำคัญกับความโปร่งใสและความรับผิดชอบตลอดกระบวนการพัฒนา

หนึ่งในประเด็นสำคัญคือคุณภาพของข้อมูล ผู้พัฒนาต้องแน่ใจว่าชุดข้อมูลการฝึกอบรมมีการดูแลอย่างดีและไม่มีเนื้อหาที่มีลิขสิทธิ์ เว้นแต่จะได้รับอนุญาตอย่างเหมาะสม สิ่งนี้ไม่เพียงช่วยป้องกันปัญหาทางกฎหมายเท่านั้น แต่ยังช่วยให้ AI สร้างผลลัพธ์ที่น่าเชื่อถืออีกด้วย

การแก้ไขปัญหาเรื่องความลำเอียงและความยุติธรรมเป็นสิ่งสำคัญ โดยการทำงานอย่างแข็งขันเพื่อระบุและบรรเทาผลกระทบของความลำเอียง และพัฒนาชุดข้อมูลการฝึกอบรมที่หลากหลายและเป็นตัวแทน ผู้พัฒนาสามารถลดความลำเอียงและรับประกันผลลัพธ์ที่ยุติธรรมสำหรับผู้ใช้ทุกคน

ขั้นตอนการประเมินที่เข้มงวดเป็นสิ่งจำเป็น การนำการทดสอบและมาตรฐาน เช่น FinanceBench มาใช้สามารถช่วยประเมินประสิทธิภาพและความน่าเชื่อถือของโมเดล AI โดยรับประกันว่าพวกมันตรงตามข้อกำหนดของกรณีการใช้งานเฉพาะ นอกจากนี้ การพิจารณาด้านจริยธรรมควรอยู่ในระดับแนวหน้า การมีส่วนร่วมในการอภิปรายด้านจริยธรรมและกรอบการทำงานช่วยให้แน่ใจว่าระบบ AI ถูกพัฒนาอย่างมีความรับผิดชอบและตรงกับค่านิยมของสังคม

สำหรับบริษัทที่ต้องการใช้ LLM สิ่งสำคัญคือต้องเข้าใจความสามารถของ AI และตั้งความคาดหวังที่เป็นจริง มันเป็นสิ่งสำคัญที่จะต้องมีการผสมผสานและความช่วยเหลืออย่างราบรื่น โดยการทำงานร่วมกับคู่ค้าที่เชื่อถือได้ บริษัทสามารถรวมโซลูชัน AI เข้ากับกระบวนการทำงานที่มีอยู่และรับประกันว่าทีมของพวกเขาได้รับการฝึกอบรมและได้รับการสนับสนุนเพื่อใช้ AI อย่างมีประสิทธิภาพ

การปฏิบัติตามและความปลอดภัยควรได้รับการจัดลำดับความสำคัญ โดยมุ่งเน้นไปที่การปฏิบัติตามข้อบังคับที่เกี่ยวข้องและกฎหมายคุ้มครองข้อมูล เครื่องมือ เช่น EnterprisePII สามารถช่วยในการติดตามและจัดการความเสี่ยงที่อาจเกิดขึ้น การติดตามและการประเมินประสิทธิภาพของ AI อย่างต่อเนื่องเป็นสิ่งจำเป็นเพื่อรักษาความถูกต้องและความน่าเชื่อถือ โดยช่วยให้สามารถปรับเปลี่ยนตามความจำเป็น

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Patronus AI เพื่อเรียนรู้เพิ่มเติม