อเล็กซ์ รัทเนอร์ ซีอีโอ และผู้ร่วมก่อตั้ง Snorkel AI – สัมภาษณ์ซีรีส์

อเล็กซ์ รัทเนอร์ เป็นซีอีโอ และผู้ร่วมก่อตั้ง Snorkel AI บริษัทที่เกิดจาก Stanford AI lab

Snorkel AI ทำให้การพัฒนา AI เร็วและใช้งานได้จริงโดยการเปลี่ยนกระบวนการ AI ที่ทำด้วยมือให้เป็นโซลูชันแบบโปรแกรม Snorkel AI ช่วยให้ธุรกิจพัฒนา AI ที่ทำงานสำหรับงานเฉพาะของตนโดยใช้ข้อมูลและความรู้ที่เป็นเอกลักษณ์ของตนเอง 10-100 เท่าเร็วกว่า

สิ่งใดที่ดึงดูดคุณให้เข้าสู่วิชาวิทยาการคอมพิวเตอร์?

มีสองด้านที่น่าตื่นเต้นของวิทยาการคอมพิวเตอร์เมื่อคุณยังเป็นเด็ก หนึ่ง คุณสามารถเรียนรู้ได้เร็วเท่าที่คุณต้องการจากการลองผิดลองถูกและสร้างสรรค์โดยไม่ต้องรอครู สอง คุณสามารถสร้างสรรค์ได้มากมายโดยไม่ต้องขออนุญาตใคร!

ฉันเริ่มเขียนโปรแกรมเมื่อฉันยังเป็นเด็กเนื่องจากสาเหตุเหล่านี้ ฉันชอบความแม่นยำที่ต้องการ ฉันชอบกระบวนการของการสรุปกระบวนการที่ซับซ้อนและรูทีน และเขียนโค้ดในแบบโมดูลาร์

ต่อมาเมื่อฉันโตขึ้น ฉันกลับเข้าสู่วิชาวิทยาการคอมพิวเตอร์อีกครั้งโดยการทำงานที่ปรึกษาซึ่งมอบหมายให้ฉันเขียนสคริปต์สำหรับการวิเคราะห์เอกสารสิทธิบัตร ฉันสนใจมากที่จะเห็นว่ามีความรู้ของมนุษย์มากมายที่สามารถเข้าถึงได้ แต่ก็ยากที่จะวิเคราะห์ข้อมูลที่ซับซ้อนและข้อมูลหลายรูปแบบ

สิ่งนี้ทำให้ฉันกลับเข้าสู่วิชาวิทยาการคอมพิวเตอร์อีกครั้งและเข้าเรียนที่ Stanford โดยเน้นด้าน NLP ซึ่งเป็นด้านที่ใช้ ML/AI กับภาษาธรรมชาติ

คุณเริ่มและนำโครงการ Snorkel ที่ Stanford เมื่อครั้งหนึ่ง คุณสามารถพูดถึงเรื่องราวของวันแรกได้หรือไม่?

ในสมัยนั้น เราเน้นการพัฒนาแอลกอริทึมใหม่ๆ และสิ่งที่ “หรูหรา” ของการเรียนรู้ของเครื่อง แต่เราก็ยึดมั่นในการแก้ปัญหาในโลกแห่งความเป็นจริง โดยเฉพาะอย่างยิ่งกับแพทย์และนักวิทยาศาสตร์ที่ Stanford แต่ละครั้งที่เราเสนอโมเดลหรือแอลกอริทึมใหม่ๆ คำตอบที่ได้คือ “เราจะลองใช้ แต่เราต้องการข้อมูลฝึกที่มีป้ายกำกับทั้งหมดนี้ แต่เราไม่มีเวลาสร้างมัน!”

เราพบว่าปัญหาใหญ่ที่ไม่ได้พูดถึงคือกระบวนการของการให้ฉลากและคัดเลือกข้อมูลการฝึกอบรม ดังนั้นเราจึงเปลี่ยนโฟกัสไปที่สิ่งนั้น ซึ่งเป็นวิธีที่โครงการ Snorkel และแนวคิด “การเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลาง” เริ่มต้นขึ้น

Snorkel มีแนวทางการเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลาง คุณสามารถอธิบายว่าสิ่งนี้หมายถึงอะไรและแตกต่างจากแนวทางการเรียนรู้ของเครื่องแบบโมเดลเป็นศูนย์กลางอย่างไร?

การเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลางหมายถึงการสร้างข้อมูลที่ดีขึ้นเพื่อสร้างโมเดลที่ดีขึ้น

สิ่งนี้แตกต่างจาก แต่ทำงานร่วมกับ การเรียนรู้ของเครื่องแบบโมเดลเป็นศูนย์กลาง ในการเรียนรู้ของเครื่องแบบโมเดลเป็นศูนย์กลาง นักวิจัยและนักวิทยาศาสตร์ข้อมูลมักจะถือว่าข้อมูลเป็นแบบคงที่และใช้พลังงานในการปรับเปลี่ยนโครงสร้างและพารามิเตอร์ของโมเดลเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น

นักวิจัยยังคงทำงานที่ดีในด้านการเรียนรู้ของเครื่องแบบโมเดลเป็นศูนย์กลาง แต่โมเดลและเทคนิคการเรียนรู้ของเครื่องแบบอัตโนมัติได้ดีขึ้นมาก จนถึงจุดที่การเลือกโมเดลได้กลายเป็นสิ่งที่เป็นมาตรฐานในขณะผลิต เมื่อถึงจุดนั้น วิธีที่ดีที่สุดในการปรับปรุงโมเดลเหล่านี้คือการให้ข้อมูลที่ดีขึ้นและมากขึ้น

หลักการสำคัญของการเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลางคืออะไร?

หลักการสำคัญของการเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลางคือเรียบง่าย: ข้อมูลที่ดีขึ้นสร้างโมเดลที่ดีขึ้น

ในงานวิจัยทางวิชาการของเรา เราเรียกสิ่งนี้ว่า “การเขียนโปรแกรมข้อมูล” ความคิดคือว่าหากคุณให้โมเดลที่มีความแข็งแกร่งเพียงพอพร้อมกับตัวอย่างอินพุตและเอาต์พุตที่คาดหวัง โมเดลจะเรียนรู้ที่จะทำซ้ำรูปแบบเหล่านั้น

สิ่งนี้นำเสนอความท้าทายที่มากกว่าที่คุณคาดหวัง ข้อมูลส่วนใหญ่ไม่มีฉลาก หรือมีฉลากที่ไม่มีประโยชน์สำหรับการใช้งานของคุณ การให้ฉลากข้อมูลด้วยมือต้องใช้ความเบื่อหน่าย เวลา และความพยายามของมนุษย์

การมีชุดข้อมูลที่มีฉลากไม่ได้รับประกันคุณภาพ ความผิดพลาดของมนุษย์จะเกิดขึ้นทุกที่ แต่ละตัวอย่างที่ไม่ถูกต้องในข้อมูลที่เป็นจริงจะทำให้ประสิทธิภาพของโมเดลสุดท้ายลดลง ไม่มีการปรับพารามิเตอร์ที่สามารถปิดบังความเป็นจริงนี้ได้ นักวิจัยพบว่าบันทึกที่มีฉลากไม่ถูกต้องในเซตข้อมูลที่เปิดเผยต่อสาธารณะ

คุณสามารถอธิบายได้หรือไม่ว่าการเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลางเป็นแบบโปรแกรมมาติกอย่างไร?

การให้ฉลากข้อมูลด้วยมือนำเสนอความท้าทายที่ร้ายแรง การทำเช่นนั้นต้องใช้เวลามากและอาจมีค่าใช้จ่ายสูง เช่น เอกสารทางการแพทย์สามารถให้ฉลากได้เฉพาะโดยแพทย์เท่านั้น

นอกจากนี้ การให้ฉลากด้วยมือแบบสปรินต์ มักเป็นโครงการแบบใช้ครั้งเดียว ผู้ให้ฉลากจะให้ฉลากข้อมูลตามสเคมาที่มีความเข้มงวด หากความต้องการของธุรกิจเปลี่ยนแปลงและต้องการชุดฉลากที่แตกต่าง ผู้ให้ฉลากจะต้องเริ่มต้นใหม่จากจุดเริ่มต้น

แนวทางแบบโปรแกรมมาติกในการเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลางจะลดปัญหาเหล่านี้ทั้งสองลง ระบบการให้ฉลากแบบโปรแกรมมาติกของ Snorkel AI รวมสัญญาณที่หลากหลายจากโมเดลที่มีอยู่ไปจนถึงฐานความรู้ภายนอกเพื่อสร้างฉลากเชิงความน่าจะเป็นในปริมาณมาก สัญญาณหลักของเรามาจากผู้เชี่ยวชาญด้านเนื้อหาที่ร่วมมือกับนักวิทยาศาสตร์ข้อมูลเพื่อสร้างฟังก์ชันการให้ฉลาก ฟังก์ชันเหล่านี้เข้ารหัสการตัดสินใจของผู้เชี่ยวชาญเป็นกฎที่ขยายขนาดได้ ทำให้ความพยายามในการตัดสินใจครั้งหนึ่งส่งผลต่อข้อมูลได้หลายสิบหรือหลายร้อยจุด

เฟรมเวิร์กนี้ยังยืดหยุ่นได้ เมื่อความต้องการของธุรกิจเปลี่ยนแปลงและต้องการฉลากใหม่ ผู้ใช้เพียงแค่เพิ่ม ลบ หรือปรับฟังก์ชันการให้ฉลากเพื่อใช้ฉลากใหม่ภายในไม่กี่ชั่วโมงแทนที่จะเริ่มต้นใหม่จากจุดเริ่มต้น

การเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลางช่วยให้สามารถขยายข้อมูลที่ไม่มีฉลากได้อย่างรวดเร็วได้อย่างไร?

แนวทางแบบโปรแกรมมาติกของเราในการเรียนรู้ของเครื่องแบบข้อมูลเป็นศูนย์กลางช่วยให้สามารถขยายข้อมูลที่ไม่มีฉลากได้อย่างรวดเร็วโดยการเพิ่มผลกระทบของแต่ละตัวเลือก เมื่อผู้เชี่ยวชาญด้านเนื้อหาตั้งค่าชุดข้อมูลที่มีฉลากเริ่มต้นขนาดเล็ก พวกเขาจะเริ่มร่วมมือกับนักวิทยาศาสตร์ข้อมูลเพื่อการวนซ้ำอย่างรวดเร็ว พวกเขากำหนดฟังก์ชันการให้ฉลากหลายฟังก์ชัน ฝึกโมเดลอย่างรวดเร็ว วิเคราะห์ผลกระทบของฟังก์ชันการให้ฉลาก และเพิ่ม ลบ หรือปรับฟังก์ชันการให้ฉลากตามความจำเป็น

แต่ละรอบจะปรับปรุงประสิทธิภาพของโมเดลจนกว่าจะบรรลุหรือเกินเป้าหมายของโครงการ ซึ่งสามารถลดเวลาในการให้ฉลากข้อมูลหลายเดือนให้เหลือเพียงไม่กี่ชั่วโมง ในโครงการวิจัยของ Snorkel นักวิจัยของเราสองคนให้ฉลากให้เอกสาร 20,000 ฉบับในหนึ่งวัน ซึ่งเป็นปริมาณที่ผู้ให้ฉลากด้วยมืออาจต้องใช้เวลา 10 สัปดาห์หรือมากกว่านั้น

Snorkel มีหลายโซลูชัน AI รวมถึง Snorkel Flow, Snorkel GenGlow และ Snorkel Foundry ความแตกต่างระหว่างโซลูชันเหล่านี้คืออะไร?

ชุด Snorkel AI ช่วยให้ผู้ใช้สามารถสร้างฟังก์ชันการให้ฉลาก (เช่น การค้นหาคำหลักหรือรูปแบบในเอกสาร) เพื่อให้ฉลากข้อมูลหลายล้านจุดในเวลาเพียงไม่กี่นาที แทนที่จะให้ฉลากจุดข้อมูลหนึ่งจุดในแต่ละครั้ง

ชุด Snorkel AI ช่วยให้ธุรกิจสามารถพัฒนา AI ที่ทำงานสำหรับงานเฉพาะของตนได้โดยใช้ข้อมูลและความรู้ที่เป็นเอกลักษณ์ของตนเอง และเริ่มสร้างมูลค่าจากข้อมูลเหล่านั้นได้อย่างรวดเร็ว

Snorkel AI ช่วยขยายแนวทางที่มีมนุษย์ร่วมอยู่ในกระบวนการ โดยผสานการตัดสินใจของมนุษย์และความรู้ของผู้เชี่ยวชาญอย่างมีประสิทธิภาพ สิ่งนี้ทำให้ AI โปร่งใสและอธิบายได้มากขึ้น ช่วยให้องค์กรจัดการอคติและสร้างผลลัพธ์อย่างรับผิดชอบ

ในทางปฏิบัติ Snorkel AI ช่วยให้องค์กรใน Fortune 500 สามารถ:

• พัฒนาเซตข้อมูลที่มีฉลากคุณภาพสูงเพื่อฝึกโมเดลหรือปรับปรุง RAG;
• ปรับแต่งโมเดลภาษาขนาดใหญ่ด้วยการฝึกปรับละเอียด;
• กลั่นความรู้จากโมเดลภาษาขนาดใหญ่เป็นโมเดลเฉพาะทางที่เล็กกว่ามากและมีต้นทุนใช้งานต่ำกว่า;
• สร้างโมเดลภาษาขนาดใหญ่ที่มีโดเมนและงานเฉพาะด้วยการฝึกอบรมก่อน

คุณได้เขียนเอกสารวิจัยที่เป็นเอกลักษณ์ ในความคิดของคุณ เอกสารใดที่สำคัญที่สุด?

หนึ่งในเอกสารหลักคือเอกสารต้นฉบับเกี่ยวกับ การเขียนโปรแกรมข้อมูล (การให้ฉลากข้อมูลการฝึกอบรมแบบโปรแกรมมาติก) และเอกสารเกี่ยวกับ Snorkel

คุณมีวิสัยทัศน์สำหรับอนาคตของ Snorkel อย่างไร?

ฉันเห็น Snorkel เป็นพันธมิตรที่เชื่อถือได้สำหรับธุรกิจขนาดใหญ่ทั้งหมดที่จริงจังเกี่ยวกับ AI

Snorkel Flow ควรกลายเป็นเครื่องมือที่จำเป็นสำหรับทีมวิทยาศาสตร์ข้อมูลในธุรกิจขนาดใหญ่ ไม่ว่าพวกเขาจะปรับโมเดลภาษาขนาดใหญ่แบบกำหนดเองสำหรับองค์กรของตน สร้างโมเดลการจำแนกภาพ หรือสร้างโมเดลการถดถอยเชิงลอจิสติกที่สามารถใช้งานได้จริง

ไม่ว่าธุรกิจจะต้องการโมเดลใดก็ตาม พวกเขาจะต้องมีข้อมูลที่มีฉลากคุณภาพสูงเพื่อฝึกอบรม

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Snorkel AI เพื่อเรียนรู้เพิ่มเติม