Alex Ratner, CEO & Co-Founder of Snorkel AI – Interview Series

Alex Ratner เป็น CEO & Co-Founder ของ Snorkel AI บริษัทที่เกิดจาก Stanford AI lab

Snorkel AI ทำให้การพัฒนา AI เร็วและเป็นไปได้โดยการเปลี่ยนกระบวนการ AI ที่ทำด้วยมือให้เป็นโซลูชันแบบโปรแกรม Snorkel AI ช่วยให้ธุรกิจพัฒนา AI ที่ทำงานสำหรับงานเฉพาะของตนโดยใช้ข้อมูลและความรู้ที่เป็นกรรมสิทธิ์ 10-100 เท่าเร็วกว่า

สิ่งใดที่ดึงดูดคุณเข้าสู่วิชาวิทยาการคอมพิวเตอร์?

มีสองด้านที่น่าตื่นเต้นของวิชาวิทยาการคอมพิวเตอร์เมื่อคุณยังเป็นเด็ก หนึ่ง คุณสามารถเรียนรู้ได้เร็วตามที่คุณต้องการจากการลองผิดลองถูกและสร้างสรรค์ โดยไม่ต้องรอครู สอง คุณสามารถสร้างสรรค์ได้มากโดยไม่ต้องขออนุญาตใคร!

ฉันเริ่มเขียนโปรแกรมเมื่อฉันยังเป็นเด็กเนื่องจากสาเหตุเหล่านี้ ฉันยังชื่นชอบความแม่นยำที่ต้องการอีกด้วย ฉันชอบกระบวนการทำให้กระบวนการที่ซับซ้อนและแบบแผนเป็นแบบที่เข้าใจได้ และจากนั้นเข้ารหัสเป็นรูปแบบโมดูลาร์

ต่อมา เมื่อฉันโตขึ้น ฉันกลับเข้าสู่วิชาวิทยาการคอมพิวเตอร์อีกครั้งโดยทางอาชีพผ่านงานที่ให้ฉันเขียนสคริปต์สำหรับการวิเคราะห์องค์ประกอบพื้นฐานของเอกสารสิทธิบัตร ฉันรู้สึกประทับใจที่เห็นว่ามีปริมาณความรู้ของมนุษย์ที่มีอยู่มากมาย—ทุกสิ่งที่ใคร曾พิจารณาว่าเป็นสิทธิบัตร—พร้อมให้ใช้งาน แต่ก็ยากที่จะเข้าถึงเพราะการวิเคราะห์ข้อความทางเทคนิคและข้อมูลหลายรูปแบบนั้นยาก

สิ่งนี้ทำให้ฉันกลับเข้าสู่วิชาวิทยาการคอมพิวเตอร์อีกครั้ง และในที่สุดก็เข้าเรียนที่ Stanford โดยเน้นด้าน NLP ซึ่งเป็นด้านที่ใช้ ML/AI กับภาษาธรรมชาติ

คุณเริ่มต้นและนำโครงการ Snorkel ที่เปิดให้ใช้งานฟรีในขณะที่คุณอยู่ที่ Stanford คุณสามารถพาคนอ่านผ่านการเดินทางใน nhữngวันแรกได้หรือไม่?

ในสมัยนั้น เราเหมือนกับหลายคนในอุตสาหกรรมที่มุ่งเน้นการพัฒนาแอลกอริทึมใหม่ๆ และสิ่งที่ “หรูหรา” ของการเรียนรู้ของเครื่อง ที่ผู้คนในชุมชนทำการวิจัยและตีพิมพ์งานวิจัย

อย่างไรก็ตาม เรามุ่งมั่นอย่างมากในการยึดมั่นในประเด็นปัญหาในโลกแห่งความเป็นจริง—โดยส่วนใหญ่จะทำงานร่วมกับแพทย์และนักวิทยาศาสตร์ที่ Stanford แต่ละครั้งที่เรานำเสนอโมเดลหรือแอลกอริทึมใหม่ๆ คำตอบที่ได้รับก็คือ “ใช่ เราจะลอง แต่เราต้องการข้อมูลการฝึกอบรมที่มีฉลากที่เรามีเวลาที่จะสร้างไม่ได้!”

เราพบว่าปัญหาใหญ่ที่ไม่ได้พูดถึงคือกระบวนการของการให้ฉลากและคัดเลือกข้อมูลการฝึกอบรม—ดังนั้นเราจึงเปลี่ยนโฟกัสทั้งหมดไปที่สิ่งนี้ ซึ่งเป็นวิธีการที่โครงการ Snorkel และแนวคิด “การเรียนรู้ของเครื่องแบบมีศูนย์กลางที่ข้อมูล” เริ่มต้นขึ้น

Snorkel มีการเข้าถึง AI แบบมีศูนย์กลางที่ข้อมูล คุณสามารถกำหนดสิ่งนี้และอธิบายว่ามันแตกต่างจากการพัฒนา AI แบบมีศูนย์กลางที่โมเดลอย่างไร?

การเรียนรู้ของเครื่องแบบมีศูนย์กลางที่ข้อมูลหมายถึงการมุ่งเน้นในการสร้างข้อมูลที่ดีกว่าเพื่อสร้างโมเดลที่ดีกว่า

สิ่งนี้ตั้งตรงข้ามกับ—but works hand-in-hand with—การเรียนรู้ของเครื่องแบบมีศูนย์กลางที่โมเดล ในการเรียนรู้ของเครื่องแบบมีศูนย์กลางที่โมเดล นักวิทยาศาสตร์ข้อมูลหรือนักวิจัยสมมติว่าข้อมูลนั้นเป็นแบบคงที่และใช้พลังงานในการปรับเปลี่ยนโครงสร้างและพารามิเตอร์ของโมเดลเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น

นักวิจัยยังคงทำงานที่ดีในการเรียนรู้ของเครื่องแบบมีศูนย์กลางที่โมเดล แต่โมเดลที่พร้อมใช้งานและเทคนิค Auto ML ได้ดีขึ้นมากจนการเลือกโมเดลกลายเป็นสิ่งที่มีมาตรฐานในเวลาที่ผลิต เมื่อเป็นเช่นนั้น วิธีที่ดีที่สุดในการปรับปรุงโมเดลเหล่านี้คือการให้ข้อมูลที่ดีกว่าและมากขึ้น

หลักการหลักของการเข้าถึง AI แบบมีศูนย์กลางที่ข้อมูลคืออะไร?

หลักการหลักของการเรียนรู้ของเครื่องแบบมีศูนย์กลางที่ข้อมูลคือเรื่องง่าย: ข้อมูลที่ดีกว่าสร้างโมเดลที่ดีกว่า

ในงานวิจัยทางวิชาการของเรา เรียกว่า “การเขียนโปรแกรมข้อมูล” ความคิดคือว่าถ้าคุณให้โมเดลที่มีความแข็งแกร่งเพียงพอจำนวนมากของตัวอย่างอินพุตและเอาต์พุตที่คาดหวัง โมเดลจะเรียนรู้วิธีการทำซ้ำรูปแบบเหล่านั้น

สิ่งนี้นำเสนอความท้าทายที่มากกว่าที่คุณคาดหวัง ข้อมูลส่วนใหญ่ไม่มีฉลาก—หรืออย่างน้อยก็ไม่มีฉลากที่มีประโยชน์สำหรับการใช้งานของคุณ การให้ฉลากข้อมูลด้วยมือต้องใช้ความเบื่อหน่าย เวลา และความพยายามของมนุษย์

การมีชุดข้อมูลที่มีฉลากไม่ได้รับประกันคุณภาพ ความผิดพลาดของมนุษย์จะเกิดขึ้นทุกที่ ทุกตัวอย่างที่ไม่ถูกต้องในข้อมูลพื้นฐานของคุณจะทำให้ประสิทธิภาพของโมเดลสุดท้ายลดลง ไม่มีการปรับพารามิเตอร์ใดที่สามารถแก้ไขความเป็นจริงนี้ได้ นักวิจัยพบว่ามีบันทึกที่มีฉลากไม่ถูกต้องในเซตข้อมูลที่เปิดให้ใช้งานฟรี

คุณสามารถอธิบายได้หรือไม่ว่าสิ่งใดที่หมายถึงการเข้าถึง AI แบบมีศูนย์กลางที่ข้อมูลแบบโปรแกรมมาติก?

การให้ฉลากข้อมูลด้วยมือนำเสนอความท้าทายที่ร้ายแรง สิ่งนี้ต้องใช้เวลามนุษย์จำนวนมาก และบางครั้งเวลามนุษย์เหล่านั้นอาจมีค่าใช้จ่ายสูง ตัวอย่างเช่น เอกสารทางการแพทย์สามารถให้ฉลากได้เฉพาะโดยแพทย์

นอกจากนี้ การให้ฉลากด้วยมือบ่อยครั้งจะกลายเป็นโครงการที่ใช้ครั้งเดียว การให้ฉลากจะทำตามสเคมาที่เข้มงวด หากความต้องการของธุรกิจเปลี่ยนแปลงและต้องการชุดฉลากที่แตกต่าง การให้ฉลากจะต้องเริ่มต้นใหม่ตั้งแต่ต้น

การเข้าถึง AI แบบมีศูนย์กลางที่ข้อมูลแบบโปรแกรมมาติกจะลดปัญหาเหล่านี้ทั้งสองลง Snorkel AI ระบบการให้ฉลากแบบโปรแกรมมาติก รวมสัญญาณที่หลากหลาย—จากโมเดลที่มีอยู่แล้วถึงฉลากที่มีอยู่แล้วและฐานความรู้ภายนอก—เพื่อสร้างฉลากแบบมีแนวโน้มที่จะเกิดขึ้นในระดับใหญ่ สัญญาณหลักของเรามาจากผู้เชี่ยวชาญที่ร่วมมือกับนักวิทยาศาสตร์ข้อมูลในการสร้างฟังก์ชันการให้ฉลาก ซึ่งเข้ารหัสความเชี่ยวชาญของพวกเขาเป็นกฎที่สามารถขยายได้ ทำให้ความพยายามที่ลงทุนในการตัดสินใจหนึ่งครั้งสามารถส่งผลกระทบต่อหลายหรือหลายร้อยจุดข้อมูล

เฟรมเวิร์กนี้ยังยืดหยุ่นได้ เมื่อความต้องการของธุรกิจเปลี่ยนแปลงและต้องการชุดฉลากใหม่ ผู้ใช้เพิ่ม ลบ หรือปรับฟังก์ชันการให้ฉลากเพื่อใช้ฉลากใหม่ภายในไม่กี่ชั่วโมงแทนหลายวัน

การเข้าถึง AI แบบมีศูนย์กลางที่ข้อมูลนี้ช่วยให้สามารถขยายข้อมูลที่ไม่มีฉลากได้อย่างรวดเร็วได้อย่างไร?

การเข้าถึง AI แบบมีศูนย์กลางที่ข้อมูลแบบโปรแกรมมาติกของเราช่วยให้สามารถขยายข้อมูลที่ไม่มีฉลากได้อย่างรวดเร็วโดยการเพิ่มผลกระทบของแต่ละตัวเลือก เมื่อผู้เชี่ยวชาญด้านเนื้อหาสถาปนาข้อมูลพื้นฐานเริ่มต้นขนาดเล็กๆ แล้ว พวกเขาจะเริ่มร่วมมือกับนักวิทยาศาสตร์ข้อมูลเพื่อทำการวนซ้ำอย่างรวดเร็ว พวกเขากำหนดฟังก์ชันการให้ฉลากบางอย่าง ฝึกโมเดลอย่างรวดเร็ว วิเคราะห์ผลกระทบของฟังก์ชันการให้ฉลาก และจากนั้นเพิ่ม ลบ หรือปรับฟังก์ชันการให้ฉลากตามที่ต้องการ

แต่ละรอบจะปรับปรุงประสิทธิภาพของโมเดลจนกว่าจะถึงหรือเกินเป้าหมายของโครงการ ซึ่งสามารถลดงานการให้ฉลากข้อมูลหลายเดือนให้เหลือเพียงไม่กี่ชั่วโมง ในโครงการวิจัย Snorkel หนึ่งโครงการ นักวิจัยสองคนของเราให้ฉลากเอกสาร 20,000 ฉบับในหนึ่งวัน—ปริมาณที่อาจต้องใช้เวลานักให้ฉลากด้วยมือสิบสัปดาห์หรือมากกว่านั้น

Snorkel มีโซลูชัน AI หลายอย่าง รวมถึง Snorkel Flow, Snorkel GenGlow และ Snorkel Foundry สิ่งที่แตกต่างระหว่างโซลูชันเหล่านี้คืออะไร?

ชุด Snorkel AI ช่วยให้ผู้ใช้สามารถสร้างฟังก์ชันการให้ฉลาก (เช่น การค้นหาคำสำคัญหรือรูปแบบในเอกสาร) เพื่อการให้ฉลากข้อมูลหลายล้านจุดในนาที แทนที่จะให้ฉลากจุดข้อมูลหนึ่งจุดในแต่ละครั้ง

สิ่งนี้จะบีบอัดเวลาที่จำเป็นสำหรับบริษัทต่างๆ ในการแปลข้อมูลที่เป็นกรรมสิทธิ์ให้เป็นโมเดลที่พร้อมผลิตและเริ่มสร้างมูลค่าจากมัน Snorkel AI ช่วยให้ธุรกิจต่างๆ ขยายแนวทางแบบมีมนุษย์ในการทำงานโดยการรวมการตัดสินใจและความรู้ของผู้เชี่ยวชาญด้านเนื้อหาที่มีประสิทธิภาพ

สิ่งนี้นำไปสู่ AI ที่มีความโปร่งใสและอธิบายได้มากขึ้น ทำให้ธุรกิจต่างๆ สามารถจัดการความลำเอียงและนำผลลัพธ์ที่มีความรับผิดชอบมาใช้

เมื่อพิจารณาถึงรายละเอียด ชุด Snorkel AI ช่วยให้ธุรกิจขนาดใหญ่ใน Fortune 500:

• พัฒนาข้อมูลที่มีฉลากคุณภาพสูงเพื่อฝึกโมเดลหรือปรับปรุง RAG;
• ปรับโมเดล LLM ด้วยการปรับให้ละเอียด;
• ทำให้โมเดล LLM มีขนาดเล็กลงและถูกกว่าในการดำเนินงาน;
• สร้างโมเดล LLM ที่มีเฉพาะโดเมนและงานโดยใช้การฝึกฝนก่อน

คุณได้เขียนเอกสารวิจัยที่เป็นเครื่องหมายสำคัญ คุณคิดว่าเอกสารใดที่สำคัญที่สุด?

หนึ่งในเอกสารหลักคือเอกสารดั้งเดิมเกี่ยวกับ การเขียนโปรแกรมข้อมูล (การให้ฉลากข้อมูลการฝึกอบรมแบบโปรแกรมมาติก) และเกี่ยวกับ Snorkel

วิสัยทัศน์ของคุณสำหรับอนาคตของ Snorkel คืออะไร?

ฉันเห็น Snorkel ที่จะกลายเป็นพันธมิตรที่เชื่อถือได้สำหรับธุรกิจขนาดใหญ่ทั้งหมดที่จริงจังเกี่ยวกับ AI

Snorkel Flow ควรกลายเป็นเครื่องมือที่เป็นที่นิยมสำหรับทีมวิทยาศาสตร์ข้อมูลในธุรกิจขนาดใหญ่—ไม่ว่าพวกเขาจะปรับโมเดลภาษาขนาดใหญ่แบบกำหนดเองสำหรับองค์กรของตน สร้างโมเดลการจำแนกภาพ หรือสร้างโมเดลการถดถอยแบบลอจิสติกที่เรียบง่ายและสามารถใช้งานได้

ไม่ว่าธุรกิจจะต้องการโมเดลใดก็ตาม พวกเขาจะต้องมีข้อมูลที่มีฉลากคุณภาพสูงเพื่อฝึกอบรม

ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม Snorkel AI เพื่อเรียนรู้เพิ่มเติม