Etan Ginsberg, Co-Founder of Martian – Interview Series

Etan Ginsberg เป็น Co-Founder ของ Martian ซึ่งเป็นแพลตฟอร์มที่กำหนดเส้นทางคำขอไปยัง LLM ที่ดีที่สุดอย่างไดนามิก โดยการกำหนดเส้นทาง Martian สามารถบรรลุประสิทธิภาพที่สูงขึ้นและต้นทุนต่ำกว่าผู้ให้บริการรายบุคคล รวมถึง GPT-4 ระบบนี้ถูกสร้างขึ้นโดยใช้เทคโนโลยี Model Mapping ที่เป็นเอกลักษณ์ของบริษัท ซึ่งสามารถถอดรหัส LLM จากกล่องดำที่ซับซ้อนออกเป็นสถาปัตยกรรมที่สามารถตีความได้มากขึ้น ทำให้เป็นการใช้งานเชิงพาณิชย์ครั้งแรกของความสามารถในการตีความเชิงกลไก

Etan ได้เริ่มเขียนโค้ด ออกแบบเว็บไซต์ และสร้างธุรกิจอิเล็กทรอนิกส์ให้กับลูกค้าตั้งแต่เขายังอยู่ในโรงเรียนมัธยม Etan เป็นนักคิดที่มีความสามารถหลากหลาย และเป็นนักกีฬาที่เข้าร่วมการแข่งขัน World Memory Championships และได้รับรางวัลอันดับ 2 ในการแข่งขัน World Speed Reading Championships ที่เมืองเซินเจิ้น ประเทศจีน

เขายังเป็นนักกีฬาที่เข้าร่วมการแข่งขัน hackathon มาหลายครั้ง และได้รับรางวัลหลายครั้ง รวมถึงรางวัลอันดับ 3 ในการแข่งขัน Tech Crunch SZ และเป็นหนึ่งใน 7 ผู้เข้ารอบสุดท้ายในการแข่งขัน Princeton Hackathon และได้รับรางวัลอุตสาหกรรม 3 ครั้งในการแข่งขัน Yale Hackathon

คุณเป็นนักธุรกิจที่เคยเริ่มต้นธุรกิจสองครั้งแล้ว คุณสามารถบอกเราเกี่ยวกับธุรกิจเหล่านั้นได้หรือไม่ และคุณได้เรียนรู้อะไรจากประสบการณ์เหล่านั้น

บริษัทแรกของฉันคือแพลตฟอร์มแรกสำหรับการส่งเสริมและพัฒนากีฬาของ American Ninja Warrior เมื่อฉันเห็นว่ากีฬานี้เป็นกีฬาที่ยังไม่ได้รับการยอมรับในวงกว้าง (คล้ายกับกีฬามวยปล้ำในยุค 90) ฉันจึงสร้างแพลตฟอร์มแรกที่ผู้คนสามารถซื้อแผนผัง ออเดอร์อุปสรรค และค้นหาสถานที่ฝึกซ้อมได้ ฉัน曾เป็นที่ปรึกษาให้กับบริษัทที่ต้องการเริ่มต้นธุรกิจของตนเอง รวมถึงการช่วยเหลือกองทัพพิเศษของสหรัฐในการสร้างหลักสูตรฝึกซ้อมและขยายโรงฝึกจากแผนผังบนกระดาษไปจนถึงมีรายได้ 300,000 ดอลลาร์ใน 3 เดือนแรก แม้ว่าฉันจะยังอยู่ในโรงเรียนมัธยม แต่ฉันก็มีประสบการณ์แรกในการจัดการทีมงานที่มีพนักงานมากกว่า 20 คน และได้เรียนรู้เกี่ยวกับการจัดการที่มีประสิทธิภาพและความสัมพันธ์ระหว่างบุคคล

บริษัทที่สองของฉันคือบริษัทจัดการสินทรัพย์ทางเลือกที่ฉันร่วมก่อตั้งขึ้นในปี 2017 ก่อนที่จะเกิดการเปลี่ยนแปลงในด้านการลงทุนคริปโตเคอร์เรนซี นี่คือประสบการณ์แรกของฉันกับ NLP โดยที่เราใช้การวิเคราะห์ความรู้สึกจากข้อมูลโซเชียลมีเดียเป็นกลยุทธ์การลงทุน

ฉันเรียนรู้ทักษะที่ยากและทักษะที่ไม่ยากที่เกี่ยวข้องกับการดำเนินธุรกิจสตาร์ทอัพ ตั้งแต่วิธีการจัดการทีมไปจนถึงด้านเทคนิคของ NLP ในเวลาเดียวกัน ฉันยังได้เรียนรู้เกี่ยวกับตัวเองและเกี่ยวกับสิ่งที่ฉันต้องการทำงานด้วย ฉันเชื่อว่าบริษัทที่ประสบความสำเร็จที่สุดคือบริษัทที่ก่อตั้งโดยผู้ก่อตั้งที่มีวิสัยทัศน์หรือเป้าหมายที่กว้างขึ้น ฉันลาออกจากธุรกิจคริปโตเคอร์เรนซีในปี 2017 เพื่อมุ่งเน้นไปที่ NLP เนื่องจากการเพิ่มและเข้าใจความฉลาดของมนุษย์เป็นสิ่งที่กระตุ้นให้ฉันทำงานในด้านนี้อย่างแท้จริง

ในระหว่างที่คุณกำลังศึกษาอยู่ที่มหาวิทยาลัยเพนซิลเวเนีย คุณได้ทำการวิจัยเกี่ยวกับ AI บางส่วน คุณสามารถบอกเราเกี่ยวกับการวิจัยนั้นได้หรือไม่

การวิจัยของเราในตอนแรกมุ่งเน้นไปที่การสร้างแอปพลิเคชันของ LLM โดยเฉพาะ เราทำงานเกี่ยวกับแอปพลิเคชันทางการศึกษาของ LLM และกำลังสร้างติวเตอร์ทางปัญญาที่ใช้ LLM เป็นครั้งแรก ผลลัพธ์เป็นไปได้ด้วยดี – เราเห็นการปรับปรุงที่ดีขึ้น 0.3 ส่วนเบี่ยงมาตรฐานในการทดลองเบื้องต้น – และระบบของเราถูกใช้ตั้งแต่มหาวิทยาลัยเพนซิลเวเนียไปจนถึงมหาวิทยาลัยภูฏาน

คุณสามารถอธิบายได้หรือไม่ว่าการวิจัยนี้นำไปสู่การก่อตั้ง Martian อย่างไร

เนื่องจากเราเป็นหนึ่งในผู้แรกที่สร้างแอปพลิเคชันบน LLM เราจึงเป็นหนึ่งในผู้แรกที่พบปัญหาที่ผู้คนพบเมื่อสร้างแอปพลิเคชันบน LLM สิ่งนี้นำเราไปสู่การวิจัยในระดับโครงสร้างพื้นฐาน ตัวอย่างเช่น เราเริ่มปรับแต่งโมเดลที่เล็กกว่าบนผลลัพธ์ของโมเดลที่ใหญ่กว่า เช่น GPT-3 และปรับแต่งโมเดลสำหรับแหล่งข้อมูลเฉพาะสำหรับงานเช่นการเขียนโปรแกรมและการแก้ปัญหาทางคณิตศาสตร์ สิ่งนี้นำเราไปสู่ปัญหาเกี่ยวกับการเข้าใจพฤติกรรมของโมเดลและการกำหนดเส้นทางของโมเดล

เรื่องราวของชื่อ Martian และความสัมพันธ์กับความฉลาดนั้นเป็นเรื่องที่น่าสนใจ คุณสามารถแบ่งปันเรื่องราวของวิธีการเลือกชื่อนี้ได้หรือไม่

บริษัทของเราตั้งชื่อตามกลุ่มของนักวิทยาศาสตร์ชาวฮังการี-อเมริกันที่รู้จักกันในชื่อ “The Martians” กลุ่มนี้ซึ่งอาศัยอยู่ในศตวรรษที่ 20 ประกอบด้วยคนฉลาดที่สุดคนหนึ่งที่เคยอาศัยอยู่บนโลก:

• ที่มีชื่อเสียงที่สุดในหมู่พวกเขาคือ John Von Neumann; เขาได้สร้างทฤษฎีเกม สถาปัตยกรรมคอมพิวเตอร์สมัยใหม่ ทฤษฎีเครื่องจักรอัตโนมัติ และมีส่วนร่วมในหลายสาขาอื่น ๆ
• Paul Erdos เป็นนักคณิตศาสตร์ที่มีผลงานตีพิมพ์มากที่สุด โดยมีผลงานตีพิมพ์มากกว่า 1,500 เรื่อง
• Theodore Von Karman ได้สร้างทฤษฎีฐานของการแอโรไดนามิกส์และช่วยให้เกิดการก่อตั้งโครงการอวกาศของอเมริกา เส้นแบ่งระหว่างพื้นโลกและอวกาศที่กำหนดโดยมนุษย์ถูกตั้งชื่อเป็น “เส้น Kármán” เพื่อเป็นเกียรติแก่ผลงานของเขา
• Leo Szilard ได้ประดิษฐ์ระเบิดปรมาณู การบำบัดด้วยรังสี และเครื่องเร่งอนุภาค

นักวิทยาศาสตร์เหล่านี้และอีก 14 คน (รวมถึงผู้ประดิษฐ์ระเบิดไฮโดรเจน ผู้ที่นำทฤษฎีกลุ่มเข้าสู่ฟิสิกส์สมัยใหม่ และผู้ที่มีส่วนร่วมในหลายสาขา เช่น ทฤษฎีการรวม ทฤษฎีจำนวน การวิเคราะห์เชิงตัวเลข และทฤษฎีความน่าจะเป็น) มีลักษณะที่น่าสนใจร่วมกัน – พวกเขาทั้งหมดเกิดในบริเวณเดียวกันของเมืองบูดาเปสต์ ซึ่งทำให้ผู้คนตั้งคำถามว่า: สาเหตุของความฉลาดที่มากนี้คืออะไร?

ในฐานะการตอบสนอง Szilard ได้ล้อเล่นว่า “Martians อยู่ที่นี่แล้ว และพวกเขาตั้งชื่อตัวเองว่าคนฮังการี!” ในความเป็นจริง… ไม่มีใครรู้

มนุษยชาติพบว่าตัวเองอยู่ในสถานการณ์ที่คล้ายกันในปัจจุบัน โดยมีจิตใจที่มีศักยภาพในการเป็นซูเปอร์อินเทลลิเจนต์ใหม่: ปัญญาประดิษฐ์ ผู้คนรู้ว่าโมเดลสามารถฉลาดมากได้ แต่ไม่มีใครรู้ว่าพวกมันทำงานอย่างไร

ภารกิจของเราคือการตอบคำถามนั้น – เพื่อเข้าใจและใช้ประโยชน์จากความฉลาดที่ทันสมัย

คุณมีประวัติในการแสดงความสามารถในการจดจำที่น่าเหลือเชื่อ คุณสามารถบอกเราเกี่ยวกับวิธีการที่คุณเริ่มเข้าร่วมการแข่งขันจดจำและวิธีการที่ความรู้นี้ช่วยให้คุณมีแนวคิดเกี่ยวกับ Martian ได้หรือไม่

ในกีฬาส่วนใหญ่ นักกีฬาอาชีพสามารถแสดงผลได้ดีกว่าคนปกติประมาณ 2-3 เท่า (เปรียบเทียบกับระยะทางที่คนปกติสามารถเตะฟุตบอลหรือโยนลูกบอลได้เมื่อเทียบกับนักกีฬาอาชีพ) กีฬาจดจำนั้นน่าสนใจเพราะนักกีฬาที่ดีที่สุดสามารถจดจำได้ 100 เท่าหรือแม้กระทั่ง 1,000 เท่ามากกว่าคนปกติ โดยใช้การฝึกฝนที่น้อยกว่ากีฬาส่วนใหญ่ และสิ่งเหล่านี้มักเป็นคนโดยทั่วไปที่มีเทคนิคที่เฉพาะเจาะจงซึ่งใครก็สามารถเรียนรู้ได้ ฉันต้องการเพิ่มความรู้ของมนุษยชาติให้สูงสุด และฉันเห็นว่าการแข่งขันจดจำโลกเป็นข้อสังเกตที่ไม่ได้รับการยกย่องซึ่งสามารถช่วยให้เราได้รับผลตอบแทนที่ไม่ธรรมดาในการเพิ่มความฉลาดของมนุษย์ได้

ฉันต้องการใช้เทคนิคการจดจำทั่วทั้งระบบการศึกษา ดังนั้นฉันจึงเริ่มสำรวจวิธีการที่ NLP และ LLMs สามารถช่วยลดต้นทุนในการตั้งค่าที่ป้องกันไม่ให้วิธีการศึกษาที่มีประสิทธิผลส่วนใหญ่ถูกนำมาใช้ในระบบการศึกษาทั่วไป Yash และฉันสร้างติวเตอร์ทางปัญญาที่ใช้ LLM เป็นครั้งแรก และสิ่งนี้นำเราไปสู่การค้นพบปัญหาที่เกิดขึ้นในการใช้งาน LLM ที่เราแก้ไขในปัจจุบัน

Martian เป็นการทำให้การตัดสินใจเกี่ยวกับการเลือก LLM ที่จะใช้กลายเป็นเรื่องที่ง่ายขึ้นสำหรับนักพัฒนา ทำไมปัจจุบันนี้จึงเป็นจุดเจ็บปวดสำหรับนักพัฒนา

การสร้างโมเดลภาษาเป็นเรื่องที่ง่ายขึ้นเรื่อย ๆ – ต้นทุนการคำนวณลดลง อัลกอริทึมมีประสิทธิภาพมากขึ้น และมีเครื่องมือโอเพ่นซอร์สที่มีมากขึ้นในการสร้างโมเดลเหล่านี้ ดังนั้น บริษัทและนักพัฒนาจึงสร้างโมเดลที่กำหนดเองซึ่งฝึกอบรมจากข้อมูลที่กำหนดเอง เมื่อโมเดลเหล่านี้มีต้นทุนและความสามารถที่แตกต่างกัน คุณสามารถได้รับประสิทธิภาพที่ดีขึ้นโดยใช้หลายโมเดล แต่มันจะยากที่จะทดสอบทั้งหมดและค้นหาโมเดลที่เหมาะสมที่จะใช้ เราเป็นผู้ดูแลสิ่งนี้ให้กับนักพัฒนา

คุณสามารถอธิบายได้หรือไม่ว่าระบบเข้าใจว่า LLM ใดที่เหมาะสมที่สุดสำหรับงานเฉพาะแต่ละงาน

การกำหนดเส้นทางที่ดีเป็นปัญหาหลักเกี่ยวกับการเข้าใจโมเดล เพื่อกำหนดเส้นทางระหว่างโมเดลอย่างมีประสิทธิภาพ คุณต้องการเข้าใจสิ่งที่ทำให้พวกมันล้มเหลวหรือสำเร็จ การเข้าใจลักษณะเหล่านี้ด้วยการทำแผนที่โมเดลช่วยให้เราสามารถกำหนดได้ว่าโมเดลใดจะทำงานได้ดีที่สุดสำหรับคำขอใดโดยไม่ต้องรันโมเดลนั้น ดังนั้นเราจึงสามารถส่งคำขอนั้นไปยังโมเดลที่จะให้ผลลัพธ์ที่ดีที่สุด

คุณสามารถพูดได้หรือไม่ว่าการเพิ่มประสิทธิภาพ LLM ที่ใช้สามารถช่วยให้เห็นค่าใช้จ่ายที่ลดลงได้หรือไม่

เราทำให้ผู้ใช้สามารถกำหนดวิธีการแลกเปลี่ยนระหว่างต้นทุนและประสิทธิภาพได้ หากคุณสนใจเฉพาะประสิทธิภาพ เราสามารถทำงานได้ดีกว่า GPT-4 ในการประเมิน openai/evals หากคุณกำลังมองหาต้นทุนที่เฉพาะเจาะจงเพื่อให้เศรษฐศาสตร์ของหน่วยของคุณทำงานได้ เราจะให้คุณกำหนดต้นทุนสูงสุดสำหรับคำขอของคุณ จากนั้นหามอเดลที่ดีที่สุดในการดำเนินการคำขอนั้น และหากคุณต้องการสิ่งที่มีพลวัตมากขึ้น เราจะให้คุณกำหนดว่าคุณยินดีจ่ายเท่าใดสำหรับคำตอบที่ดีกว่า – ดังนั้นหากสองโมเดลมีประสิทธิภาพที่คล้ายกัน แต่มีความแตกต่างมากในด้านต้นทุน เราสามารถให้คุณใช้โมเดลที่มีต้นทุนน้อยกว่าได้ ลูกค้าบางรายของเรามีประสบการณ์การลดต้นทุนสูงถึง 12 เท่า

วิสัยทัศน์ของคุณสำหรับอนาคตของ Martian คืออะไร

ทุกครั้งที่เราปรับปรุงความเข้าใจพื้นฐานของโมเดล จะนำไปสู่การเปลี่ยนแปลงในด้าน AI การปรับแต่งเป็นรูปแบบที่ขับเคลื่อนด้วยการเข้าใจเอาต์พุต การส่งคำขอเป็นรูปแบบที่ขับเคลื่อนด้วยการเข้าใจอินพุต ความแตกต่างเพียงอย่างเดียวในการเข้าใจโมเดลของเราคือสิ่งที่แยกแยะระหว่าง ML แบบดั้งเดิม (“ให้เราอบรมแบบเรกริสสัน”) และ AI ที่สร้างขึ้นสมัยใหม่ (“ให้เรากระตุ้น baby AGI”)

เป้าหมายของเราคือการนำเสนอความก้าวหน้าในการตีความอย่างต่อเนื่องจนกว่า AI จะถูกเข้าใจอย่างเต็มที่ และเราจะมีทฤษฎีของความฉลาดที่มีประสิทธิภาพเท่ากับทฤษฎีของตรรกะหรือคณิตศาสตร์

สำหรับเรา สิ่งนี้หมายถึงการสร้างสรรค์ การสร้างเครื่องมือ AI ที่น่าสนใจ และวางไว้ในมือของผู้คน สิ่งนี้หมายถึงการปล่อยสิ่งที่แตกทลายที่ไม่มีใครทำมาก่อน และสิ่งที่ – มากกว่าสิ่งอื่นใด – น่าสนใจและมีประโยชน์

ในคำของเซอร์ فرانซิส เบคอน “ความรู้คือพลัง” ดังนั้น วิธีที่ดีที่สุดในการแน่ใจว่าเราจะเข้าใจ AI คือการปล่อยเครื่องมือที่มีพลัง ในความคิดของเรา เครื่องมือตัวกำหนดเส้นทางของโมเดลคือเครื่องมือประเภทนั้น เรารู้สึกตื่นเต้นที่จะสร้างมัน ขยายมัน และวางมันไว้ในมือของผู้คน

สิ่งนี้เป็นเพียงเครื่องมือแรกที่เราจะปล่อยออกมาในเดือนที่จะมาถึง เรารู้สึกตื่นเต้นที่จะแบ่งปันเครื่องมือเหล่านั้นด้วยคุณ เพื่อค้นหาทฤษฎีที่สวยงามของปัญญาประดิษฐ์ เพื่อช่วยสร้างโครงสร้างพื้นฐาน AI ใหม่ๆ และช่วยสร้างอนาคตที่ดีกว่าสำหรับทั้งมนุษย์และเครื่องจักร

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านซึ่งต้องการเรียนรู้เพิ่มเติมควรเยี่ยมชม Martian