Etan Ginsberg, ผู้ร่วมก่อตั้ง Martian – ซีรีส์สัมภาษณ์

Etan Ginsberg เป็นผู้ร่วมก่อตั้ง Martian ซึ่งเป็นแพลตฟอร์มที่กำหนดเส้นทางคำสั่งให้กับโมเดลภาษาขนาดใหญ่ (LLM) ที่ดีที่สุด โดยการกำหนดเส้นทาง Martian สามารถบรรลุประสิทธิภาพที่สูงขึ้นและต้นทุนที่ต่ำกว่าผู้ให้บริการรายบุคคล รวมถึง GPT-4 ระบบนี้ถูกสร้างขึ้นโดยใช้เทคโนโลยี Model Mapping ที่เป็นเอกลักษณ์ของบริษัท ซึ่งสามารถแยกโมเดลภาษาขนาดใหญ่ออกจากกล่องดำที่ซับซ้อนออกเป็นสถาปัตยกรรมที่สามารถอธิบายได้ ทำให้เป็นการประยุกต์ใช้ความเข้าใจเชิงกลไกเป็นครั้งแรก

Etan ได้เริ่มเขียนโค้ด ออกแบบเว็บไซต์ และสร้างธุรกิจอิเล็กทรอนิกส์สำหรับลูกค้าตั้งแต่เขายังอยู่ในโรงเรียนมัธยม Etan เป็นนักคิดที่มีความสามารถหลากหลาย และเป็นผู้เข้าร่วมการแข่งขัน World Memory Championships และได้รับรางวัลอันดับ 2 ในการแข่งขัน World Speed Reading Championships ที่เมืองเซินเจิ้น ประเทศจีน

เขายังเป็นผู้เข้าร่วมการแข่งขันฮัคกาธอน Etan ได้รับรางวัลอันดับ 3 ในการแข่งขัน Tech Crunch SZ และเป็นหนึ่งใน 7 ผู้เข้ารอบสุดท้ายในการแข่งขัน Princeton Hackathon นอกจากนี้เขายังได้รับรางวัลอุตสาหกรรม 3 รางวัลใน Yale Hackathon

คุณเป็นผู้ร่วมก่อตั้งสองบริษัทก่อนหน้านี้ คุณสามารถบอกเราถึงบริษัทเหล่านั้นและคุณได้เรียนรู้อะไรจากประสบการณ์นั้นได้หรือไม่?

บริษัทแรกของฉันคือแพลตฟอร์มแรกสำหรับการส่งเสริมและพัฒนากีฬาของ American Ninja Warrior ในปี 2012 ฉันเห็นว่า American Ninja Warrior เป็นกีฬาที่อยู่ใต้ดิน (คล้ายกับ MMA ในช่วงทศวรรษ 1990) และฉันสร้างแพลตฟอร์มแรกที่ผู้คนสามารถซื้อแผนผัง ออกแบบอุปสรรค และค้นหาสถานที่ฝึกซ้อมได้ ฉันให้คำปรึกษากับบริษัทที่ต้องการเปิดสาขาของตนเอง รวมถึงการช่วยเหลือกองทัพพิเศษสหรัฐฯ ในการฝึกอบรมและขยายสาขาให้ใหญ่ขึ้นจากแผนผังบนกระดาษไปจนถึง 300,000 ดอลลาร์ใน 3 เดือนแรก แม้ว่าฉันจะยังอยู่ในโรงเรียนมัธยม แต่ฉันก็มีประสบการณ์แรกในการจัดการทีมงานที่มีสมาชิกมากกว่า 20 คน และได้เรียนรู้เกี่ยวกับการจัดการและการสื่อสารที่มีประสิทธิภาพ

บริษัทที่สองของฉันคือบริษัทจัดการสินทรัพย์ทางเลือกที่ฉันร่วมก่อตั้งในปี 2017 ก่อนที่จะเกิดคลื่น ICO ในด้านคริปโตเคอร์เรนซี่ นี่เป็นการเปิดเผยครั้งแรกของฉันต่อ NLP โดยที่เราใช้การวิเคราะห์ความรู้สึกจากข้อมูลโซเชียลมีเดียเป็นกลยุทธ์การลงทุน

ฉันเรียนรู้ทักษะที่ยากและทักษะอ่อนที่จำเป็นในการดำเนินธุรกิจสตาร์ทอัพ — ตั้งแต่วิธีการจัดการทีมไปจนถึงด้านเทคนิคของ NLP ในเวลาเดียวกัน ฉันก็ได้เรียนรู้เกี่ยวกับตัวเองและเกี่ยวกับสิ่งที่ฉันต้องการทำงานด้วย ฉันเชื่อว่าบริษัทที่ประสบความสำเร็จที่สุดคือบริษัทที่ก่อตั้งโดยผู้ก่อตั้งที่มีวิสัยทัศน์หรือเป้าหมายที่กว้างขึ้นในการขับเคลื่อน ฉันลาออกจากด้านคริปโตในปี 2017 เพื่อมุ่งเน้นไปที่ NLP เพราะการเพิ่มและเข้าใจความฉลาดของมนุษย์เป็นสิ่งที่ขับเคลื่อนฉันจริงๆ และฉันรู้สึกดีใจที่ได้ค้นพบสิ่งนั้น

ในระหว่างที่คุณกำลังศึกษาอยู่ที่มหาวิทยาลัยเพนซิลเวเนีย คุณได้ทำการวิจัยเกี่ยวกับ AI บางส่วน คุณสามารถบอกเราถึงสิ่งที่คุณกำลังวิจัยได้หรือไม่?

การวิจัยของเราตั้งใจจะสร้างแอปพลิเคชันของ LLMs โดยเฉพาะอย่างยิ่ง เราทำงานเกี่ยวกับการใช้งานด้านการศึกษาของ LLMs และสร้างครูสอนภาษาที่ขับเคลื่อนด้วย LLM เป็นครั้งแรก ผลลัพธ์เป็นที่น่าพอใจ — เราเห็นการปรับปรุงที่ดีขึ้น 0.3 ค่ามาตรฐานในการพัฒนาของนักเรียนในการทดลองเบื้องต้น — และระบบของเราถูกใช้ตั้งแต่มหาวิทยาลัยเพนซิลเวเนียไปจนถึงมหาวิทยาลัยภูฏาน

คุณสามารถพูดถึงว่าการวิจัยนี้นำไปสู่การร่วมก่อตั้ง Martian ได้อย่างไร?

เนื่องจากเราเป็นหนึ่งในผู้แรกที่สร้างแอปพลิเคชันบน LLMs เราจึงเป็นหนึ่งในผู้แรกที่พบปัญหาที่ผู้คนเผชิญเมื่อสร้างแอปพลิเคชันบน LLMs สิ่งนั้นได้กำหนดทิศทางการวิจัยของเราไปสู่ชั้นโครงสร้างพื้นฐาน ตัวอย่างเช่น ในช่วงแรกๆ เราได้ปรับแต่งโมเดลที่เล็กกวนบนผลลัพธ์ของโมเดลที่ใหญ่กว่า เช่น GPT-3 และปรับแต่งโมเดลบนแหล่งข้อมูลพิเศษสำหรับงาน เช่น การเขียนโปรแกรมและการแก้ปัญหาทางคณิตศาสตร์ สิ่งนั้นได้นำเราไปสู่ปัญหาเกี่ยวกับการทำความเข้าใจพฤติกรรมของโมเดลและการกำหนดเส้นทางของโมเดล

เรื่องราวของชื่อ Martian และความสัมพันธ์กับปัญญาเป็นเรื่องที่น่าสนใจ คุณสามารถแบ่งปันเรื่องราวของวิธีการเลือกชื่อนี้ได้หรือไม่?

บริษัทของเราตั้งชื่อตามกลุ่มของนักวิทยาศาสตร์ชาวฮังการี-อเมริกันที่เรียกว่า “Martians” กลุ่มนี้ซึ่งอาศัยอยู่ในศตวรรษที่ 20 ประกอบด้วยคนฉลาดที่สุดบางคนในประวัติศาสตร์:

• ที่มีชื่อเสียงที่สุดในหมู่พวกเขาคือ John Von Neumann ซึ่งประดิษฐ์เกมทฤษฎี สถาปัตยกรรมคอมพิวเตอร์สมัยใหม่ ทฤษฎีเครื่องจักรอัตโนมัติ และมีส่วนร่วมในหลายสาขาอื่นๆ
• Paul Erdos เป็นนักคณิตศาสตร์ที่มีผลงานตีพิมพ์มากที่สุดในประวัติศาสตร์ โดยมีผลงานตีพิมพ์มากกว่า 1,500 ผลงาน
• Theodore Von Karman ก่อตั้งทฤษฎีฐานของการแอโรไดนามิกส์และช่วยสร้างโปรแกรมอวกาศของอเมริกา เส้นแบ่งระหว่างพื้นโลกและอวกาศถูกตั้งชื่อตาม “Kármán line” เพื่อเป็นเกียรติแก่ผลงานของเขา
• Leo Szilard คิดค้นระเบิดปรมาณู การบำบัดด้วยรังสี และเครื่องเร่งอนุภาค

นักวิทยาศาสตร์เหล่านี้และอีก 14 คน (รวมถึงผู้คิดค้นระเบิดไฮโดรเจน ผู้ที่นำทฤษฎีกลุ่มเข้าสู่ฟิสิกส์สมัยใหม่ และผู้ที่มีส่วนร่วมในด้านคณิตศาสตร์ เช่น ทฤษฎีเชิงผสม ทฤษฎีจำนวน การวิเคราะห์เชิงตัวเลข และทฤษฎีความน่าจะเป็น) มีลักษณะพิเศษที่น่าสนใจ — พวกเขาทั้งหมดเกิดในบริเวณเดียวกันของบูดาเปสต์ ซึ่งทำให้ผู้คนตั้งคำถามว่า: อะไรคือต้นต้นของความฉลาดนี้?

ในคำตอบ Szilard กล่าวว่า “Martians อยู่ที่นี่แล้ว และพวกเขาตั้งชื่อตัวเองว่า Hungarians!” ในความเป็นจริง… ไม่มีใครรู้

มนุษยชาติพบตัวเองในสถานการณ์ที่คล้ายกันในปัจจุบัน โดยมีจิตใจที่ฉลาดที่เป็นไปได้: ปัญญาประดิษฐ์ ผู้คนรู้ว่าโมเดลสามารถฉลาดมากได้ แต่ไม่มีใครรู้ว่าพวกมันทำงานอย่างไร

ภารกิจของเราคือการตอบคำถามนั้น — เพื่อทำความเข้าใจและใช้ประโยชน์จากความฉลาดที่ทันสมัย

คุณมีประวัติในการแสดงความสามารถในการจดจำที่น่าเหลือเชื่อ คุณสามารถบอกเราว่าคุณเข้าสู่การแข่งขันความจำเหล่านี้ได้อย่างไรและความรู้นี้ช่วยคุณในการสร้างแนวคิดของ Martian ได้อย่างไร?

ในกีฬาส่วนใหญ่ นักกีฬาอาชีพสามารถแสดงผลได้ดีกว่าคนธรรมดาสามถึงสี่เท่า (เปรียบเทียบกับระยะทางที่คนธรรมดากick ฟิลด์โกลหรือโยนฟุตบอลเร็วเท่าใดเมื่อเทียบกับนักกีฬาอาชีพ) กีฬาที่น่าสนใจเพราะนักกีฬาที่ดีที่สุดสามารถจดจำได้ 100 เท่าหรือแม้กระทั่ง 1,000 เท่ามากกว่าคนธรรมดา โดยใช้การฝึกซ้อมน้อยกว่ากีฬาส่วนใหญ่ นอกจากนี้ยังเป็นคนธรรมดาที่มีความจำธรรมดาซึ่งให้เครดิตผลงานของพวกเขาในการใช้เทคนิคเฉพาะที่ทุกคนสามารถเรียนรู้ได้ ฉันต้องการเพิ่มความรู้ของมนุษย์ให้สูงสุด และฉันเห็นว่าการแข่งขันความจำโลกเป็นข้อคิดที่ไม่ได้รับการยอมรับเกี่ยวกับวิธีที่เราสามารถขับเคลื่อนผลตอบแทนที่ไม่ธรรมดาของความฉลาดของมนุษย์

ฉันต้องการใช้เทคนิคการจดจำทั่วทั้งระบบการศึกษา ดังนั้นฉันจึงเริ่มสำรวจว่า NLP และ LLMs สามารถช่วยลดต้นทุนในการตั้งค่าที่ป้องกันวิธีการศึกษาที่มีประสิทธิผลส่วนใหญ่ไม่ถูกนำมาใช้ในระบบการศึกษาทั่วไป Yash และฉันสร้างครูสอนภาษาที่ขับเคลื่อนด้วย LLM เป็นครั้งแรก และสิ่งนั้นได้นำเราไปสู่การค้นพบปัญหาในการใช้งาน LLM ที่เราช่วยแก้ปัญหาในปัจจุบัน

Martian เป็นการทำให้การตัดสินใจเกี่ยวกับการเลือก LLM ที่จะใช้กลายเป็นเรื่องที่เป็นนามธรรม คุณสามารถอธิบายได้ว่าทำไมสิ่งนี้จึงเป็นจุดปวดที่สำคัญสำหรับนักพัฒนาในปัจจุบัน?

การสร้างโมเดลภาษาได้กลายเป็นเรื่องที่ง่ายขึ้น — ต้นทุนการคำนวณลดลง อัลกอริทึมมีประสิทธิภาพมากขึ้น และมีเครื่องมือโอเพ่นซอร์สที่มีมากขึ้นในการสร้างโมเดลเหล่านี้ ในฐานะที่เป็นผลมาจากสิ่งนี้ บริษัทและนักพัฒนาจึงสร้างโมเดลที่กำหนดเองซึ่งฝึกอบรมด้วยข้อมูลที่กำหนดเอง เมื่อโมเดลเหล่านี้มีต้นทุนและความสามารถที่แตกต่างกัน คุณสามารถได้รับประสิทธิภาพที่ดีขึ้นโดยใช้หลายโมเดล แต่มันเป็นเรื่องที่ยากที่จะทดสอบทั้งหมดและค้นหาโมเดลที่ถูกต้องที่จะใช้ เราดูแลสิ่งนั้นให้กับนักพัฒนา

คุณสามารถอธิบายได้ว่าระบบทำความเข้าใจว่า LLM ใดที่ดีที่สุดสำหรับงานเฉพาะได้อย่างไร?

การกำหนดเส้นทางที่ดีเป็นปัญหาหลักเกี่ยวกับการทำความเข้าใจโมเดล เพื่อกำหนดเส้นทางระหว่างโมเดลอย่างมีประสิทธิภาพ คุณต้องการสามารถเข้าใจสิ่งที่ทำให้พวกมันล้มเหลวหรือสำเร็จ การทำความเข้าใจคุณลักษณะเหล่านี้ด้วยการกำหนดเส้นทางโมเดลช่วยให้เราสามารถกำหนดได้ว่าโมเดลใดจะทำงานได้ดีที่สุดสำหรับการร้องขอใดโดยไม่ต้องรันโมเดลนั้น ดังนั้นเราจึงสามารถส่งคำร้องขอนั้นไปยังโมเดลที่จะให้ผลลัพธ์ที่ดีที่สุด

คุณสามารถพูดถึงการประหยัดต้นทุนที่สามารถเห็นได้จากการเพิ่มประสิทธิภาพ LLM ที่ใช้ได้หรือไม่?

เราทำให้ผู้ใช้สามารถกำหนดวิธีการแลกเปลี่ยนระหว่างต้นทุนและประสิทธิภาพ หากคุณดูแลเพียงประสิทธิภาพ เราสามารถทำได้ดีกว่า GPT-4 ใน openai/evals หากคุณกำลังมองหาต้นทุนที่เฉพาะเจาะจงเพื่อให้เศรษฐศาสตร์หน่วยของคุณทำงานได้ เราให้คุณกำหนดต้นทุนสูงสุดสำหรับการร้องขอของคุณ จากนั้นเราจะค้นหาโมเดลที่ดีที่สุดในการดำเนินการร้องขอนั้น และหากคุณต้องการสิ่งที่มีพลวัตมากขึ้น เราจะให้คุณกำหนดว่าคุณเต็มใจที่จะจ่ายเท่าใดสำหรับคำตอบที่ดีกว่า — โดยที่หากสองโมเดลมีประสิทธิภาพที่คล้ายกัน แต่มีความแตกต่างมากในต้นทุน เราสามารถให้คุณใช้โมเดลที่มีราคาถูกกว่าได้ ลูกค้าบางรายของเรามีประสบการณ์การลดต้นทุนสูงถึง 12 เท่า

คุณมีวิสัยทัศน์สำหรับอนาคตของ Martian อย่างไร?

ทุกครั้งที่เราปรับปรุงความเข้าใจพื้นฐานของโมเดล จะนำไปสู่การเปลี่ยนแปลงในแนวคิดสำหรับ AI การปรับแต่งเป็นแนวคิดที่ขับเคลื่อนด้วยความเข้าใจผลลัพธ์ การส่งคำสั่งเป็นแนวคิดที่ขับเคลื่อนด้วยความเข้าใจในการรับเข้า สิ่งที่แตกต่างในความเข้าใจของโมเดลนี้เป็นส่วนใหญ่ที่ทำให้ ML แบบดั้งเดิม (“ให้เราอบรมตัวแบบการถดถอย”) และ AI ที่สร้างขึ้นสมัยใหม่ (“ให้เรากระตุ้น AGI ที่ยังไม่เติบโต”) แตกต่างกัน

เป้าหมายของเราคือการนำเสนอผลลัพธ์เชิงนวัตกรรมในการทำความเข้าใจอย่างต่อเนื่องจนกว่า AI จะถูกเข้าใจอย่างเต็มที่ และเรามีทฤษฎีของความฉลาดที่มีประสิทธิภาพเทียบเท่ากับทฤษฎีของตรรกะหรือคณิตศาสตร์

สำหรับเรา สิ่งนี้หมายถึงการสร้างสรรค์ มันหมายถึงการสร้างเครื่องมือ AI ที่น่าสนใจและวางมันไว้ในมือของผู้คน มันหมายถึงการปล่อยสิ่งที่แตกทลายซึ่งไม่มีใครทำมาก่อน และซึ่ง — มากกว่าสิ่งอื่นใด — มีความน่าสนใจและเป็นประโยชน์

ตามคำพูดของ Sir Francis Bacon “ความรู้คือพลัง” ดังนั้น วิธีที่ดีที่สุดในการแน่ใจว่าเราจะเข้าใจ AI คือการปล่อยเครื่องมือที่ทรงพลัง ในความคิดของเรา โมเดลที่กำหนดเส้นทางเป็นเครื่องมือประเภทนั้น เรารู้สึกตื่นเต้นที่จะสร้างมันขยายมันและวางมันไว้ในมือของผู้คน

สิ่งนี้เป็นเพียงเครื่องมือแรกที่เราจะปล่อยออกมาใน เดือนข้างหน้า เพื่อค้นหาทฤษฎีที่สวยงามของปัญญาประดิษฐ์ เพื่อเปิดใช้งานโครงสร้างพื้นฐาน AI ใหม่ๆ เพื่อช่วยสร้างอนาคตที่สดใสยิ่งขึ้นสำหรับทั้งมนุษย์และเครื่องจักร — เรารู้สึกตื่นเต้นที่จะแบ่งปันเครื่องมือเหล่านั้นกับคุณ

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Martian เพื่อเรียนรู้เพิ่มเติม