Rob May ซีอีโอและผู้ร่วมก่อตั้ง NeuroMetric – ซีรีส์สัมภาษณ์

Rob May ซีอีโอและผู้ร่วมก่อตั้ง NeuroMetric เป็นนักประกอบการและนักลงทุนที่มีประสบการณ์ยาวนาน โดยมีประวัติการทำงานที่ครอบคลุมคลาวด์คอมพิวติ้ง สตาร์ทอัพ AI และธุรกิจเงินร่วมลงทุน ปัจจุบันเขากำลังนำทีม Neurometric AI และยังดำรงตำแหน่งผู้อำนวยการฝ่ายจัดการที่ HalfCourt Ventures โดยที่เขามีประสบการณ์ในการสนับสนุนมากกว่า 100 บริษัทเทคโนโลยี นอกเหนือจากบทบาทในการดำเนินงานและลงทุน เขายังร่วมก่อตั้ง AI Innovators Community และสร้างและขายบริษัท เช่น Backupify ซึ่งสะท้อนถึงประสบการณ์ที่ลึกซึ้งในการทำงานผ่านหลายรอบการเปลี่ยนแปลงเทคโนโลยี เขายังเป็นที่รู้จักอย่างกว้างขวางจาก Investing in AI นิวส์เลตเตอร์ของเขา ซึ่งเขิ่เริ่มเขียนเมื่อเกือบสิบปีที่แล้ว เพื่อวิเคราะห์แนวโน้ม AI ที่เกิดขึ้นใหม่ กลยุทธ์การลงทุน และการเปลี่ยนแปลงของตลาด และซึ่งได้พัฒนาไปสู่แพลตฟอร์มสำหรับการมองเห็นภาพรวมของภูมิทัศน์ AI ที่เปลี่ยนแปลงอย่างรวดเร็ว

NeuroMetric AI มุ่งเน้นในการแก้ไขหนึ่งในความท้าทายที่สำคัญที่สุดในด้านปัญญาประดิษฐในปัจจุบัน คือ ต้นทุนและประสิทธิภาพของการอนุมานในระดับใหญ่ แพลตฟอร์มนี้ประเมิน AI วอร์กโหลดอย่างไดนามิกและใช้กลยุทธ์การปรับให้เหมาะสม เช่น การรวมโมเดลที่เล็กและเฉพาะด้านกับเทคนิคการคำนวณในเวลาทดสอบที่ทันสมัย เพื่อปรับปรุงประสิทธิภาพในขณะที่ลดต้นทุนอย่างมาก ทำให้บริษัทต่างๆ สามารถบรรลุผลตอบแทนที่ดีขึ้นจากการใช้งาน AI โดยการประสานงานวอร์กโหลดและปรับใช้โมเดลตามงานเฉพาะ Neurometric มุ่งหวังที่จะทำให้ระบบ AI เร็วขึ้นและราคาไม่แพง โดยวางตัวเองที่จุดตัดระหว่างโครงสร้างพื้นฐาน AI ประสิทธิภาพ และความสามารถในการใช้งานจริง เมื่อบริษัทต่างๆ เคลื่อนจากการทดลองไปสู่การผลิต

คุณได้ก่อตั้งและนำบริษัท AI หลายแห่ง ลงทุนในสตาร์ทอัพมากกว่า 100 แห่งผ่าน HalfCourt Ventures และก่อนหน้านี้สร้างและขาย Backupify ประสบการณ์เหล่านี้มีผลต่อทัศนคติของคุณเกี่ยวกับว่าความมั่นคงยั่งยืนจะถูกสร้างขึ้นใน AI วันนี้อย่างไร?

ฉันคิดว่านักลงทุนและนักประกอบการหลายคนกำลังไล่ตามการสร้างรากฐานที่ยั่งยืนในระยะสั้น ซึ่งเป็นช่องว่างที่ดูเหมือนจะชัดเจนในตลาด แต่ช่องว่างเหล่านั้นจะถูกปิดโดยบริษัทที่มีอยู่แล้ว AI จะทำให้การดำเนินธุรกิจกลายเป็นชุดของการตัดสินใจที่มีแนวโน้ม บริษัทที่ควรลงทุนหรือสร้างคือบริษัทที่มีการประมาณการแนวโน้มที่ดีที่สุด

ในนิวส์เลตเตอร์ Investing in AI ของคุณ คุณได้โต้แย้งว่าโมเดลมีความสามารถในการเปลี่ยนได้มากขึ้น และความยั่งยืนที่แท้จริงจะเปลี่ยนไปที่ชั้นระบบ ระบบ “moat” ที่แท้จริงมีลักษณะอย่างไรในทางปฏิบัติ?

ระบบ “moat” ที่แท้จริงมีคุณสมบัติสามประการ: มันสะสมเมื่อใช้งาน มันเฉพาะเจาะจงสำหรับลูกค้า และไม่สามารถทำซ้ำได้ด้วยการเปลี่ยนโมเดล

ความยั่งยืนที่แท้จริงอาศัยอยู่ใน “ระบบบริบท” — สถาปัตยกรรมแบบบูรณาการที่เชื่อมต่อโมเดลพื้นฐานกับทุกสิ่งที่ทำให้บริษัทแตกต่าง: ข้อมูลของพวกเขา, วอร์กโฟลว์, ความรู้ในโดเมน, ประวัติการตัดสินใจ ระบบจะจับ信号จากทุกการโต้ตอบ — โมเดลใดที่ประสบความสำเร็จในงานใด, ที่ไหนที่ความหน่วงเป็นปัญหา, รูปแบบขององค์กรใดที่ปรากฏ — และป้อนกลับไปในการปรับปรุงตัวเอง

ข้อคิดที่สำคัญคือสิ่งนี้สร้างวงจรการขยายที่คูณกัน ไม่ใช่การบวก คุณไม่ได้สะสมบันทึกการค้นหาที่สามารถค้นหาได้ คุณสร้างสัญญาณการฝึกที่ผลิตโมเดลที่มีความเชี่ยวชาญซึ่งปรับปรุงการกำหนดเส้นทาง ซึ่งจับข้อมูลที่มีค่ามากขึ้น วงจรการขยายกว้างขึ้นด้วยการอนุมานทุกครั้ง

ในทางปฏิบัติ ระบบ “moat” ดูเหมือนการบูรณาการวอร์กโฟลว์ที่ลึกซึ้ง โดยที่ค่าใช้จ่ายในการเปลี่ยนไม่ใช่เรื่องของ API แต่เป็นการเขียนลอจิกทางธุรกิจใหม่ มันเหมือนบริบทที่เป็นกรรมสิทธิ์ที่คู่แข่งไม่สามารถทำซ้ำได้ เพราะมันถูกสร้างขึ้นผ่านหลายเดือนของการใช้งานจริงภายในองค์กรเฉพาะ และมันเหมือนกับวงจรการปรับปรุงอย่างต่อเนื่อง โดยที่ระบบดีขึ้นอย่างมีนัยสำคัญสำหรับ ลูกค้า ในวิธีที่ผู้ให้บริการโมเดลทั่วไปไม่เคยทำได้

ยุคของโมเดลให้ความสามารถที่ดิบแก่เรา ยุคของระบบคือที่ที่ความสามารถนั้นกลายเป็นมูลค่าที่แท้จริงในโลกแห่งความเป็นจริง

บริษัทควรคิดอย่างไรเกี่ยวกับการสร้างกลยุทธ์หลายโมเดล รวมถึงตรรกะการกำหนดเส้นทาง, เส้นทางการเพิ่มขึ้น, และการประเมินอย่างต่อเนื่อง แทนที่จะพึ่งพาโมเดลแนวหน้าเพียงอย่างเดียว?

สิ่งแรกที่บริษัทต่างๆ ต้องทำความเข้าใจคือ “ใช้โมเดลที่ดีที่สุด” เป็นกลยุทธ์ที่แพ้เมื่อขยายขนาด มันเหมือนกับการวิ่งทุกๆ คิวรี่ผ่านวิศวกรอาวุโสที่สุด มันแพง มันช้า และ — ในทางตรงกันข้าม — มันไม่ได้ผลลัพธ์ที่ดีที่สุดเสมอไป

สิ่งนี้นำเราไปสู่สิ่งที่ฉันเรียกว่า “ขอบเขตที่ไม่สม่ำเสมอของการอนุมาน” — ประสิทธิภาพของโมเดลขึ้นอยู่กับงานและไม่คาดเดาได้ โมเดลแนวหน้าแพ้โมเดลที่เล็กและเฉพาะด้านในงานเฉพาะบ่อยๆ เราได้เห็นระบบหลายโมเดลที่รวมกันถึง 72.7% ความแม่นยำในงาน CRM โดยที่โมเดลแนวหน้าได้ 58% พื้นผิวของประสิทธิภาพไม่สัมพันธ์กับจำนวนพารามิเตอร์อย่างใกล้ชิด ดังนั้นคำถามที่แท้จริงไม่ใช่ “โมเดลไหนที่ดีที่สุด?” — แต่เป็น “โมเดลไหนที่ดีที่สุดสำหรับ งานย่อยนี้?”

การปรับเปลี่ยนนี้เป็นพื้นฐานของกลยุทธ์หลายโมเดลที่แท้จริง นี่คือวิธีที่ฉันจะบอกบริษัทต่างๆ ว่าควรคิดเกี่ยวกับมันในสามชั้น

ตรรกะการกำหนดเส้นทาง เริ่มต้นด้วยการทำแผนที่ภูมิทัศน์การอนุมานของคุณ จดบันทึกทุกจุดที่มีการเรียกใช้ LLM ในระบบของคุณ และสำหรับแต่ละจุด ระบุประเภทงาน ความซับซ้อนของอินพุต/เอาต์พุต ความต้องการความหน่วง ขอบเขตความแม่นยำ และปริมาณการเรียกใช้ สิ่งนี้จะให้แผนที่ความร้อนแก่คุณ คุณจะพบว่าปริมาณส่วนใหญ่ของคุณเป็นงานที่มีความถี่สูงและขอบเขตแคบ — การจำแนกประเภท การ 추출เอนติตี้ การกำหนดเจตนา การสร้างเทมเพลต — โดยที่โมเดลที่เล็กและปรับให้เหมาะสมสามารถเทียบหรือเอาชนะโมเดลแนวหน้าได้ในราคาเพียงเศษเสี้ยวของต้นทุน คุณควรสงวนการเรียกใช้โมเดลแนวหน้าที่แพงสำหรับงานที่ต้องการการให้เหตุผลที่ซับซ้อนจริงๆ ตัวแทนการที่ทำการเรียก 50 ครั้งต่องานไม่ต้องการ GPT-4 สำหรับการเรียกทั้ง 50 ครั้ง

เส้นทางการเพิ่มขึ้น คือการสร้างการallback ที่ฉลาด ไม่ใช่แค่การเปลี่ยนเส้นทาง การระบบต้องสามารถรับรู้เมื่อโมเดลที่เล็กกว่ากำลังให้ผลลัพธ์ที่มีความมั่นใจต่ำและเพิ่มขึ้นไปยังโมเดลที่มีความสามารถมากกว่า — หรือไปยังโมเดล-กลยุทธ์ผสมที่แตกต่างทั้งหมด สิ่งนี้คือที่ที่กลยุทธ์การคำนวณในเวลาทดสอบเข้ามา บางครั้งคำตอบที่ถูกต้องไม่ใช่โมเดลที่ใหญ่กว่า แต่เป็นโมเดลเดียวกันกับเชน-ออฟ-ทอท, บีมซーチ หรือการซ้ำแบบ best-of-N การกำหนดค่าที่เหมาะสมที่สุดเปลี่ยนแปลงไม่เพียงแต่ตามโมเดลเท่านั้น แต่ยังตามอัลกอริทึมการคิดที่คุณจับคู่กับมันด้วย

การประเมินอย่างต่อเนื่อง เป็นส่วนที่บริษัทส่วนใหญ่พลาดทั้งหมด และเป็นที่ที่ความยั่งยืนที่แท้จริงเกิดขึ้น การเลือกโมเดลไม่ใช่การตัดสินใจครั้งเดียว — มันเป็นปัญหาการปรับให้เหมาะสมอย่างต่อเนื่อง โมเดลใหม่ๆ ถูกปล่อยออกมาตลอด ใช้กรณีของคุณเปลี่ยนแปลง และประสิทธิภาพเสื่อมลงในลักษณะที่ล้มเหลวอย่างเงียบๆ คุณจะไม่ทราบว่าบอทบริการลูกค้าของคุณให้คำตอบที่แย่กว่า 40% เพราะ คุณใช้โมเดลที่ไม่ถูกต้องสำหรับประเภทคำถามนั้น — คุณจะเห็นเพียงการยกเลิกสามเดือนต่อมา คุณต้องการโครงสร้างพื้นฐานที่วัดสิ่งที่ทำงานจริงๆ ทั่วการผสมโมเดล-งาน และปรับเส้นทางตามข้อมูลประสิทธิภาพที่แท้จริง ไม่ใช่การเปรียบเทียบ

สาเหตุที่บริษัทส่วนใหญ่ยังไม่ได้ทำการเปลี่ยนแปลงนี้คือไม่มีใครถูกไล่ออกสำหรับการเลือกโมเดลแนวหน้า — มันเหมือนกับ “ไม่มีใครถูกไล่ออกสำหรับการซื้อ IBM” ของ AI พันธมิตรผู้ขายผลักดันโมเดลแนวหน้าเพราะนั่นคือที่ที่กำไรอยู่ และโครงสร้างพื้นฐานในการประสานงานที่จำเป็นในการดำเนินระบบหลายโมเดล — ตรรกะการกำหนดเส้นทาง, กลไกการallback, การจัดการโมเดล, ความสามารถในการสังเกต — เพียงไม่มีอยู่ในบริษัทส่วนใหญ่ พวกเขาติดอยู่ในจุดคงที่ที่ค่าใช้จ่ายในการเปลี่ยนและความไม่แน่นอนของระบบหลายโมเดลรู้สึกสูงกว่าค่าใช้จ่ายที่สูงขึ้นในการอนุมานโมเดลแนวหน้า

ข้อผิดพลาดที่ใหญ่ที่สุดคืออะไรที่คุณเห็นบริษัทต่างๆ ทำเมื่อเปลี่ยนจากการทดลอง AI ไปสู่ระบบการผลิต?

พวกเขาคิดว่าทางเลือกของพวกเขาสามารถเป็นแบบคงที่และยาวนาน ในความเป็นจริง ทุกชั้นของสแต็กเทคโนโลยีสำหรับ AI กำลังเปลี่ยนแปลงอย่างรวดเร็ว บริษัทต่างๆ ต้องตัดสินใจที่ให้ความยืดหยุ่นและความยืดหยุ่น

คุณเห็นโมเดลที่เล็กและเฉพาะด้านเอาชนะโมเดลแนวหน้าใหญ่ในประเภทวอร์กโฟลว์ใดบ้าง และทำไมสิ่งนี้จึงมีความสำคัญเชิงกลยุทธี?

เราเห็นสิ่งนี้เกิดขึ้นเกือบทุกงานทั่วไป — เช่น การบัญชีเบื้องต้น การสรุปข้อความ การแยกเอนติตี้จากเอกสารต่างๆ เราได้สำรวจโมเดลเหล่านี้สำหรับงานหลายร้อยงาน และพวกมันชนะเกือบเสมอหากปัญหาถูกกำหนดให้เหมาะสม

คุณได้เขียนเกี่ยวกับต้นทุนการลดลงของการนำ AI ไปใช้ในกรณีการใช้งานใหม่ๆ อย่างไร สิ่งนี้เปลี่ยนเศรษฐศาสตร์ระยะยาวของการนำ AI ไปใช้สำหรับองค์กรอย่างไร?

เรื่องราวของฟองสบู่สมมติว่ารายได้ AI ต้องการการลงทุน R&D ที่สอดคล้องกันในโมเดลใหม่ๆ มันไม่ใช่เช่นนั้น โมเดลถูกสร้างขึ้นแล้ว โครงสร้างพื้นฐานมีอยู่ การใช้งานใหม่ๆ แต่ละครั้งเป็นเพียงคำสั่ง, การเชื่อมต่อข้อมูล, อาจเป็นการปรับให้เหมาะสมเบาๆ — ไม่ใช่การฝึกอบรมอีกครั้ง 100 ล้านเหรียญ ต้นทุนการลดลงเมื่อแพลตฟอร์มมีความเต็มที่

สิ่งนี้ตรงกันข้ามกับรถไฟหรือโทรคมนาคม โดยที่ทุกไมล์ของรางหรือโทรคมนาคมใหม่จะมีราคาแพง ใน AI การสร้างเครื่องยนต์เป็นสิ่งที่มีราคา การเชื่อมต่อสิ่งต่างๆ เข้ากับ เครื่องยนต์ถูกและถูกขึ้นเรื่อยๆ — ต้นทุนการอนุมานลดลงประมาณ 1,000 เท่าในสองปี คำถามสำหรับองค์กรไม่ใช่ว่า AI จ่ายออกหรือไม่ แต่เป็นว่าคุณสามารถวางกรณีการใช้งานได้กี่กรณีบนโครงสร้างพื้นฐานเดียวกันก่อนที่จะเกิดการเปลี่ยนแปลงของรายได้

สัญญาณใดที่ทีมเทคนิคควรใช้เพื่อตัดสินใจว่าจะเปลี่ยนโมเดล, ปรับให้เหมาะสม, หรือสร้างโมเดลงานเล็กๆ ที่มีงานเฉพาะ?

สัญญาณเหล่านี้ไม่จำเป็นต้องเป็นทางเทคนิค มันขับเคลื่อนด้วยประสิทธิภาพหรือเศรษฐกิจ ตัวอย่างเช่น การเปลี่ยนโมเดลหรือปรับให้เหมาะสมหรือสร้างโมเดล SLM ที่กำหนดเองอาจทำงานได้ ทั้งหมด การตัดสินใจขึ้นอยู่กับว่าคุณกำลังปรับให้เหมาะสมสำหรับความหน่วงหรือต้นทุนอย่างไร บ่อยแค่ไหนที่งานถูกดำเนินการ และใช้เวลานานแค่ไหนในการสร้างและปรับใช้แต่ละวิธีแก้ปัญหา

คุณออกแบบการป้องกัน, การติดตาม, และการกำกับดูแลอย่างไร เพื่อให้สามารถขยายขนาดได้แทนที่จะเป็นปัญหาตามมา?

ข้อผิดพลาดที่บริษัทส่วนใหญ่ทำคือการรักษาการกำกับดูแลเป็นจุดตรวจ — ชั้นการตรวจสอบแบบแมนนวลที่ยึดติดกับวอร์กโฟลว์ AI นั้นไม่สามารถขยายขนาดได้ มันจะกลายเป็นปัญหาตามมาเมื่อการใช้งานเพิ่มขึ้น

การกำกับดูแลต้องถูกฝังอยู่ในชั้นการประสานงานเอง เมื่อโครงสร้างพื้นฐานการกำหนดเส้นทางของคุณประเมินการเรียกใช้การอนุมานทุกครั้ง — โมเดลใด, งานใด, ระดับความมั่นใจใด — การเพิ่มการป้องกันจะเป็นต้นทุนเพียงเล็กน้อย ไม่ใช่ระบบใหม่ ชั้นเดียวกับที่ตัดสินใจว่าโมเดลใดจะจัดการคำถามสามารถบังคับใช้นโยบาย: การกรอง PII ก่อนการเรียก, การตรวจสอบเอาต์พุตหลังการเรียก, การบันทึกการตรวจสอบที่จับได้โดยอัตโนมัติ, การจัดสรรต้นทุนตามแผนก

ข้อคิดที่สำคัญคือบริษัทต่างๆ ไม่ล้มเหลว ภายใน ระบบ AI พวกเขาล้มเหลว ระหว่าง ระบบ — ในการส่งมอบ, การเพิ่มขึ้น, และข้อยกเว้น การกำกับดูแลที่ขยายขนาดดูเหมือนเครื่องบินควบคุมที่ทำให้ทุกการดำเนินการ AI เป็นไปอย่างปลอดภัย, สามารถตรวจสอบ, และทำซ้ำได้เป็นผลมาจากการดำเนินการ ไม่ใช่สิ่งกีดขวาง

คุณเปรียบเทียบภูมิทัศน์ AI ในปัจจุบันกับการเปลี่ยนแปลงจากเมนเฟรมไปสู่ PC อย่างไร สิ่งนี้มีความหมายต่อสตาร์ทอัพในการสร้างในระดับระบบอย่างไร?

เรากำลังอยู่ในยุคเมนเฟรมของ AI ในขณะนี้ โมเดลแนวหน้าที่ใหญ่และรวมศูนย์จาก OpenAI, Anthropic, และ Google (GOOGL ) เป็นสิ่งจำเป็นในการมุ่งเน้นความพยายามและแสดงให้เห็นว่า AI สามารถทำอะไรได้บ้าง ช่วงนี้ทำงานได้ ความสามารถถูกเข้าใจแล้ว แต่เช่นเดียวกับที่การประมวลผลไม่รวมศูนย์ AI ก็จะไม่รวมศูนย์เช่นกัน เรากำลังเข้าสู่ยุค PC — โครงสร้างพื้นฐานที่กระจาย โดยที่โมเดลที่เล็กและเฉพาะด้านทำงานใกล้กับงาน

ข้อมูลการใช้จ่ายสะท้อนถึงสิ่งนี้แล้ว การลงทุน AI ขององค์กรมีการแบ่งเท่าๆ กันระหว่างโครงสร้างพื้นฐานและแอปพลิเคชัน และส่วนแอปพลิเคชันเติบโตเร็วขึ้น การขยายตัวเป็นข้างๆ — ข้าม HR, กฎหมาย, การตลาด, การดำเนินงาน, การเงิน — ไม่ใช่แนวตั้งลงในโมเดลที่ใหญ่ขึ้น

สำหรับสตาร์ทอัพในการสร้างในระดับระบบ นี่คือโอกาสของยุค นอกจากนี้ในโลกที่รวมศูนย์ ผู้ให้บริการโมเดลจับข้อมูลส่วนใหญ่ ในโลกที่กระจาย ข้อมูลย้ายไปสู่บริษัทที่แก้ไขปัญหาการประสานงาน, การกำหนดเส้นทาง, การประเมิน, และการปรับให้เหมาะสม — ปัญหาการดำเนินงานในการใช้งานระบบโมเดลที่หลากหลายในระดับใหญ่

การคาดการณ์ของฉันคือประมาณ 25% ของการอนุมาน AI จะต้องใช้โมเดลแนวหน้า บริษัทเหล่านั้นจะทำได้ดี — นั่นคือตลาดที่มีมูลค่าหลายล้านล้าน แต่ 75% จะใช้โมเดลที่เปิดเผยและโมเดลที่มีงานเฉพาะที่เล็ก เราได้ฝึกโมเดล 4 พันล้านพารามิเตอร์ที่เอาชนะโมเดลแนวหน้าในงาน CRM ที่เฉพาะเจาะจง และมันถูกที่จะใช้งาน — นั่นคืออนาคต — และต้องการโครงสร้างพื้นฐานระบบใหม่ทั้งหมดเพื่อจัดการ

การเปรียบเทียบยังคงอยู่ตลอด: ผู้ผลิตเมนเฟรมทำได้ดี แต่การสร้างความมั่งคั่งที่แท้จริงเกิดขึ้นในระบบ PC เหมือนกับที่จะเกิดขึ้นใน AI

เมื่อมองไปข้างหน้า五ปี คุณคิดว่าผู้ให้บริการโมเดลแนวหน้าจะจับข้อมูลส่วนใหญ่หรือไม่ หรือส่วนใหญ่ของผลกระทบทางเศรษฐกิจจะมาจากการประสานงาน, การปรับให้เหมาะสม, และระบบที่ใช้งานจริงที่สร้างขึ้นรอบๆ โมเดลเหล่านั้น?

ฉันคิดว่าตลาดการอนุมาน AI จะเป็นหนึ่งในตลาดที่ใหญ่ที่สุดในประวัติศาสตร์โลก ซึ่งหมายความว่าห้องปฏิบัติการโมเดลแนวหน้าจะทำได้ดีเยี่ยม และยังมีโอกาสที่ยิ่งใหญ่สำหรับ บริษัทที่สร้างรอบๆ โมเดลเหล่านั้น เมื่อคุณมีตลาดที่มีมูลค่าหลายล้านล้าน การแก้ไขกรณีการใช้งานที่เล็กๆ ในตลาดเหล่านั้นสามารถกลายเป็นบริษัทที่มีมูลค่าหลายพันล้าน

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเรียนรู้เพิ่มเติมได้ที่ NeuroMetric AI หรือสมัครรับ Investing in AI นิวส์เลตเตอร์