Pathway ระดมทุนเพิ่มที่มูลค่ากิจการ 500 ล้านดอลลาร์ เพื่อขยาย AI หลังยุค Transformer

บริษัทวิจัย AI Pathway ได้รับเงินทุนเพิ่มเติมที่ มูลค่ากิจการ 500 ล้านดอลลาร์ ทำให้เงินทุนระยะซีดรวมเป็น 30 ล้านดอลลาร์ ขณะเตรียมขยายโมเดลรุ่นใหม่ที่สร้างบนสถาปัตยกรรมหลังยุค Transformer ของตน

ผู้ร่วมลงทุนประกอบด้วย Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital และ WS Investment Co. หน่วยลงทุนของ Wilson Sonsini พร้อมด้วย Jonathan Frankle หัวหน้านักวิทยาศาสตร์ AI ของ Databricks Pathway ระบุว่าจะใช้เงินทุนใหม่จำนวนมากเพื่อเพิ่มกำลังประมวลผล รวมถึงระบบ NVIDIA GB300

การลงทุนมาพร้อมผลทดสอบใหม่ของ โมเดลให้เหตุผล BDH-CQ ของ Pathway ทำให้การระดมทุนมีหลักฐานทางเทคนิคที่เป็นรูปธรรมกว่าคำมั่นที่พบมากขึ้นเรื่อย ๆ ว่าจะสร้างโมเดลพื้นฐานให้ใหญ่ขึ้นเท่านั้น Pathway ระบุว่าโมเดล 150 ล้านพารามิเตอร์ของตนได้คะแนน 29.5% บนชุดประเมินสาธารณะ ARC-AGI-1 โดยมีต้นทุนอนุมานที่คำนวณได้เพียง 0.0007 ดอลลาร์ต่องาน

เงินทุนใหม่หนุนแนวทางที่ไม่พึ่งเพิ่มขนาดและกำลังประมวลผลอย่างเดียว

การแข่งขันโมเดลแนวหน้าส่วนใหญ่ในปัจจุบันมุ่งไปที่ขนาด ทั้งคลัสเตอร์ใหญ่ขึ้น ข้อมูลฝึกมากขึ้น พารามิเตอร์มากขึ้น และการเพิ่มทรัพยากรประมวลผลขณะทดสอบ Pathway เลือกแนวทางต่างออกไป โดยเห็นว่าข้อจำกัดด้านต้นทุนและหน่วยความจำบางส่วนของอุตสาหกรรมเป็นปัญหาที่สถาปัตยกรรม ไม่ใช่สิ่งที่แก้ได้ไม่รู้จบด้วยการเพิ่มกำลังประมวลผล

แนวคิดนี้อยู่ใจกลางสถาปัตยกรรม BDH หรือ Dragon Hatchling บริษัทอธิบายว่าเป็นการออกแบบหลังยุค Transformer ที่มุ่งรวมการให้เหตุผล ความจำ และการปรับตัวไว้ในโมเดลเอง แทนการพึ่งการขยายหน้าต่างบริบทหรือระบบความจำภายนอกเป็นหลัก

สถาปัตยกรรมอาศัยแนวคิดอย่างสถานะที่คงอยู่ การทำงานแบบเบาบาง ปฏิสัมพันธ์เฉพาะจุด และการปรับอย่างต่อเนื่อง Pathway ระบุว่าได้รับแรงบันดาลใจจากชีววิทยา ไม่ได้พยายามจำลองการทำงานของสมองโดยตรง

เงินทุนใหม่นี้ช่วยเพิ่มทรัพยากรสำหรับทดสอบว่าคุณสมบัติเหล่านั้นยังคงอยู่หรือไม่เมื่อโมเดล BDH ใหญ่ขึ้นอย่างมาก

Pathway ยังแต่งตั้ง Adam Kurzrok เป็นประธานเจ้าหน้าที่ฝ่ายผลิตภัณฑ์ Kurzrok เคยเป็น Group Product Manager ของ Gemini ที่ Google DeepMind และจะนำทิศทางผลิตภัณฑ์ด้านการจัดทำเป็นผลิตภัณฑ์ การประเมิน และการนำโมเดลที่ใช้ BDH ไปใช้งาน

บริษัทยังกำลังจัดตั้งกลุ่มที่ปรึกษาอย่างเป็นทางการ ประกอบด้วย Łukasz Kaiser ผู้ร่วมคิดค้น Transformer, Frankle, Martín Farach-Colton ศาสตราจารย์จาก NYU และนักเศรษฐศาสตร์ Jacques Attali

อะไรทำให้ BDH-CQ แตกต่าง

BDH-CQ เป็นส่วนขยายของสถาปัตยกรรม BDH ที่ออกแบบโดยเน้นการเรียนรู้จากบริบทและการให้เหตุผลแบบวนซ้ำในปริภูมิแฝง

แทนที่จะให้โมเดลแสดงกระบวนการให้เหตุผลระหว่างทางจำนวนมากเป็นข้อความ BDH-CQ คำนวณซ้ำภายในพื้นที่ทำงานแฝงแบบต่อเนื่อง ตัวอย่างที่ป้อนระหว่างอนุมานจะอัปเดตสถานะความจำแบบวนซ้ำ จากนั้นระบบประมวลผลโจทย์ใหม่ภายในก่อนถอดรหัสเป็นคำตอบ พารามิเตอร์ของโมเดลคงที่ตลอดกระบวนการนี้

เรื่องนี้สำคัญเพราะการให้เหตุผลผ่านโทเคนอาจมีต้นทุนสูงเมื่อร่องรอยการให้เหตุผลยาวขึ้น ในแนวทาง chain-of-thought แบบเดิม ระบบสร้างขั้นตอนระหว่างทางตามลำดับ แล้วนำกลับไปป้อนให้ขั้นตอนให้เหตุผลถัดไป

BDH-CQ ออกแบบให้เก็บการคำนวณไว้ในสถานะภายในมากขึ้น แทนการแปลงความคิดระหว่างทางเป็นภาษาอย่างต่อเนื่อง

ความแตกต่างนี้ไม่ได้หมายความว่าการให้เหตุผลด้วยภาษาล้าสมัยโดยธรรมชาติ แต่ Pathway กำลังทดสอบว่างานให้เหตุผลบางประเภททำได้มีประสิทธิภาพขึ้นหรือไม่ โดยไม่ต้องเรียงทุกขั้นคำนวณระหว่างทางเป็นข้อความ

ผล ARC-AGI เน้นประสิทธิภาพต่อต้นทุน

ผลที่โดดเด่นที่สุดซึ่งมาพร้อมการระดมทุนมาจาก ARC-AGI-1 เกณฑ์ทดสอบที่ออกแบบเพื่อวัดว่าระบบ AI อนุมานกฎการแปลงจากตัวอย่างเพียงเล็กน้อย แล้วนำกฎไปใช้กับอินพุตที่ไม่เคยเห็นได้หรือไม่

BDH-CQ ขนาด 150 ล้านพารามิเตอร์ของ Pathway ได้คะแนน pass@2 ที่ 29.5% จากชุดประเมินสาธารณะ ARC-AGI-1 จำนวน 400 งาน

การประเมินทางเทคนิคประมาณว่าแต่ละงานใช้เวลา GPU NVIDIA H200 ราว 0.85 วินาที คิดเป็นต้นทุนที่คำนวณได้ประมาณ 0.00070 ดอลลาร์ต่องาน เมื่อสมมติค่าใช้ H200 ที่สามดอลลาร์ต่อ GPU ต่อชั่วโมง

Pathway ให้เหตุผลว่าผลนี้ทำให้ BDH-CQ ก้าวเลยขอบเขตพาเรโตด้านต้นทุนกับความแม่นยำที่เคยรายงานสำหรับ ARC-AGI-1

ความสำคัญไม่ได้อยู่ที่ระบบ 150 ล้านพารามิเตอร์ได้คะแนน ARC สูงสุดโดยรวม เพราะระบบให้เหตุผลขนาดใหญ่บางตัวทำได้สูงกว่า แต่บริษัทมุ่งที่ประสิทธิภาพการให้เหตุผลที่โมเดลส่งมอบได้ต่อเงินหนึ่งดอลลาร์ที่ใช้อนุมาน

เรื่องนี้อาจสำคัญขึ้นเมื่อองค์กรเปลี่ยนจากการคุยกับแชตบอตเป็นครั้งคราวไปใช้เอเจนต์และระบบอื่นที่อาจดำเนินการให้เหตุผลจำนวนมากอย่างต่อเนื่อง

ผลทางเทคนิคยังเผยจุดที่ BDH-CQ ทำได้ยาก

การประเมินในวงกว้างให้ภาพที่ละเอียดกว่าคะแนนพาดหัว

บน ConceptARC ซึ่งแบ่งโจทย์ให้เหตุผลตามประเภทแนวคิด ผลของ BDH-CQ แตกต่างกันมาก โมเดลทำได้ดีเป็นพิเศษในหลายงานที่เกี่ยวกับการขยายขอบเขตและการแยกพื้นที่ที่เติมแล้วออกจากพื้นที่ว่าง แต่การคัดลอกและการจัดลำดับยากกว่า

การทดลองควบคุมให้รูปแบบคล้ายกัน

การแพร่ขยายขอบเขตและการคัดลอกยังแม่นยำเมื่อขยายการดำเนินการภายในช่วงที่ทดสอบ แต่ประสิทธิภาพลดชัดเจนกว่าเมื่อลำดับที่ต้องจัดเรียงยาวขึ้น ปัญหาความสัมพันธ์แบบซ้อนกันก็ยากขึ้นเมื่อระดับการซ้อนที่ต้องใช้เพิ่มขึ้น

นักวิจัยยังพบว่าการให้ตัวอย่างสาธิตที่มีความซับซ้อนใกล้กับโจทย์เป้าหมายช่วยเพิ่มประสิทธิภาพได้มากในบางกรณี บ่งชี้ว่าข้อจำกัดส่วนหนึ่งเกี่ยวข้องกับระยะที่ระบบขยายความเข้าใจไปเกินตัวอย่างที่ได้รับได้

จุดอ่อนเหล่านี้สำคัญ เพราะ ARC-AGI ยังเป็นเกณฑ์ทดสอบการให้เหตุผลเชิงภาพเฉพาะทาง ประสิทธิภาพต่อต้นทุนที่ดีบน ARC ไม่ได้พิสูจน์ว่าสถาปัตยกรรมเดียวกันเอาชนะโมเดลภาษาทั่วไปในงานใช้งานจริงได้

ผลลัพธ์สนับสนุนแนวคิดที่แคบกว่าแต่มีโอกาสส่งผลสำคัญ นั่นคือความสามารถในการให้เหตุผลซับซ้อนอาจไม่จำเป็นต้องใช้พารามิเตอร์มหาศาลหรือโทเคนที่สร้างเพื่อให้เหตุผลเป็นลำดับยาวเสมอไป

Pathway ยังสร้างโครงสร้างพื้นฐานสำหรับ AI แบบเรียลไทม์

งานของ Pathway เริ่มก่อนการผลักดันโมเดลหลังยุค Transformer ควบคู่กับ BDH บริษัทพัฒนาเฟรมเวิร์กประมวลผลข้อมูลสำหรับข้อมูลสตรีม การวิเคราะห์เรียลไทม์ แอปโมเดลภาษาขนาดใหญ่ และการสร้างคำตอบเสริมด้วยการค้นคืนข้อมูลหรือ RAG

แพลตฟอร์มออกแบบให้ระบบ AI ทำงานกับข้อมูลที่เปลี่ยนตลอดเวลา แทนการพึ่งชุดข้อมูลคงที่หรือดัชนีที่สร้างใหม่เป็นระยะทั้งหมด

พื้นฐานด้านโครงสร้างพื้นฐานนี้สอดคล้องกับทิศทางวิจัยของบริษัท เทคโนโลยีเดิมเน้นให้แอป AI ตามทันข้อมูลภายนอกที่เปลี่ยนไป ขณะที่ BDH สำรวจว่าความจำที่คงอยู่และการปรับตัวจะกลายเป็นคุณสมบัติของสถาปัตยกรรมโมเดลเองได้มากขึ้นหรือไม่

สิ่งนี้อาจสำคัญต่อเอเจนต์ AI และระบบที่ทำงานระยะยาว ซึ่งต้องคงสถานะไว้พร้อมตอบสนองข้อมูลใหม่ตลอดช่วงเวลาที่ยาวนาน

ขั้นต่อไปของ Pathway

Pathway ตั้งใจใช้เงินทุนใหม่เพิ่มขีดความสามารถของโมเดลและฝึกระบบที่ใช้ BDH ให้มีความสามารถกว้างขึ้น

แผนงานรวมการให้เหตุผลทางคณิตศาสตร์ ARC-AGI-2 และ ARC-AGI-3 ตลอดจนพัฒนาโมเดลภาษาขนาดใหญ่ที่รวมการให้เหตุผลในปริภูมิแฝง

บริษัทระบุว่าการทดลองพรีเทรนระยะแรกในขนาดตั้งแต่ หนึ่งพันล้านถึงหกแสนล้านพารามิเตอร์ แสดงพฤติกรรมการเพิ่มประสิทธิภาพตามขนาดคล้าย Transformer ขณะยังคงคุณลักษณะที่เกี่ยวข้องกับแนวทางให้เหตุผลในปริภูมิแฝงของ BDH

นั่นยังเป็นสัญญาณเบื้องต้น ไม่ใช่ข้อพิสูจน์ว่าข้อได้เปรียบของสถาปัตยกรรมจะคงอยู่ในโมเดลขนาดใหญ่ที่ใช้งานทั่วไป

เป้าหมายท้ายสุดของ Pathway คือด้านต่าง ๆ เช่น บริการทางการเงิน สุขภาพ และเทคโนโลยี ซึ่งความจำที่คงอยู่ ข้อมูลที่เปลี่ยน และต้นทุนอนุมานอาจสำคัญเป็นพิเศษเมื่อระบบ AI ทำเวิร์กโฟลว์ที่ยาวนานขึ้น

ในตอนนี้ มูลค่ากิจการ 500 ล้านดอลลาร์สะท้อนการลงทุนครั้งสำคัญในทางเลือกต่อกลยุทธ์เพิ่มขนาดที่ครองอุตสาหกรรม การทดสอบที่สำคัญกว่าจะมาถึงเมื่อ Pathway นำ BDH ไปไกลกว่าเกณฑ์ทดสอบให้เหตุผลที่มีขอบเขตจำกัด และแสดงให้เห็นว่าข้อได้เปรียบทางสถาปัตยกรรมยังคงอยู่ในงานภาษา คณิตศาสตร์ เอเจนต์ และแอปพลิเคชันจริงหรือไม่