Deep Cogito ระดมทุน Series A มูลค่า 43 ล้านดอลลาร์เพื่อสร้างเครื่องยนต์หลังการฝึกสำหรับ AI ที่เรียนรู้ด้วยตนเอง

Deep Cogito ได้ระดมทุน Series A มูลค่า 43 ล้านดอลลาร์ขณะที่ห้องทดลอง AI ในซานฟรานซิสโกกำลังขยายส่วนที่สำคัญยิ่งขึ้นของสแตกปัญญาประดิษฐ์: สิ่งที่เกิดขึ้นหลังจากโมเดลพื้นฐานได้รับการฝึกล่วงหน้าแล้ว

การระดมทุนนี้นำโดย TQ Ventures โดยมีการเข้าร่วมจาก Benchmark, Nexus Venture Partners, Atreides Management, South Park Commons และบริษัทความปลอดภัยคลาวด์ Zscaler ซึ่งเป็นทั้งลูกค้าและนักลงทุนเชิงกลยุทธ์ การระดมทุนนี้ทำให้เงินทุนรวมของ Deep Cogito เกินกว่า 56 ล้านดอลลาร์

ก่อตั้งโดย Drishan Arora และ Dhruv Malrana ผู้เคยทำงานในผลิตภัณฑ์ AI Search ของ Google รวมถึง AI Mode และ AI Overviews, Deep Cogito เชื่อว่าการพัฒนาปัญญาประดิษฐ์ในอนาคตจะมาจากอัลกอริทึมการเรียนรู้ที่ดียิ่งขึ้นและกระบวนการหลังการฝึก มากกว่าการทำการฝึกล่วงหน้าให้ใหญ่ขึ้นเพียงอย่างเดียว

สิ่งนี้ทำให้บริษัทอยู่ในตำแหน่งที่แตกต่างของการแข่งขัน AI เมื่อเทียบกับห้องทดลองที่มุ่งเน้นการสร้างโมเดลพื้นฐานที่ใหญ่ขึ้นเรื่อย ๆ ตั้งแต่เริ่มต้น

ทำไม Deep Cogito ถึงเดิมพันกับการฝึกหลังการฝึก

การฝึกล่วงหน้า เป็นกระบวนการที่ทำให้โมเดลภาษาใหญ่ได้รับฐานความรู้กว้างโดยการเปิดให้เข้าถึงข้อมูลจำนวนมหาศาล การฝึกหลังการฝึกต่อจากนั้นจะกำหนดว่ามodel นั้นทำงานอย่างไร เห็นเหตุผล ปฏิบัติตามคำสั่ง ใช้เครื่องมือ และทำงานเฉพาะอย่างใดอย่างหนึ่ง

ทฤษฎีของ Deep Cogito คือขั้นตอนที่สองนี้ยังมีพื้นที่ให้พัฒนาอย่างมาก

การวิจัยของบริษัทมุ่งเน้นไปที่การเรียนรู้เสริมแรงในระดับใหญ่และวิธีการที่ทำให้โมเดลสามารถพัฒนาความสามารถของตนเองอย่างต่อเนื่อง แทนที่จะมองว่าโมเดลที่ได้รับการฝึกล่วงหน้าเป็นผลิตภัณฑ์ที่เกือบสมบูรณ์และต้องการการปรับแนวเพิ่มเติม Deep Cogito มองว่าเป็นจุดเริ่มต้นที่ความสามารถพื้นฐานยังคงสามารถพัฒนาได้ต่อไป

Arora สรุปความแตกต่างนี้เมื่อประกาศรอบระดมทุน: “การฝึกล่วงหน้ามอบความรู้และความสามารถมหาศาลให้กับโมเดล ส่วนการฝึกหลังการฝึกกำหนดว่าโมเดลนั้นจะกลายเป็นอะไรได้จริง”

เรื่องนี้มีความสำคัญโดยเฉพาะเมื่อเศรษฐศาสตร์ของการขยายการฝึกล่วงหน้าให้ใหญ่ขึ้นกลายเป็นภาระที่หนักขึ้น การฝึกโมเดลพื้นฐานระดับแนวหน้าต้องใช้ชุดข้อมูลมหาศาล, คลัสเตอร์ GPU, โครงสร้างพื้นฐานไฟฟ้า, และเงินทุน ระบบการฝึกหลังการฝึกที่มีประสิทธิภาพอาจสกัดความฉลาดเพิ่มเติมจากโมเดลที่มีอยู่โดยไม่ต้องทำกระบวนการทั้งหมดซ้ำอีก

เปลี่ยนการให้เหตุผลที่มีค่าใช้จ่ายสูงให้เป็นสัญชาตญาณที่ดียิ่งขึ้น

ศูนย์กลางของการวิจัย Deep Cogito คือ Iterated Distillation and Amplification (IDA) ซึ่งเป็นแนวทางที่บริษัทเปิดเผยต่อสาธารณะพร้อมกับ ตระกูลโมเดล Cogito รุ่นแรก

แนวคิดนี้ค่อนข้างตรงไปตรงมาแม้ว่าการนำไปใช้ในระดับใหญ่จะไม่ง่าย

ในขั้นตอนการขยาย (amplification) โมเดลจะได้รับการคำนวณเพิ่มเติมและเทคนิคที่ทำให้มันสามารถให้คำตอบที่แข็งแกร่งกว่าที่อาจสร้างได้ทันที การปรับปรุงที่ได้จะถูกสกัดกลับเข้าสู่พารามิเตอร์ของโมเดล โมเดลที่อัปเกรดแล้วจะกลายเป็นจุดเริ่มต้นของการทำซ้ำครั้งต่อไป

แทนที่จะต้องให้โมเดลทำกระบวนการให้เหตุผลที่ยาวขึ้นเรื่อย ๆ ทุกครั้งที่เจอคำถามยาก เป้าหมายคือการทำให้โมเดลค่อย ๆ ฝังความรู้ที่ได้จากขั้นตอนให้เหตุผลที่ใช้คอมพิวเตอร์มากเหล่านั้นไว้ในตัวเอง

Deep Cogito อธิบายสิ่งนี้ว่าเป็นการพัฒนาความ “สัญชาตญาณ” ของโมเดล

ความแตกต่างนี้อาจมีความสำคัญต่อเศรษฐศาสตร์ของการสรุปผล (inference) โซ่การให้เหตุผลที่ยาวอาจเพิ่มความแม่นยำ แต่ก็ทำให้การใช้โทเคน, ความหน่วง, และต้นทุนเพิ่มขึ้น โมเดลที่ได้ฝังเส้นทางการให้เหตุผลที่ดีกว่าอาจสามารถสรุปผลได้เช่นเดียวกันโดยใช้การคำนวณในช่วง inference น้อยลง

โมเดล Cogito ให้การทดสอบสาธารณะของแนวทางนี้

Deep Cogito ใช้ตระกูลโมเดลแบบเปิดน้ำหนักของ Cogito เป็นสนามทดสอบเทคนิคเหล่านี้

รุ่นแรกของมันมีขนาดตั้งแต่ 3 พันล้านถึง 70 พันล้านพารามิเตอร์ ก่อนที่บริษัทจะขยายตระกูลด้วยโมเดล 70B, 109B mixture-of-experts (MoE), 405B, และ 671B MoE

ด้วย Cogito v2 บริษัทรายงานว่าโมเดล 671B ของตนสร้างโซ่การให้เหตุผลสั้นลงประมาณ 60% เมื่อเทียบกับ DeepSeek R1 0528 ในขณะที่ยังคงมีการแข่งขันในหลายการประเมินผล Deep Cogito ยังระบุว่ามีค่าใช้จ่ายรวมน้อยกว่า 3.5 ล้านดอลลาร์ในการฝึกโมเดล Cogito ทั้งหมดแปดรุ่นตั้งแต่ 3B ถึง 671B แม้ว่าประสิทธิภาพตามเกณฑ์มาตรฐานและการเปรียบเทียบต้นทุนการฝึกอาจไม่แปลตรงไปตรงมาเป็นเศรษฐศาสตร์การผลิต

บริษัทดำเนินการปรับปรุงระบบต่อด้วย Cogito v2.1 671B ซึ่งใช้โมเดลฐาน DeepSeek แบบเปิดไลเซนส์ที่ Deep Cogito ทำการฝึกหลังในบริษัทเอง การปล่อยงานวิจัย v2.1 ระบุว่าโมเดลใช้การกำกับกระบวนการระหว่างการให้เหตุผล โดยการฝึกถูกออกแบบเพื่อเพิ่มความสามารถของโมเดลในการระบุเส้นทางการให้เหตุผลที่ผลิตผลได้ดี แทนที่จะเพียงกระตุ้นให้ให้เหตุผลนานขึ้น

ความก้าวหน้านี้สำคัญต่อข้อโต้แย้งที่กว้างขึ้นของ Deep Cogito บริษัทไม่จำเป็นต้องพิสูจน์ว่ามันสามารถฝึกโมเดลพื้นฐานที่ดีกว่าห้องทดลอง AI ที่ใหญ่ที่สุดได้ แต่ต้องแสดงให้เห็นว่ากระบวนการฝึกหลังของมันสามารถเปลี่ยนโมเดลที่แข็งแกร่งอยู่แล้วให้เป็นโมเดลที่มีความสามารถมากยิ่งขึ้นอย่างสม่ำเสมอ

Zscaler ชี้ให้เห็นโอกาสในระดับองค์กร

ด้านอื่นของธุรกิจคือการนำเทคนิคการฝึกหลังเหล่านี้ไปใช้เกินโมเดล Cogito ที่เปิดเผยต่อสาธารณะและประยุกต์ใช้กับ AI ระดับองค์กร

แทนที่จะพึ่งพาโมเดลแนวหน้าทั่วไปอย่างเดียว บริษัทต่าง ๆ อาจฝึกโมเดลเฉพาะทางโดยอิงข้อมูลที่เป็นกรรมสิทธิ์ของตน กระบวนการทำงาน เกณฑ์การประเมิน และผลลัพธ์ที่ต้องการ

ซึ่งสามารถทำได้ลึกกว่าการสร้างแบบเสริมการดึงข้อมูล (retrieval-augmented generation หรือ RAG) ที่โดยปกติให้โมเดลทั่วไปเข้าถึงข้อมูลบริษัทภายนอกในช่วง inference วิธีการของ Deep Cogito มุ่งเปลี่ยนแปลงโมเดลเองโดยฝึกความสามารถเฉพาะโดเมนลงในน้ำหนักของโมเดล

Zscaler เป็นตัวอย่างแรกที่แสดงให้เห็น บริษัทความปลอดภัยไซเบอร์เริ่มต้นเป็นลูกค้าของ Deep Cogito ก่อนเข้าร่วมรอบ Series A ทั้งสองบริษัทยังร่วมงานกันในด้านข่าวสารความปลอดภัยเฉพาะทาง โดย Deep Cogito ให้เหตุผลว่าการประยุกต์ใช้ด้านความปลอดภัยสามารถได้รับประโยชน์จากโมเดลที่ได้รับการฝึกหลังบนข้อมูลและผลลัพธ์ความปลอดภัยขององค์กรเอง

ข้อเสนอระดับองค์กรที่กว้างขึ้นเกี่ยวกับการทำให้เฉพาะทางและการควบคุม ทั้งนี้ การรายงานของ Wall Street Journal เกี่ยวกับการระดมทุน ระบุว่า Deep Cogito กำลังวางตำแหน่งเทคโนโลยีของตนรอบโมเดลที่ธุรกิจสามารถฝึกและเป็นเจ้าของโดยใช้ข้อมูลที่เป็นกรรมสิทธิ์ของตนเอง แทนที่จะพึ่งพาระบบแนวหน้าที่ปิดอยู่ทั้งหมด

เงิน 43 ล้านดอลลาร์จากรอบ Series A จะใช้เพื่ออะไร

Deep Cogito มีแผนจะใช้เงินจากรอบ Series A เพื่อขยายองค์กรวิจัยและวิศวกรรม เพิ่มโครงสร้างพื้นฐานคอมพิวเตอร์สำหรับการฝึกขนาดใหญ่ พัฒนารุ่น Cogito ในอนาคต และทำงานกับองค์กรเพิ่มเติมที่ต้องการโมเดลเฉพาะทาง

โครงสร้างพื้นฐานคาดว่าจะเป็นส่วนสำคัญโดยเฉพาะของการขยายนี้ เอกสารรับสมัครของ Deep Cogito บรรยายว่าผู้วิจัยทำงานกับอัลกอริทึมการเรียนรู้เสริมแรงใหม่ ๆ, สายงานข้อมูล, การประเมินผล, และโครงสร้างพื้นฐานแบบกระจายขณะฝึกโมเดลที่มีพารามิเตอร์เกิน 400 พันล้าน

ดังนั้นการระดมทุนทำให้บริษัทมีความสามารถมากขึ้นอย่างมีนัยสำคัญในการทดสอบว่าการปรับปรุงที่แสดงผ่านโมเดลเริ่มแรกจะยังคงต่อเนื่องเมื่อเพิ่มการคำนวณและทำซ้ำกระบวนการฝึกหลังหลายครั้ง

ผลกระทบที่ใหญ่กว่า: AI ที่เรียนรู้จากการให้เหตุผลของตนเอง

ความสำคัญที่ใหญ่กว่าของงาน Deep Cogito คือความเป็นไปได้ที่การพัฒนา AI จะเปลี่ยนจากระบบที่ฝึกส่วนใหญ่ด้วยข้อมูลที่มนุษย์สร้าง ไปสู่โมเดลที่ค่อย ๆ สร้าง, ประเมิน, และทำให้การปรับปรุงของตนเองเป็นส่วนหนึ่งของตัวเอง

แนวทางเช่น Iterated Distillation and Amplification มีเป้าหมายที่จะเปลี่ยนการให้เหตุผลที่มีค่าใช้จ่ายสูงให้เป็นความสามารถที่คงอยู่ โมเดลสามารถใช้การคำนวณเพิ่มเติมเพื่อแก้ปัญหาที่ยากขึ้น แล้วสกัดผลลัพธ์นั้นกลับเข้าสู่พารามิเตอร์ของตนเอง สร้างจุดเริ่มต้นที่แข็งแกร่งยิ่งขึ้นสำหรับรอบการฝึกครั้งต่อไป

เมื่อเวลาผ่านไป สิ่งนี้อาจสร้างวงจรการพัฒนาที่วนลูประหว่างการให้เหตุผล, การประเมิน, การเรียนรู้, และการปรับปรุง

ยังคงมีช่องว่างสำคัญระหว่างการฝึกหลังแบบวนซ้ำและการพัฒนาตนเองแบบเรียกซ้ำอย่างแท้จริง โมเดลต้องการการประเมินที่เชื่อถือได้, วัตถุประสงค์ที่ออกแบบอย่างระมัดระวัง, และมาตรการป้องกันการเสริมความผิดพลาด อย่างไรก็ตาม แม้แต่เวอร์ชันที่จำกัดของแนวทางนี้ก็อาจลดการพึ่งพาการฝึกล่วงหน้าที่ใหญ่ขึ้นเรื่อย ๆ และทำให้ AI เฉพาะทางที่ฝึกโดยใช้ข้อมูลที่เป็นกรรมสิทธิ์ขององค์กรเป็นเรื่องที่ทำได้จริงมากขึ้น

หากแนวโน้มนี้ดำเนินต่อไป ความได้เปรียบในการแข่งขันของ AI อาจพึ่งพาไม่ใช่แค่ผู้ที่มีคลัสเตอร์คอมพิวเตอร์ใหญ่ที่สุดเท่านั้น แต่ขึ้นอยู่กับว่าโมเดลของใครสามารถเรียนรู้จากประสบการณ์ของตนเองได้ดีที่สุด