Deep Cogito huy động 43 triệu USD vòng Series A để xây dựng động cơ hậu‑đào tạo cho AI tự cải thiện

Deep Cogito đã huy động 43 triệu USD vòng Series A khi phòng thí nghiệm AI ở San Francisco đang tìm cách mở rộng một phần ngày càng quan trọng của ngăn xếp trí tuệ nhân tạo: những gì xảy ra sau khi một mô hình nền tảng đã được tiền‑đào tạo.

Vòng gọi vốn do TQ Ventures dẫn đầu, với sự tham gia của Benchmark, Nexus Venture Partners, Atreides Management, South Park Commons, và công ty bảo mật đám mây Zscaler, vừa là khách hàng vừa là nhà đầu tư chiến lược. Khoản tài trợ này đưa tổng vốn huy động của Deep Cogito lên hơn 56 triệu USD.

Được thành lập bởi Drishan Arora và Dhruv Malrana, những người trước đây đã làm việc trên các sản phẩm Tìm kiếm AI của Google bao gồm AI Mode và AI Overviews, Deep Cogito đặt cược rằng những bước tiến tương lai trong trí tuệ AI sẽ ngày càng đến từ các thuật toán học tốt hơn và giai đoạn hậu‑đào tạo, chứ không chỉ là mở rộng quy mô các lần tiền‑đào tạo.

Điều này đặt công ty vào một vị trí khác trong cuộc đua AI so với các phòng thí nghiệm tập trung chủ yếu vào việc xây dựng các mô hình nền tảng ngày càng lớn từ đầu.

Tại sao Deep Cogito đặt cược vào hậu‑đào tạo

Tiền‑đào tạo chịu trách nhiệm cung cấp cho mô hình ngôn ngữ lớn nền tảng kiến thức rộng lớn bằng cách tiếp xúc với lượng dữ liệu khổng lồ. Hậu‑đào tạo sau đó định hình cách mô hình hành xử, suy luận, tuân theo hướng dẫn, sử dụng công cụ và thực hiện các nhiệm vụ cụ thể.

Lý thuyết của Deep Cogito là giai đoạn thứ hai này còn rất nhiều tiềm năng để phát triển.

Nghiên cứu của công ty tập trung vào học tăng cường quy mô lớn và các phương pháp cho phép mô hình dần dần cải thiện khả năng của chính mình. Thay vì xem một mô hình đã tiền‑đào tạo như một sản phẩm gần như hoàn thiện chỉ cần một số điều chỉnh bổ sung, Deep Cogito coi nó là điểm khởi đầu, nơi các khả năng nền tảng vẫn có thể được phát triển tiếp.

Arora tóm tắt sự khác biệt khi công bố vòng gọi vốn: “Tiền‑đào tạo cung cấp cho mô hình một lượng kiến thức và khả năng khổng lồ. Hậu‑đào tạo quyết định mô hình đó thực sự có thể trở thành gì.”

Điều này đặc biệt liên quan khi chi phí kinh tế của việc chỉ mở rộng tiền‑đào tạo trở nên ngày càng cao. Đào tạo các mô hình nền tảng tiên tiến đòi hỏi bộ dữ liệu khổng lồ, cụm GPU, hạ tầng năng lượng và vốn đầu tư. Một hệ thống hậu‑đào tạo đủ hiệu quả có thể khai thác đáng kể trí thông minh từ mô hình hiện có mà không cần lặp lại toàn bộ quá trình.

Biến suy luận tốn kém thành trực giác tốt hơn

Ở trung tâm của nghiên cứu Deep Cogito là Iterated Distillation and Amplification (IDA), một phương pháp mà công ty công khai giới thiệu cùng với dòng mô hình Cogito đầu tiên.

Khái niệm này tương đối đơn giản dù việc triển khai ở quy mô lớn không hề dễ dàng.

Trong giai đoạn khuếch đại, mô hình được cung cấp thêm tính toán và các kỹ thuật cho phép nó đưa ra câu trả lời mạnh mẽ hơn so với kết quả ngay lập tức. Cải tiến thu được sau đó được tinh luyện trở lại vào các tham số của mô hình. Mô hình đã được nâng cấp trở thành điểm khởi đầu cho một vòng lặp tiếp theo.

Thay vì yêu cầu mô hình thực hiện một quá trình suy luận ngày càng dài mỗi khi gặp câu hỏi khó, mục tiêu là dần dần nội hoá một phần những gì nó đã học được trong các bước suy luận tốn kém tính toán hơn.

Deep Cogito mô tả điều này như việc cải thiện “trực giác” của mô hình.

Sự khác biệt này có thể trở nên quan trọng đối với kinh tế suy luận. Các chuỗi suy luận dài có thể nâng cao độ chính xác, nhưng chúng cũng làm tăng tiêu thụ token, độ trễ và chi phí. Một mô hình đã nội hoá các tuyến suy luận tốt hơn có thể đạt được kết luận tương tự với ít tính toán thời gian suy luận hơn.

Các mô hình Cogito cung cấp thử nghiệm công khai cho phương pháp này

Deep Cogito đã sử dụng dòng mô hình Cogito có trọng số mở của mình như một bãi thử nghiệm cho các kỹ thuật này.

Các bản phát hành ban đầu của nó có quy mô từ 3 tỷ đến 70 tỷ tham số, trước khi công ty mở rộng dòng sản phẩm với các mô hình 70B, 109B mixture-of-experts (MoE), 405B và 671B MoE.

Với Cogito v2, công ty báo cáo rằng mô hình 671B của họ tạo ra các chuỗi suy luận ngắn hơn khoảng 60 % so với DeepSeek R1 0528 trong khi vẫn duy trì tính cạnh tranh trên một số đánh giá. Deep Cogito cũng cho biết họ đã chi tổng cộng dưới 3,5 triệu USD để đào tạo tám mô hình Cogito có quy mô từ 3B đến 671B, mặc dù hiệu suất chuẩn và so sánh chi phí đào tạo không nhất thiết chuyển đổi trực tiếp thành kinh tế sản xuất.

Công ty tiếp tục tinh chỉnh hệ thống với Cogito v2.1 671B, sử dụng mô hình nền tảng DeepSeek có giấy phép mở mà Deep Cogito sau đó thực hiện hậu‑đào tạo nội bộ. bản phát hành nghiên cứu v2.1 cho biết mô hình sử dụng giám sát quy trình trong quá trình suy luận, với việc đào tạo được thiết kế để cải thiện khả năng của mô hình trong việc xác định các lộ trình suy luận hiệu quả thay vì chỉ khuyến khích nó suy luận lâu hơn.

Tiến trình này quan trọng đối với lập luận rộng hơn của Deep Cogito. Công ty không cần chứng minh mình có thể tiền‑đào tạo một mô hình nền tảng tốt hơn các phòng thí nghiệm AI lớn nhất. Điều cần chứng minh là quy trình hậu‑đào tạo của họ có thể liên tục biến các mô hình hiện có mạnh mẽ thành những mô hình có khả năng cao hơn.

Zscaler chỉ ra cơ hội doanh nghiệp

Mặt khác của doanh nghiệp là đưa các kỹ thuật hậu‑đào tạo này vượt ra ngoài các mô hình Cogito công khai và áp dụng chúng vào AI doanh nghiệp.

Thay vì chỉ dựa vào một mô hình tiên tiến đa năng, các công ty có thể đào tạo các mô hình chuyên biệt dựa trên dữ liệu sở hữu, quy trình làm việc, tiêu chí đánh giá và kết quả mong muốn của mình.

Điều này có thể đi sâu hơn nhiều so với việc tạo nội dung hỗ trợ truy xuất (RAG), thường cho phép mô hình chung truy cập thông tin công ty bên ngoài trong thời gian suy luận. Cách tiếp cận của Deep Cogito nhằm thay đổi chính mô hình bằng cách đào tạo các khả năng chuyên ngành vào trọng số của nó.

Zscaler là một ví dụ sớm. Công ty an ninh mạng này bắt đầu là khách hàng của Deep Cogito trước khi tham gia vòng Series A. Hai công ty cũng đã hợp tác trong lĩnh vực trí tuệ bảo mật chuyên biệt, với Deep Cogito cho rằng các ứng dụng bảo mật có thể hưởng lợi từ các mô hình đã được hậu‑đào tạo trên dữ liệu và kết quả bảo mật riêng của tổ chức.

Đề xuất doanh nghiệp rộng hơn liên quan đến cả chuyên môn hoá và kiểm soát. Báo cáo của Wall Street Journal về khoản tài trợ lưu ý rằng Deep Cogito đang định vị công nghệ của mình quanh các mô hình mà doanh nghiệp có thể đào tạo và sở hữu bằng dữ liệu sở hữu, thay vì phụ thuộc hoàn toàn vào các hệ thống tiên tiến đóng.

Số tiền 43 triệu USD trong vòng Series A sẽ được dùng để gì

Deep Cogito dự định sử dụng vòng Series A để mở rộng tổ chức nghiên cứu và kỹ thuật, tăng cường hạ tầng tính toán cho việc đào tạo quy mô lớn, phát triển các mô hình Cogito tương lai, và hợp tác với nhiều doanh nghiệp hơn đang tìm kiếm các mô hình chuyên biệt.

Hạ tầng có khả năng sẽ là phần quan trọng đặc biệt trong việc mở rộng này. Tài liệu tuyển dụng của Deep Cogito mô tả các nhà nghiên cứu làm việc trên các thuật toán học tăng cường mới, các đường ống dữ liệu, đánh giá và hạ tầng phân tán trong khi đào tạo các mô hình vượt quá 400 tỷ tham số.

Do đó, khoản tài trợ mang lại cho công ty khả năng đáng kể hơn để kiểm tra xem những cải tiến được chứng minh qua các mô hình ban đầu có tiếp tục khi áp dụng nhiều tính toán hơn và thực hiện nhiều vòng lặp hơn của quy trình hậu‑đào tạo hay không.

Ý nghĩa lớn hơn: AI học từ chính quá trình suy luận của mình

Ý nghĩa lớn hơn của công việc Deep Cogito là khả năng phát triển AI có thể chuyển từ các hệ thống được đào tạo chủ yếu trên dữ liệu do con người tạo ra sang các mô hình ngày càng tự tạo, đánh giá và nội hoá những cải tiến của chính mình.

Các phương pháp như Iterated Distillation and Amplification nhằm biến suy luận tốn kém thành khả năng bền vững. Một mô hình có thể sử dụng tính toán bổ sung để giải quyết các vấn đề khó hơn, sau đó tinh luyện những lợi ích đó trở lại vào trọng số, tạo ra một điểm khởi đầu mạnh mẽ hơn cho chu kỳ đào tạo tiếp theo.

Theo thời gian, điều này có thể tạo ra một vòng lặp phát triển gồm suy luận, đánh giá, học hỏi và cải tiến.

Vẫn còn một khoảng cách lớn giữa hậu‑đào tạo lặp lại và tự cải thiện đệ quy thực sự. Các mô hình cần các đánh giá đáng tin cậy, mục tiêu được thiết kế cẩn thận và các biện pháp bảo vệ tránh việc củng cố lỗi. Tuy nhiên, ngay cả các phiên bản hạn chế của phương pháp này cũng có thể giảm sự phụ thuộc vào các vòng tiền‑đào tạo ngày càng lớn và làm cho AI chuyên biệt được đào tạo quanh dữ liệu doanh nghiệp sở hữu trở nên thực tiễn hơn.

Nếu xu hướng này tiếp tục, lợi thế cạnh tranh trong AI có thể sẽ không còn phụ thuộc duy nhất vào việc ai sở hữu các cụm tính toán lớn nhất, mà sẽ phụ thuộc vào việc mô hình nào học tốt nhất từ kinh nghiệm của chính mình.