Pathway筹集新资金，估值达5亿美元，以扩展后Transformer人工智能

Công ty nghiên cứu trí tuệ nhân tạo Pathway đã bảo đảm được nguồn vốn bổ sung với mức định giá 500 triệu đô la, đưa tổng số vốn hạt giống lên 30 triệu đô la khi công ty này chuẩn bị mở rộng một thế hệ mô hình mới dựa trên kiến trúc hậu Transformer.

Vòng tài trợ này bao gồm sự tham gia của Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital và WS Investment Co., cánh tay đầu tư của Wilson Sonsini, cùng với Nhà khoa học Trí tuệ Nhân tạo trưởng của Databricks Jonathan Frankle. Pathway cho biết phần lớn số vốn mới sẽ được sử dụng để mở rộng khả năng tính toán, bao gồm cả hệ thống NVIDIA GB300.

Đầu tư này đến cùng với những kết quả mới cho mô hình推理 BDH-CQ của Pathway, mang lại một bối cảnh kỹ thuật cụ thể hơn cho nguồn vốn so với lời hứa thông thường về việc xây dựng các mô hình nền tảng lớn hơn. Pathway cho biết mô hình 150 triệu tham số của họ đã đạt được 29,5% trên tập dữ liệu đánh giá công khai ARC-AGI-1 với chi phí suy luận tính toán khoảng 0,0007 đô la mỗi nhiệm vụ.

Funding Arrives as Pathway Bets Against Brute-Force Scaling

Phần lớn cuộc đua mô hình tiền phong hiện nay tập trung vào quy mô: các cụm lớn hơn, nhiều dữ liệu đào tạo hơn, nhiều tham số hơn và ngày càng tăng số lượng tính toán tại thời điểm thử nghiệm. Pathway đang theo đuổi một cách tiếp cận khác, cho rằng một số hạn chế về chi phí và bộ nhớ của ngành công nghiệp là kiến trúc chứ không phải là vấn đề có thể được giải quyết vô thời hạn bằng cách thêm nhiều tính toán hơn.

Giả thuyết đó nằm ở trung tâm của kiến trúc BDH, hoặc Dragon Hatchling, của công ty. Pathway mô tả BDH như một thiết kế hậu Transformer nhằm kết hợp lý luận, bộ nhớ và thích nghi trong chính mô hình thay vì dựa chủ yếu vào cửa sổ ngữ cảnh mở rộng hoặc hệ thống bộ nhớ bên ngoài.

Kiến trúc này dựa trên các ý tưởng bao gồm trạng thái bền vững, hoạt động thưa thớt, tương tác cục bộ và điều chỉnh liên tục. Pathway mô tả thiết kế này là lấy cảm hứng từ sinh học chứ không phải là một nỗ lực để trực tiếp tái tạo cách não bộ hoạt động.

Vòng tài trợ mới mang lại cho công ty thêm nguồn lực để kiểm tra xem những đặc điểm đó có tiếp tục tồn tại khi các mô hình BDH trở nên lớn hơn đáng kể.

Pathway cũng bổ nhiệm Adam Kurzrok làm Giám đốc sản phẩm trưởng. Kurzrok trước đây từng là Quản lý sản phẩm nhóm cho Gemini tại Google DeepMind và sẽ lãnh đạo định hướng sản phẩm xung quanh việc đóng gói, đánh giá và triển khai các mô hình dựa trên BDH.

Công ty cũng đang thành lập một nhóm tư vấn bao gồm Łukasz Kaiser, người đồng sáng lập Transformer, Frankle, Giáo sư Martín Farach-Colton của NYU và nhà kinh tế Jacques Attali.

What Makes BDH-CQ Different

BDH-CQ là một phần mở rộng của kiến trúc BDH rộng lớn hơn, được thiết kế xung quanh học tập ngữ cảnh và lý luận tiềm ẩn lặp lại.

Thay vì yêu cầu mô hình thể hiện phần lớn lý luận trung gian dưới dạng văn bản được tạo, BDH-CQ thực hiện tính toán lặp lại bên trong không gian làm việc tiềm ẩn liên tục. Các ví dụ được cung cấp trong quá trình suy luận cập nhật trạng thái bộ nhớ lặp lại, sau đó hệ thống làm việc thông qua vấn đề mới bên trong trước khi giải mã câu trả lời. Các tham số của mô hình vẫn cố định trong quá trình này.

Điều này quan trọng vì lý luận dựa trên token có thể trở nên tốn kém khi các dấu vết lý luận dài ra. Trong các phương pháp suy nghĩ chuỗi thông thường, các bước trung gian được tạo ra tuần tự và sau đó được đưa trở lại vào các giai đoạn sau của quá trình lý luận.

BDH-CQ được thiết kế để giữ lại nhiều tính toán đó trong trạng thái nội bộ thay vì liên tục dịch lý luận trung gian thành ngôn ngữ.

Sự khác biệt này không có nghĩa là lý luận dựa trên ngôn ngữ vốn đã lỗi thời. Thay vào đó, Pathway đang kiểm tra xem một số khối lượng công việc lý luận có thể được xử lý hiệu quả hơn mà không cần phải có mọi bước tính toán trung gian được nối tiếp thành văn bản.

ARC-AGI Results Put Cost Efficiency at the Center

Kết quả đáng chú ý nhất đi kèm với vòng tài trợ này đến từ ARC-AGI-1, một điểm chuẩn được thiết kế để kiểm tra xem các hệ thống trí tuệ nhân tạo có thể suy luận các chuyển đổi từ một số ví dụ nhỏ và áp dụng các quy tắc đó cho các đầu vào chưa từng thấy.

Mô hình BDH-CQ 150 triệu tham số của Pathway đã đạt được 29,5% trên tập dữ liệu đánh giá công khai ARC-AGI-1.

Đánh giá kỹ thuật ước tính rằng mỗi nhiệm vụ yêu cầu khoảng 0,85 giây thời gian GPU H200, tương ứng với chi phí tính toán khoảng 0,0007 đô la mỗi nhiệm vụ khi giả định chi phí H200 là 3 đô la mỗi giờ GPU.

Pathway cho rằng điều này đặt BDH-CQ vượt ra ngoài ranh giới Pareto về chi phí và độ chính xác trước đây được báo cáo cho ARC-AGI-1.

Tầm quan trọng không nằm ở chỗ hệ thống 150 triệu tham số hiện có điểm ARC cao nhất. Một số hệ thống lý luận lớn hơn có điểm số cao hơn. Thay vào đó, Pathway tập trung vào hiệu suất lý luận mà mô hình có thể cung cấp cho mỗi đô la chi tiêu suy luận.

Điều này có thể trở nên quan trọng hơn khi các doanh nghiệp chuyển trí tuệ nhân tạo từ các tương tác trò chuyện偶尔 sang các tác nhân và hệ thống khác có thể thực hiện số lượng lớn các hoạt động lý luận liên tục.

The Technical Results Also Show Where BDH-CQ Struggles

Đánh giá rộng hơn này trình bày một bức tranh tinh tế hơn so với điểm chuẩn tiêu đề.

Trên ConceptARC, nơi tách các vấn đề lý luận thành các loại khái niệm khác nhau, hiệu suất của BDH-CQ đã thay đổi đáng kể. Nó hoạt động đặc biệt tốt trên một số nhiệm vụ liên quan đến mở rộng ranh giới và phân biệt các khu vực được lấp đầy so với các khu vực không được lấp đầy, trong khi các lĩnh vực liên quan đến sao chép và sắp xếp lại chứng tỏ khó khăn hơn.

Thử nghiệm được kiểm soát đã tạo ra một mẫu tương tự.

Sự truyền bá ranh giới và sao chép vẫn chính xác khi các hoạt động này được mở rộng trong phạm vi được thử nghiệm. Hiệu suất giảm đáng kể khi các trình tự sắp xếp trở nên dài hơn. Các vấn đề quan hệ lồng nhau cũng trở nên khó khăn hơn khi độ sâu lồng nhau yêu cầu tăng lên.

Các nhà nghiên cứu cũng phát hiện ra rằng việc cung cấp các bản demo gần hơn với độ phức tạp của vấn đề mục tiêu có thể cải thiện đáng kể hiệu suất trong một số trường hợp, cho thấy rằng một phần của hạn chế liên quan đến việc hệ thống có thể ngoại suy từ các ví dụ nó nhận được.

Các điểm yếu này quan trọng vì ARC-AGI vẫn là một điểm chuẩn lý luận trực quan chuyên dụng. Hiệu suất tiết kiệm chi phí cao trên ARC không chứng minh rằng cùng một kiến trúc có thể vượt trội so với các mô hình ngôn ngữ chung mục đích trên các khối lượng công việc sản xuất.

Thay vào đó, kết quả cung cấp bằng chứng cho một ý tưởng hẹp hơn nhưng có thể có ý nghĩa: các khả năng lý luận tinh vi có thể không luôn yêu cầu số lượng tham số lớn hoặc các chuỗi dài các token lý luận được tạo.

Pathway Is Also Building Infrastructure for Real-Time AI

Công việc của Pathway đã có từ trước khi công ty đẩy mạnh vào các mô hình hậu Transformer. Cùng với BDH, công ty đang phát triển một khuôn khổ xử lý dữ liệu nhằm vào dữ liệu truyền trực tuyến, phân tích thời gian thực, ứng dụng mô hình ngôn ngữ lớn và tạo ra tăng cường.

Nền tảng này được thiết kế để giúp các hệ thống trí tuệ nhân tạo làm việc với thông tin thay đổi liên tục thay vì dựa hoàn toàn vào các tập dữ liệu tĩnh hoặc các chỉ mục được xây dựng lại định kỳ.

Hoàn cảnh cơ sở hạ tầng này phù hợp chặt chẽ với hướng nghiên cứu chung của Pathway. Công nghệ hiện có của công ty tập trung vào việc giữ cho các ứng dụng trí tuệ nhân tạo được đồng bộ hóa với dữ liệu bên ngoài thay đổi, trong khi BDH khám phá xem bộ nhớ và thích nghi có thể trở thành các thuộc tính của chính kiến trúc mô hình.

Điều này có thể quan trọng đối với các tác nhân trí tuệ nhân tạo và các hệ thống chạy dài khác cần duy trì trạng thái trong khi phản ứng với thông tin mới trong thời gian dài.

What Comes Next for Pathway

Pathway dự định sử dụng số vốn mới để tăng khả năng của mô hình và đào tạo các hệ thống dựa trên BDH có khả năng rộng lớn hơn.

Đường dẫn của công ty bao gồm lý luận toán học, ARC-AGI-2 và ARC-AGI-3, cũng như phát triển một mô hình ngôn ngữ lớn tích hợp lý luận tiềm ẩn.

Công ty cho biết các thí nghiệm tiền đào tạo sơ bộ ở quy mô từ 1 tỷ đến 600 tỷ tham số đã cho thấy sự suy giảm giống như Transformer trong khi vẫn giữ các đặc điểm liên quan đến cách tiếp cận lý luận tiềm ẩn của BDH.

Điều này vẫn là một chỉ dẫn sơ bộ chứ không phải là bằng chứng rằng các lợi thế của kiến trúc sẽ tồn tại trên các mô hình chung mục đích lớn.

Pathway cuối cùng nhắm vào các lĩnh vực như dịch vụ tài chính, chăm sóc sức khỏe và công nghệ, nơi bộ nhớ bền vững, thông tin thay đổi và chi phí suy luận có thể trở nên đặc biệt quan trọng khi các hệ thống trí tuệ nhân tạo chuyển sang các công việc chạy dài hơn.

Hiện tại, mức định giá 500 triệu đô la đại diện cho một khoản đầu tư đáng kể vào một giải pháp thay thế cho chiến lược mở rộng quy mô thống trị của ngành công nghiệp. Bài kiểm tra quan trọng hơn sẽ đến khi Pathway di chuyển BDH vượt ra ngoài các điểm chuẩn lý luận bị hạn chế và chứng minh xem các lợi thế kiến trúc của nó có tồn tại trên ngôn ngữ, toán học, tác nhân và ứng dụng thực tế hay không.