Valory ra mắt mô hình Olas Predict có trọng số mở, cải thiện khả năng dự báo trong thực tế

Valory vừa ra mắt Olas-Predict-Qwen3.8-27B, một mô hình dự báo có trọng số mở mà công ty cho biết chỉ kém mô hình GPT-5.6 dùng để đối chiếu 1,2 điểm phần trăm trong bài kiểm tra trên các thị trường dự đoán thực tế. Mô hình chuyên biệt có 27 tỷ tham số đạt độ chính xác cân bằng 67,3% trong đánh giá nội bộ của Valory, so với 68,5% của GPT-5.6, khi cả hai hệ thống được cung cấp cùng một bộ bằng chứng thị trường.

Kết quả này đặt ra một câu hỏi thực tiễn trong lĩnh vực phát triển AI: hiệu suất của một mô hình trong tác vụ chuyên biệt đến từ kiến thức tổng quát của mô hình ở mức độ nào, và ở mức độ nào có thể đạt được nhờ bằng chứng phù hợp cùng quá trình huấn luyện tập trung? Thí nghiệm mới nhất của Valory cho thấy một mô hình nhỏ hơn, có thể điều chỉnh, vẫn có thể cạnh tranh trong một tác vụ dự báo được xác định hẹp; đồng thời, kết quả cũng cho thấy mô hình nền tảng mạnh hơn đóng góp phần lớn vào mức cải thiện.

Phép so sánh khả năng dự báo của Valory đánh giá điều gì

Thông báo công bố kết quả trên 6.824 thị trường dự đoán có thể nghiên cứu. Các hệ thống sử dụng cùng câu lệnh và bằng chứng ở mức nhiệt độ 0; Valory cũng áp dụng bộ lọc ngày tháng gắn với mốc cắt kiến thức được nêu cho mô hình GPT-5.6 dùng để đối chiếu: ngày 16 tháng 2 năm 2026. Phép so sánh đánh giá cách các mô hình suy luận dựa trên bằng chứng được cung cấp, thay vì yêu cầu mỗi hệ thống tự thu thập thông tin.

Phạm vi này rất quan trọng. Đây là kết quả do công ty báo cáo trên các thị trường được chọn, chứ không phải bằng chứng độc lập cho thấy hai mô hình tương đương trên diện rộng. Phép so sánh cuối cùng cũng tách biệt với thí nghiệm trước đó trên 10.916 mẫu và nghiên cứu về mô hình 14 tỷ tham số mà Valory đã công bố trước đây.

Độ chính xác cân bằng tính trọng số ngang nhau cho hiệu suất trên hai nhóm kết quả, giúp ngăn một kết quả phổ biến chi phối điểm số. Valory cũng báo cáo điểm Brier, thước đo đánh giá các dự báo xác suất và phạt những dự đoán sai nhưng được đưa ra với mức độ tự tin cao. Điểm Brier càng thấp càng tốt; cần ghi nhận một hệ thống dự báo khi mức độ bất định được hiệu chuẩn tốt, chứ không chỉ khi hệ thống chọn đúng kết quả cuối cùng.

Bảng này trình bày lại tập con cuối cùng trong phép so sánh do Valory báo cáo. Mốc chuẩn GPT-4.1 trước đây cần được hiểu là mốc chuẩn cụ thể đó, chứ không phải điểm số mới có giá trị phổ quát cho GPT-4.1.

Nền tảng mạnh hơn đóng góp phần lớn mức cải thiện

Trong phép so sánh này, mô hình mới cải thiện khoảng 22% về sai số Brier và 8,4 điểm phần trăm về độ chính xác cân bằng so với Olas-Predict-R1-14B. Tuy nhiên, phiên bản Qwen3.8-27B chưa qua huấn luyện theo lĩnh vực đã đạt độ chính xác cân bằng 66,4% và điểm Brier 0,2235, đóng góp phần lớn vào bước tiến này.

Huấn luyện theo lĩnh vực giúp cải thiện thêm: sai số Brier giảm khoảng 5%, còn độ chính xác cân bằng tăng 0,9 điểm phần trăm. Sai số hiệu chuẩn kỳ vọng, chỉ số tóm tắt mức độ tương ứng giữa độ tin cậy được nêu và kết quả quan sát được, giảm từ 0,1630 xuống 0,1429 — cải thiện khoảng 12,3%.

Phát hiện này hữu ích hơn so với việc quy toàn bộ mức tiến bộ qua các thế hệ cho tác động của tinh chỉnh. Mô hình nền tảng mạnh hơn và quá trình huấn luyện chuyên biệt đóng góp riêng rẽ. Có vẻ như yếu tố sau cải thiện cách mô hình đưa ra xác suất, một năng lực quan trọng khi hệ thống ở bước tiếp theo cần quyết định liệu bằng chứng đã đủ mạnh để hành động hay chưa.

Công cụ dự báo cung cấp bằng chứng; mô hình ước tính xác suất

Valory mô tả quy trình huấn luyện sử dụng các ví dụ dự báo đã được rà soát và học tăng cường để cải thiện các ước tính xác suất. Một công cụ riêng thu thập thông tin thị trường và bằng chứng, sau đó cung cấp những dữ liệu này cho mô hình.

Sự phân tách này là trọng tâm của kiến trúc. Mô hình ngôn ngữ chỉ là một thành phần trong hệ thống dự báo: khâu truy xuất bằng chứng quyết định thông tin nào có sẵn, còn mô hình diễn giải thông tin đó và đưa ra xác suất. Dù suy luận tốt đến đâu, nếu dựa trên bằng chứng yếu hoặc lỗi thời thì vẫn có thể dẫn đến dự báo kém.

Cách tiếp cận này cũng tạo cơ hội cải thiện riêng từng thành phần. Nhà phát triển có thể tinh chỉnh khâu truy xuất, thay đổi cách trình bày bằng chứng hoặc cập nhật mô hình dự báo mà không nhất thiết phải xây dựng lại toàn bộ tác tử. Các điểm số được báo cáo đánh giá một tổ hợp cụ thể giữa bằng chứng và cách mô hình hoạt động, vì vậy không nên mặc nhiên áp dụng chúng cho một quy trình truy xuất khác.

Olas chuyển hoạt động của tác tử thành dữ liệu huấn luyện như thế nào

Valory là đơn vị đóng góp nòng cốt cho Olas, với hệ sinh thái Predict kết nối các tác nhân tạo lập thị trường, giao dịch, đưa ra dự báo và chốt kết quả. Các nhà giao dịch có thể mua dịch vụ dự báo từ các tác nhân chuyên biệt thông qua Mech Marketplace. Khi các sự kiện được phân định kết quả, có thể đối chiếu dự báo với kết quả thực tế, tạo ra hồ sơ phục vụ việc đánh giá và huấn luyện trong tương lai.

Vòng phản hồi đó cung cấp cho dự án nguồn bằng chứng đặc thù cho từng nhiệm vụ. Thay vì chỉ đánh giá một dự báo dựa trên việc phần giải thích có vẻ thuyết phục hay không, hệ thống về sau có thể so sánh ước tính xác suất với sự kiện đã được phân định kết quả. Việc phân định kết quả của thị trường vẫn xác định mục tiêu, vì vậy cách diễn đạt câu hỏi và chất lượng phân định kết quả vẫn rất quan trọng.

Công trình đã được công bố trước đây của Valory sử dụng hơn 200,000 bản ghi dự đoán của tác tử để chuyên biệt hóa Olas-Predict-R1-14B. Một đánh giá riêng trên các thị trường về sau ghi nhận độ chính xác 75.8% trên 2,628 thị trường. Con số này là độ chính xác thông thường trong một đánh giá khác; không thể so sánh trực tiếp với độ chính xác cân bằng 67.3% trong thông báo mới.

Trọng số mở thay đổi điều gì đối với việc triển khai

Một mô hình dự báo có trọng số mở cho phép nhà phát triển tự lưu trữ và điều chỉnh mô hình, thay vì hoàn toàn phụ thuộc vào một dịch vụ độc quyền từ xa. Với một tổ chức đang xây dựng quy trình dự báo, điều này có thể giúp họ kiểm soát tốt hơn việc cập nhật mô hình, hạ tầng cung cấp dịch vụ và cách xử lý bằng chứng được cung cấp.

Một mô hình có 27 tỷ tham số vẫn cần phần cứng phù hợp; mức sử dụng bộ nhớ, độ trễ và thông lượng tùy thuộc vào độ chính xác số học, độ dài ngữ cảnh và mức độ đồng thời. Thông báo không đưa ra chi phí triển khai được đo lường hay kết quả đánh giá chuẩn về hiệu năng phục vụ cho mô hình mới, vì vậy chỉ riêng số lượng tham số không đủ để xác lập một lợi thế cụ thể về chi phí vận hành.

Chất lượng dự báo cũng khác với hiệu quả giao dịch. Lợi nhuận phụ thuộc vào giá thị trường, chi phí giao dịch, khâu thực thi và chiến lược, bên cạnh các dự đoán — sự khác biệt này được phản ánh trong những hạn chế nêu ở thẻ mô hình trước đây của Valory.

Vì vậy, ý nghĩa của Olas-Predict-Qwen3.8-27B tuy tập trung nhưng vẫn đáng kể: Valory cho biết một mô hình chuyên biệt đang tiến gần đến mô hình đối chiếu hàng đầu trong khả năng dự báo dựa trên bằng chứng được cung cấp, đồng thời đạt được những cải thiện có thể đo lường nhờ huấn luyện theo lĩnh vực. Cơ hội tiếp theo là biến dòng dự đoán liên tục được phân định kết quả thành những cải thiện vẫn duy trì hiệu quả qua các sự kiện về sau và trong các triển khai thực tế.