Valory, 실전 예측에서 성과를 높인 오픈 웨이트 Olas Predict 모델 공개

Valory가 Olas-Predict-Qwen3.8-27B를 공개했다. 회사에 따르면 이 오픈 웨이트 예측 모델은 실제 예측 시장을 대상으로 한 테스트에서 비교 모델인 GPT-5.6보다 1.2%포인트 낮은 성적을 거뒀다. 270억 개 매개변수를 갖춘 이 특화 모델은 Valory의 내부 평가에서 균형 정확도 67.3%를 기록했으며, 두 시스템에 동일한 시장 근거를 제공했을 때 GPT-5.6은 68.5%를 기록했다.

이번 결과는 AI 개발에서 실용적인 질문을 제기한다. 특정 전문 과제에서 모델의 성능은 어느 정도까지 폭넓은 지식에서 비롯되며, 관련 근거와 집중적인 학습으로 어느 정도까지 끌어낼 수 있을까? Valory의 최신 실험은 규모가 더 작고 조정 가능한 모델도 범위가 좁게 정의된 예측 과제에서 경쟁력을 갖출 수 있음을 시사한다. 동시에 더 강력한 기반 모델이 성능 향상의 상당 부분을 설명한다는 점도 보여준다.

Valory의 예측 성능 비교가 측정하는 것

이번 발표는 조사 가능한 예측 시장 6,824곳의 결과를 보고한다. 두 시스템에는 동일한 프롬프트와 근거를 제공하고 온도를 0으로 설정했으며, Valory는 비교 모델 GPT-5.6의 지식 기준일인 2026년 2월 16일에 맞춰 날짜 필터를 적용했다. 이 비교는 각 시스템이 직접 정보를 수집하도록 하는 대신, 제공된 근거를 바탕으로 모델이 어떻게 추론하는지를 평가한다.

평가 범위를 따져보는 것이 중요하다. 이는 선정된 시장을 대상으로 회사가 보고한 결과이지, 두 모델이 전반적으로 동등하다는 점을 독립적으로 입증한 결과가 아니다. 이번 최종 비교는 앞서 진행한 표본 10,916개 규모의 실험 및 Valory가 이전에 발표한 매개변수 140억 개 모델 연구와도 별개다.

균형 정확도는 두 결과 클래스의 성능에 같은 비중을 두어, 흔히 나타나는 결과가 전체 점수를 좌우하지 않도록 한다. Valory는 확률 예측의 성능을 평가하고 과도한 확신에서 비롯된 오류에 불이익을 주는 브라이어 점수도 보고한다. 브라이어 점수는 낮을수록 좋다. 예측 모델은 최종 승자를 맞히는 것뿐 아니라, 잘 보정된 불확실성을 제시한 경우에도 좋은 평가를 받아야 한다.

표에는 Valory가 보고한 최종 비교 하위 집합의 결과를 재현했다. 과거 GPT-4.1 기준선은 해당 기준선 자체에 대한 수치로 해석해야 하며, GPT-4.1의 새로운 보편적 점수로 봐서는 안 된다.

성능 향상의 대부분은 더 강력한 기반 모델에서 비롯

이번 비교에서 새 모델은 Olas-Predict-R1-14B보다 브라이어 오차를 약 22% 줄이고 균형 정확도를 8.4%포인트 높였다. 하지만 학습 전 Qwen3.8-27B도 이미 균형 정확도 66.4%와 브라이어 점수 0.2235를 기록해 성능 향상의 상당 부분을 설명한다.

도메인 학습은 추가적인 개선을 가져온다. 브라이어 오차는 약 5% 감소하고 균형 정확도는 0.9%포인트 상승한다. 모델이 밝힌 확신도와 실제 관측 결과의 일치도를 요약하는 기대 보정 오차는 0.1630에서 0.1429로 낮아져 약 12.3% 개선됐다.

이번 결과는 세대 간 성능 향상 전체를 미세 조정의 효과로 보는 것보다 더 유용한 시사점을 준다. 더 강력한 기반 모델과 특화 학습은 각각 별도로 기여한다. 후자는 모델이 확률을 표현하는 방식을 개선하는 것으로 보인다. 이는 후속 시스템이 근거가 조치를 취할 만큼 충분히 강한지 판단해야 할 때 중요한 역량이다.

예측 도구는 근거를 제공하고, 모델은 확률을 추정한다

Valory는 검토를 거친 예측 사례와 강화 학습을 활용해 확률 추정치를 개선하는 학습 과정을 설명한다. 별도의 도구가 시장 정보와 근거를 수집한 뒤 이를 모델에 제공한다.

이러한 분리는 아키텍처의 핵심이다. 언어 모델은 예측 시스템을 이루는 구성 요소 중 하나다. 근거 검색은 어떤 정보를 이용할 수 있는지를 결정하고, 모델은 그 정보를 해석해 확률을 산출한다. 추론 능력이 뛰어나더라도 근거가 빈약하거나 오래됐다면 예측 결과는 여전히 부정확할 수 있다.

이 접근 방식은 각 구성 요소를 독립적으로 개선할 기회도 제공한다. 개발자는 검색 기능을 다듬거나 근거를 제시하는 방식을 바꾸거나 예측 모델을 업데이트할 수 있으며, 반드시 에이전트 전체를 다시 구축할 필요는 없다. 보고된 점수는 특정한 근거와 모델 동작의 조합을 평가한 것이므로, 다른 검색 파이프라인에 그대로 적용해서는 안 된다.

Olas는 에이전트 활동을 학습 데이터로 전환한다

Valory는 Olas의 핵심 기여자다. Olas의 Predict 생태계에서는 시장을 만들고, 거래하고, 예측을 제공하고, 결과를 확정하는 에이전트들이 연결된다. 거래자는 Mech Marketplace를 통해 전문 에이전트의 예측 서비스를 구매할 수 있다. 사건의 결과가 확정되면 예측을 실제 결과와 비교할 수 있으며, 이를 바탕으로 평가와 향후 학습에 활용할 기록을 생성한다.

이러한 피드백 루프를 통해 이 프로젝트는 작업별 근거를 확보할 수 있습니다. 시스템은 예측의 설명이 그럴듯하게 들리는지만으로 예측을 평가하는 대신, 궁극적으로 확률 추정치를 결과가 확정된 사건과 비교할 수 있습니다. 다만 목표값은 여전히 시장 결과에 따라 정해지므로, 질문의 표현 방식과 결과 확정의 품질은 여전히 중요합니다.

Valory의 이전에 발표한 연구에서는 에이전트 예측 기록 200,000건 이상을 사용해 Olas-Predict-R1-14B를 특정 분야에 특화했습니다. 별도로 진행된 후속 시장 평가에서는 2,628개 시장에서 정확도 75.8%를 기록했습니다. 이 수치는 별도의 평가에서 나온 일반 정확도이므로, 이번 발표에서 제시한 균형 정확도 67.3%와 직접 비교할 수 없습니다.

배포 측면에서 공개 가중치가 바꾸는 점

가중치를 공개한 예측 모델을 사용하면 개발자는 원격 독점 서비스에 전적으로 의존하는 대신 모델을 직접 호스팅하고 조정할 수 있습니다. 예측 워크플로를 구축하는 조직은 이를 통해 모델 업데이트, 서비스 제공 인프라, 제공된 근거의 처리 방식을 더 많이 통제할 수 있습니다.

매개변수가 270억 개인 모델을 실행하려면 여전히 적절한 하드웨어가 필요하며, 메모리 사용량과 지연 시간, 처리량은 정밀도, 컨텍스트 길이, 동시 실행 수에 따라 달라집니다. 이번 발표에는 새 모델의 배포 비용 실측치나 서비스 제공 성능 벤치마크가 제시되지 않았으므로, 매개변수 수만으로 특정 운영 비용상의 이점을 입증할 수는 없습니다.

예측 품질과 거래 성과도 서로 다릅니다. 수익률은 예측뿐 아니라 시장 가격, 거래 비용, 주문 실행, 전략에도 좌우됩니다. Valory의 이전 모델 카드에 명시된 한계도 이러한 차이를 보여 줍니다.

따라서 Olas-Predict-Qwen3.8-27B의 의미는 구체적이면서도 중요합니다. Valory는 제공된 근거를 바탕으로 예측하는 전문 모델이 최첨단 비교 모델에 근접했으며, 분야별 학습을 통해 측정 가능한 성능 향상을 거뒀다고 밝혔습니다. 앞으로는 계속 축적되는 결과 확정 예측을 활용해 후속 사건과 실제 배포 환경에서도 지속되는 개선을 이뤄 내야 합니다.