โมเดลและแพลตฟอร์ม AI
Valory เปิดตัวโมเดล Olas Predict แบบเปิดเผยน้ำหนัก พร้อมผลพยากรณ์เหตุการณ์จริงที่ดีขึ้น
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Valory เปิดตัว Olas-Predict-Qwen3.8-27B โมเดลพยากรณ์แบบเปิดเผยน้ำหนัก ซึ่งบริษัทระบุว่าทำคะแนนได้ต่ำกว่าโมเดล GPT-5.6 ที่ใช้เปรียบเทียบเพียง 1.2 จุดเปอร์เซ็นต์ ในการทดสอบกับตลาดพยากรณ์เหตุการณ์จริง โมเดลเฉพาะทางที่มีพารามิเตอร์ 27,000 ล้านตัวทำความแม่นยำแบบสมดุลได้ 67.3% ในการประเมินภายในของ Valory เทียบกับ 68.5% ของ GPT-5.6 เมื่อทั้งสองระบบได้รับข้อมูลตลาดชุดเดียวกัน
ผลลัพธ์นี้ชวนให้พิจารณาคำถามเชิงปฏิบัติในการพัฒนา AI ว่า ประสิทธิภาพของงานเฉพาะทางมาจากความรู้รอบด้านของโมเดลมากน้อยเพียงใด และมาจากหลักฐานที่เกี่ยวข้องกับการฝึกแบบเจาะจงมากน้อยเพียงใด การทดลองล่าสุดของ Valory ชี้ว่าโมเดลขนาดเล็กที่ปรับเปลี่ยนได้อาจทำผลงานแข่งขันได้ในงานพยากรณ์ที่กำหนดขอบเขตไว้อย่างแคบ ขณะเดียวกันก็แสดงให้เห็นว่าโมเดลพื้นฐานที่แข็งแกร่งกว่ามีส่วนต่อการพัฒนาผลลัพธ์อย่างมาก
การเปรียบเทียบการพยากรณ์ของ Valory วัดผลอะไร
ประกาศรายงานผลจากตลาดพยากรณ์ที่สามารถค้นคว้าข้อมูลได้ 6,824 แห่ง ระบบต่าง ๆ ใช้พรอมต์และหลักฐานชุดเดียวกัน โดยตั้งค่าอุณหภูมิไว้ที่ศูนย์ และ Valory ใช้ตัวกรองวันที่ที่อิงกับวันตัดข้อมูลความรู้ที่ระบุไว้ของ GPT-5.6 ซึ่งเป็นโมเดลที่ใช้เปรียบเทียบ คือวันที่ 16 กุมภาพันธ์ 2026 การเปรียบเทียบนี้ประเมินวิธีที่โมเดลใช้เหตุผลจากหลักฐานที่ได้รับ แทนที่จะให้แต่ละระบบค้นหาข้อมูลด้วยตนเอง
ขอบเขตของการประเมินมีความสำคัญ ผลลัพธ์เหล่านี้เป็นผลที่บริษัทรายงานจากตลาดที่คัดเลือกมา ไม่ใช่การสาธิตโดยอิสระว่าโมเดลทั้งสองมีความเทียบเท่ากันโดยทั่วไป การเปรียบเทียบขั้นสุดท้ายนี้ยังแยกจากการทดลองก่อนหน้าที่ใช้ตัวอย่าง 10,916 รายการ และจากงานศึกษาที่ Valory เผยแพร่ก่อนหน้านี้เกี่ยวกับโมเดลพารามิเตอร์ 14,000 ล้านตัว
ความแม่นยำแบบสมดุลให้น้ำหนักกับผลการทำงานในกลุ่มผลลัพธ์ทั้งสองประเภทเท่ากัน จึงช่วยป้องกันไม่ให้ผลลัพธ์ที่พบได้บ่อยครอบงำคะแนน Valory ยังรายงานคะแนน Brier ซึ่งใช้ประเมินการพยากรณ์ความน่าจะเป็นและลงโทษการคาดการณ์ที่ผิดพลาดอย่างมั่นใจ คะแนน Brier ที่ต่ำกว่าถือว่าดีกว่า ผู้พยากรณ์ควรได้รับการประเมินที่ดีเมื่อแสดงความไม่แน่นอนได้อย่างเที่ยงตรง ไม่ใช่เพียงเลือกผู้ชนะที่เกิดขึ้นจริงได้ถูกต้อง
| ระบบ | คะแนน Brier ↓ | ความแม่นยำแบบสมดุล ↑ |
|---|---|---|
| ค่าฐานเดิมของ GPT-4.1 | 0.3110 | 58.5% |
| Olas-Predict-R1-14B | 0.2722 | 58.9% |
| Qwen3.8-27B ก่อนฝึกด้วยข้อมูลเฉพาะด้าน | 0.2235 | 66.4% |
| Olas-Predict-Qwen3.8-27B | 0.2124 | 67.3% |
| โมเดล GPT-5.6 ที่ใช้เปรียบเทียบ | 0.2029 | 68.5% |
ตารางนี้นำเสนอชุดผลการเปรียบเทียบขั้นสุดท้ายตามที่ Valory รายงาน ค่าฐานเดิมของ GPT-4.1 ควรทำความเข้าใจว่าเป็นค่าฐานเฉพาะรายการนี้ ไม่ใช่คะแนนใหม่ที่ใช้แทน GPT-4.1 ได้ในทุกกรณี
โมเดลพื้นฐานที่แข็งแกร่งกว่ามีส่วนสร้างผลลัพธ์ที่ดีขึ้นเป็นหลัก
ในการเปรียบเทียบนี้ โมเดลใหม่มีค่าความคลาดเคลื่อน Brier ดีขึ้นประมาณ 22% และความแม่นยำแบบสมดุลเพิ่มขึ้น 8.4 จุดเปอร์เซ็นต์ เมื่อเทียบกับ Olas-Predict-R1-14B อย่างไรก็ตาม จุดเริ่มต้นของ Qwen3.8-27B ที่ยังไม่ได้ผ่านการฝึกก็ทำความแม่นยำแบบสมดุลได้ 66.4% และมีคะแนน Brier 0.2235 อยู่แล้ว ซึ่งคิดเป็นสัดส่วนมากของพัฒนาการที่เกิดขึ้น
การฝึกด้วยข้อมูลเฉพาะด้านช่วยเพิ่มประสิทธิภาพอีกขั้น โดยค่าความคลาดเคลื่อน Brier ลดลงประมาณ 5% ขณะที่ความแม่นยำแบบสมดุลเพิ่มขึ้น 0.9 จุดเปอร์เซ็นต์ ค่าความคลาดเคลื่อนในการปรับเทียบที่คาดหวัง ซึ่งสรุปความสอดคล้องระหว่างระดับความมั่นใจที่ระบุกับผลลัพธ์ที่สังเกตได้ ลดลงจาก 0.1630 เหลือ 0.1429 หรือดีขึ้นประมาณ 12.3%
ข้อค้นพบนี้มีประโยชน์กว่าการมองว่าพัฒนาการทั้งหมดจากรุ่นหนึ่งสู่อีกรุ่นเป็นผลจากการปรับแต่งโมเดล การยกระดับโมเดลพื้นฐานและการฝึกเฉพาะทางต่างมีส่วนช่วยแยกจากกัน การฝึกเฉพาะทางดูเหมือนจะช่วยปรับปรุงวิธีที่โมเดลแสดงค่าความน่าจะเป็น ซึ่งเป็นความสามารถสำคัญเมื่อระบบปลายทางต้องตัดสินใจว่าหลักฐานหนักแน่นพอที่จะลงมือหรือไม่
เครื่องมือพยากรณ์จัดหาหลักฐาน ส่วนโมเดลใช้ประเมินความน่าจะเป็น
Valory อธิบายกระบวนการฝึกที่ใช้ตัวอย่างการพยากรณ์ซึ่งผ่านการตรวจสอบแล้ว พร้อมการเรียนรู้แบบเสริมกำลัง เพื่อปรับปรุงการประมาณค่าความน่าจะเป็น ส่วนเครื่องมืออีกชุดหนึ่งจะรวบรวมข้อมูลข่าวสารและหลักฐานเกี่ยวกับตลาด แล้วส่งข้อมูลเหล่านั้นให้โมเดล
การแยกส่วนเช่นนี้เป็นหัวใจสำคัญของสถาปัตยกรรม โมเดลภาษาคือองค์ประกอบหนึ่งของระบบพยากรณ์ โดยการดึงข้อมูลหลักฐานจะเป็นตัวกำหนดว่ามีข้อมูลใดให้ใช้บ้าง ส่วนโมเดลจะตีความข้อมูลและสร้างค่าความน่าจะเป็น แม้จะใช้เหตุผลได้ดีเพียงใด แต่หากอาศัยหลักฐานที่อ่อนหรือไม่ทันสมัย ก็ยังอาจพยากรณ์ได้ไม่ดี
แนวทางนี้ยังเปิดโอกาสให้ปรับปรุงองค์ประกอบแต่ละส่วนได้อย่างเป็นอิสระ นักพัฒนาสามารถปรับปรุงการดึงข้อมูล เปลี่ยนวิธีนำเสนอหลักฐาน หรืออัปเดตตัวพยากรณ์ โดยไม่จำเป็นต้องสร้างเอเจนต์ใหม่ทั้งหมด คะแนนที่รายงานประเมินการผสมผสานระหว่างหลักฐานชุดหนึ่งกับพฤติกรรมของโมเดลรูปแบบหนึ่งโดยเฉพาะ จึงไม่ควรนำไปใช้กับกระบวนการดึงข้อมูลแบบอื่นโดยอัตโนมัติ
Olas เปลี่ยนกิจกรรมของเอเจนต์ให้เป็นข้อมูลฝึกอย่างไร
Valory เป็นผู้ร่วมพัฒนาหลักของ Olas ซึ่งระบบนิเวศ Predict เชื่อมโยงเอเจนต์ที่สร้างตลาด ซื้อขาย ให้การพยากรณ์ และสรุปผลลัพธ์เข้าด้วยกัน เทรดเดอร์สามารถซื้อบริการพยากรณ์จากเอเจนต์เฉพาะทางผ่าน Mech Marketplace เมื่อเหตุการณ์ได้ข้อยุติแล้ว ก็สามารถเปรียบเทียบคำพยากรณ์กับผลลัพธ์เพื่อสร้างบันทึกไว้ใช้ประเมินและฝึกในอนาคต
วงจรป้อนกลับนี้ทำให้โครงการมีหลักฐานเฉพาะสำหรับแต่ละงาน แทนที่จะประเมินการคาดการณ์จากเพียงว่าคำอธิบายฟังดูน่าเชื่อถือหรือไม่ ในที่สุดระบบก็จะสามารถเปรียบเทียบค่าประมาณความน่าจะเป็นกับเหตุการณ์ที่มีการตัดสินผลแล้วได้ อย่างไรก็ตาม การตัดสินผลตลาดยังคงเป็นตัวกำหนดผลลัพธ์เป้าหมาย ดังนั้นถ้อยคำของคำถามและคุณภาพของการตัดสินผลจึงยังมีความสำคัญ
ผลงานที่ Valory เผยแพร่ก่อนหน้านี้ใช้บันทึกการคาดการณ์ของเอเจนต์มากกว่า 200,000 รายการ เพื่อปรับแต่ง Olas-Predict-R1-14B ให้มีความเชี่ยวชาญเฉพาะด้าน การประเมินตลาดที่เกิดขึ้นในภายหลังอีกชุดหนึ่งรายงานความแม่นยำ 75.8% จากตลาด 2,628 แห่ง ตัวเลขดังกล่าวเป็นค่าความแม่นยำทั่วไปจากการประเมินอีกชุดหนึ่ง จึงไม่สามารถนำไปเปรียบเทียบโดยตรงกับค่าความแม่นยำแบบสมดุล 67.3% ในประกาศล่าสุดได้
การเปิดเผยน้ำหนักโมเดลเปลี่ยนแปลงการนำไปใช้งานอย่างไร
โมเดลคาดการณ์แบบเปิดเผยน้ำหนักช่วยให้นักพัฒนามีทางเลือกในการโฮสต์และปรับแต่งโมเดล แทนที่จะต้องพึ่งพาบริการเฉพาะที่ทำงานจากระยะไกลทั้งหมด สำหรับองค์กรที่กำลังสร้างเวิร์กโฟลว์การคาดการณ์ สิ่งนี้อาจช่วยให้ควบคุมการอัปเดตโมเดล โครงสร้างพื้นฐานสำหรับให้บริการ และการจัดการหลักฐานที่ส่งเข้ามาได้มากขึ้น
โมเดลที่มีพารามิเตอร์ 27 พันล้านตัวยังคงต้องใช้ฮาร์ดแวร์ที่เหมาะสม โดยหน่วยความจำ เวลาแฝง และอัตราการประมวลผลขึ้นอยู่กับความละเอียดเชิงตัวเลข ความยาวบริบท และจำนวนงานที่ทำพร้อมกัน ประกาศดังกล่าวไม่ได้ระบุต้นทุนการนำไปใช้งานที่วัดได้หรือผลการทดสอบประสิทธิภาพการให้บริการของโมเดลใหม่ ดังนั้น จำนวนพารามิเตอร์เพียงอย่างเดียวจึงยังยืนยันไม่ได้ว่าจะได้เปรียบด้านต้นทุนการดำเนินงานในระดับใดโดยเฉพาะ
คุณภาพการคาดการณ์ยังแตกต่างจากผลการซื้อขาย ผลตอบแทนขึ้นอยู่กับราคาตลาด ต้นทุนธุรกรรม การดำเนินการซื้อขาย และกลยุทธ์ ตลอดจนการคาดการณ์ ซึ่งเป็นข้อแตกต่างที่สะท้อนอยู่ในข้อจำกัดของเอกสารข้อมูลโมเดลฉบับก่อนหน้าของ Valoryด้วย
ดังนั้น Olas-Predict-Qwen3.8-27B จึงมีความสำคัญในขอบเขตที่ชัดเจน แต่ก็มีนัยสำคัญ: Valory รายงานว่าโมเดลเฉพาะทางของบริษัททำผลงานด้านการคาดการณ์โดยใช้หลักฐานที่ป้อนเข้าได้ใกล้เคียงกับโมเดลเปรียบเทียบระดับแนวหน้า พร้อมทั้งมีพัฒนาการที่วัดผลได้จากการฝึกฝนเฉพาะโดเมน โอกาสขั้นต่อไปคือการนำข้อมูลการคาดการณ์ที่ทยอยได้รับการตัดสินผลอย่างต่อเนื่องมาใช้ปรับปรุงโมเดล ให้ผลลัพธ์ยังคงดีในเหตุการณ์ภายหลังและการนำไปใช้งานจริง
