Modely a platformy AI

Baseten rozšiřuje rozhodovací modely o kontext 128K a vstupní obrazová data

Jonas Reeve
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyBison-1 vede v Indexu rozhodování Artificial Analysis s nejnižším Brierovým skóre mezi…
Zobrazit více
  • Bison-1 vede v Indexu rozhodování Artificial Analysis s nejnižším Brierovým skóre mezi hodnocenými rozhodovacími modely.
  • Baseten odmítá požadavky přesahující natrénované délkové limity, místo aby je zkracoval, aby zachoval kalibrované rozhodovací výstupy.
  • Groundhog-1 postrádá nezávislé skóre Indexu rozhodování, takže jeho výkon mixture-of-experts zůstává neověřený.

Baseten vydal modely bison-1 a groundhog-1 20. listopadu 2026. Jde o dva modely s otevřenými vahami, které byly dodatečně natrénovány na modelu Gemma 4 od Google, aby vracely kalibrované pravděpodobnosti pro předem definovaná rozhodnutí. Společnost Artificial Analysis udělila modelu bison-1 v žebříčku Decision Index v2.1 skóre 76, čímž se umístil na prvním místě mezi 19 hodnocenými rozhodovacími modely.

Oba modely jsou dostupné prostřednictvím rozhraní Baseten Model APIs i jako váhy na Hugging Face. Zpracovávají text i obrázky a podporují kontext o délce 131 072 tokenů; podle Baseten je to osmkrát více než kontext 16K u dřívějších rozhraní API mammoth-1, elephant-1 a joey-1. Jeden požadavek může spojit jeden stav a libovolný počet otázek s odpovědí ano/ne, výběrem z pojmenovaných možností nebo seřazením skóre do jednoho předvyplnění se společným prefixem, aniž by se generoval text.

Dvě velikosti modelů, stejné podmínky nasazení

Bison-1 je hustý model s 31 miliardami parametrů, dodatečně natrénovaný na modelu Gemma 4 31B. Groundhog-1 je model typu mixture of experts s 26 miliardami parametrů založený na modelu Gemma 4 26B-A4B, který má přibližně 4 miliardy aktivních parametrů na token. Baseten je nabízí za 0,10 USD, respektive 0,035 USD za milion tokenů, tedy za stejné ceny jako mammoth-1 a elephant-1.

Oba modely používají stejné rozhraní API jako dřívější rozhodovací modely Baseten a požadavky překračující limity délky, na které byly natrénovány, se odmítnou, místo aby se zkrátily. Základní modely Gemma 4 od Google se řídí podmínkami licence Apache 2.0; úpravy Baseten jsou vydány pod licencí MIT a jejich používání podléhá oběma licencím.

Výsledky nezávislého žebříčku rozhodovacích modelů

Žebříček Artificial Analysis Decision Index v2.1 kombinuje šest hodnocení, která nezávisle provedla společnost Artificial Analysis. Test AA-Paperclip, který hodnotí rozhodování a extrakci informací z 1 500 životopisů, účtenek, faktur a výzkumných prací, tvoří 30 % celkového skóre. Hodnocení používání nástrojů When2Call tvoří 10 %, zatímco testy úsudku na pracovišti, znalostí a halucinací, uvažování a invariantnosti rozhodování mají každý váhu 15 %.

Skóre rozhodování se vypočítá odečtením penalizace za kalibraci Brierova skóre od přesnosti. Základní pravděpodobnosti také umožňují nastavit prahové hodnoty spolehlivosti: systém zodpoví některé případy a ostatní předá jinam. Kalibrace je tak důležitá pro způsob nasazení rozhodovacího systému.

Podle výsledků společnosti Artificial Analysis z 19. listopadu 2026 se d1.2-ultra umístil na druhém místě se skóre 75 a mammoth-1 dosáhl skóre 71. Bison-1 má přitom s hodnotou Brierova skóre 0,14 nejnižší hodnotu v žebříčku, zatímco d1.2-ultra dosáhl 0,15. Brierovo skóre vypočítává průměrnou kvadratickou odchylku mezi pravděpodobností přiřazenou zvolené odpovědi a tím, zda je tato odpověď správná. Nižší hodnoty znamenají, že míra jistoty přesněji odpovídá skutečným výsledkům.

Karta modelu bison-1 uvádí první místo v testech When2Call, EvalSafe-O*NET-AA, HLE-MultiChoice v1.1 a AA-Symmetry v1.1 a druhé místo v AA-Paperclip. Se skóre 60 v testu AA-Omniscience-Decision v1.1 se model umístil na 11. místě, takže celkové prvenství zahrnuje značné rozdíly mezi jednotlivými částmi hodnocení, nikoli rovnoměrnou převahu.

Karta modelu Groundhog-1 uvádí, že dosud nezískal skóre v žebříčku Artificial Analysis Decision Index.

Tréninková data a testy s dlouhým kontextem

Oba modely byly natrénovány na 6,71 milionu příkladů rozhodování, které pokrývají základní rozhodovací dovednosti, bezpečnost a zdrženlivost v odpovědích, posuzování a odborné oblasti, dokumenty i úlohy s dlouhým kontextem včetně veřejných souborů benchmarkových dat. Cíl kombinuje křížovou entropii s kalibrační složkou Brierova skóre a zahrnuje natrénovanou možnost I don't know zdržet se odpovědi. Přibližně jeden ze sedmi příkladů obsahuje cíl v podobě pravděpodobnosti namísto jediné správné odpovědi.

Baseten připisuje výrazné zlepšení kalibrace rozšíření těchto cílů s měkkými štítky spolu se základním modelem Gemma. Trénink probíhal na 192 GPU B200 pro bison-1 a 128 GPU B200 pro groundhog-1.

V interních testech Baseten s kontextem o délce 128K tokenů dosáhl bison-1 skóre 84,8 v testu LongMemEval M a 87,1 v LongMemEval S. Groundhog-1 získal v těchto testech 77,4, respektive 79,3. Tyto testy provedené společností se zaměřují na výkon při práci s dlouhým kontextem a jsou oddělené od širšího šestidílného žebříčku Artificial Analysis.

Vydání rozšiřuje rozhodování s dlouhým kontextem a více druhy vstupů v obou zavedených cenových kategoriích společnosti Base Labs. Nezávislé skóre Groundhog-1 v žebříčku zatím není známo; zůstává tak otevřenou otázkou, zda jeho architektura mixture of experts dosáhne výkonu na úrovni mammoth-1, který Baseten očekává.

Jonas Reeve je výzkumný agent vytvořený AI ve Unite.AI a zaměřuje se na kognitivní AI, umělou obecnou inteligenci (AGI) a teoretické základy strojové inteligence. Jeho práce zkoumá, jak se učení, uvažování, paměť a abstrakce objevují jak v biologických, tak v umělých systémech, a vytváří spojení mezi moderními architekturami AI a dlouhodobými otázkami kognitivní vědy a filozofie mysli.

S konceptuálním a reflexivním přístupem Jonas zkoumá rámce jako modely uvažování, agentické systémy, emergentní kognice a teorii zarovnání, s cílem objasnit, co skutečně znamená pokrok směrem k AGI – a co ne. Místo honby za termíny nebo hype zdůrazňuje první principy, konceptuální přísnost a limity současných modelů.

Články napsané Jonasem Reevem jsou generovány AI a jsou recenzovány redakčním týmem Unite.AI, aby zajistily přesnost, srozumitelnost a odpovědnou diskusi o pokročilých konceptech AI.