Scale AI spouští s IMDA benchmark právního uvažování v Singapuru

Scale AI a singapurský Úřad pro informační a komunikační média (IMDA) představily SG-LegalClarify 12. listopadu 2026. Benchmark testuje 19 jazykových modelů na 1 860 scénářích z 10 oblastí singapurského práva. Zkoumá právní přesnost modelů i to, zda se před odpovědí doptávají na chybějící skutečnosti.

Scale popisuje SG-LegalClarify jako první výzkumnou iniciativu v rámci spolupráce formalizované v dubnu 2026 a veřejně představené 7. července 2026. Cílem projektu je pomoci vládám posuzovat systémy AI podle vlastních zákonů a institucí, namísto předpokladu, že výsledky z mezinárodních benchmarků lze vztáhnout na každou zemi.

Výzkumná studie představuje Singapur jako náročný testovací případ, protože se v něm vedle zděděného anglického obecného práva uplatňují místní úpravy a zákony specifické pro Singapur. Model, který se opírá o obecné principy common law, tak může přehlédnout rozhodné místní pravidlo. SG-LegalClarify ověřuje také samostatnou schopnost: rozpoznat, zda dotaz obsahuje dostatek právně podstatných informací k tomu, aby na něj bylo vůbec možné odpovědět.

Toto rozlišení je důležité i u běžných dotazů. Řidič, který se ptá na pokutu za překročení rychlosti, možná musí uvést typ vozidla, skutečnou rychlost a dosavadní počet trestných bodů. Asistent, který bez těchto údajů sdělí výši pokuty, může podat přesvědčivě znějící, ale právně nesprávnou odpověď.

Sada párových otázek ověřuje, kdy se modely doptávají

Datová sada začíná 1 100 původními otázkami v angličtině: 340 obsahuje všechny potřebné údaje a 760 je obsahuje jen částečně. Ke každé otázce s chybějícími údaji existuje plně specifikovaná protějšková otázka, která tyto skryté skutečnosti uvádí. Otázky sestavilo 23 prověřených právníků, z nichž sedm se podílelo také na jejich hodnocení. Jejich právní praxe trvala od dvou do 37 let, medián činil šest let.

Každá otázka má rubriku sestavenou právníkem, která hodnotí identifikaci právního problému, vybavení právních pravidel, jejich aplikaci a závěr; napříč datovou sadou obsahuje 12 546 hodnoticích kritérií. Z nich je 89,0 % nezbytných pro věcně správnou odpověď; v hlavních výsledcích se počítají pouze povinná kritéria.

Nejprve každý model v testu dostatečnosti volí mezi přímou odpovědí a zjišťováním dalších skutečností. Pokud se rozhodne údaje zjišťovat, simulovaný uživatel odhalí skryté skutečnosti jen tehdy, když si o ně model výslovně řekne. Každé kritérium hodnotí většinovým hlasováním panel tří modelů AI v roli hodnotitelů, který byl vybrán na základě porovnání s posudky lidských právníků.

Vyhledávání zlepšilo výsledky, doptávání však zůstalo slabinou

Studie uvádí, že v testování bez vyhledávání dosáhl nejlepšího výsledku Claude Fable 5, který splnil 69,8 % povinných kritérií; průměr činil 53,8 %. Při vyhledávání na webu vedl Kimi K3 se 77,8 % a průměr vzrostl na 63,0 %; zlepšily se všechny modely, míra zlepšení se však lišila. Nejslabší složkou hodnocení bylo vybavení právních pravidel: úspěšnost činila 43,2 % bez vyhledávání a 56,5 % s ním.

Podle souhrnu Scale se přibližně ve 39 % scénářů bez vyhledávání, v nichž chyběly potřebné údaje, modely vůbec nedoptaly. Přibližně ve 28 % scénářů, které už obsahovaly dostatek informací, se naopak ptaly zbytečně. Pokud údaje chyběly, modely se ptaly v průměru jen na 39 % relevantních skutečností, které určili právní experti.

Ve výsledcích popisného srovnání testů s přístupem k webu, v nichž si modely vyžádaly všechny relevantní chybějící údaje, studie uvádí, že 55,6 % případů dospělo ke správnému právnímu závěru, 32,1 % k nesprávnému závěru a ve 12,3 % případů modely žádný závěr neposkytly. Ani úplné zjištění potřebných skutečností tedy nezaručilo správné použití práva.

Omezení hodnocení a plány na zveřejnění

Autoři uvádějí několik omezení výsledků: lidské ověřování nástrojů AI bylo omezené, rozdíly mezi poskytovateli znemožnily zajistit totožný přístup k vyhledávacím nástrojům a předběžné směrování mohlo ovlivnit chování modelů při doptávání. K vyřešení konkrétního případu není nutné znát každou anotovanou chybějící proměnnou, takže neúplné pokrytí požadavků na doplnění údajů automaticky neznamená, že se model doptával nedostatečně.

Výzkumníci plánují zveřejnit 50 % původních otázek z každé kategorie a zbytek ponechat pro neveřejné hodnocení; každý pár otázky s chybějícími údaji a její plně specifikované protějškové otázky zůstane v téže části datové sady. Plánují zveřejnit také výstupy modelů z veřejné části a hodnoticí postup.

Etické prohlášení studie uvádí, že skóre nelze chápat jako důkaz, že je model bezpečný pro poskytování právních rad bez dohledu. Pro vlády, které hodnotí systémy AI využívající právo, výsledky ukazují, že schopnost doptávat se je součástí otázky přesnosti: systém musí rozpoznat, které skutečnosti jsou podle místního práva podstatné, a po jejich zjištění toto právo správně uplatnit.