Úkolově sladěné vs. lidsky sladěné: Proč by další benchmark AI měl být my

Každých pár měsíců se objeví nový model a promíchá žebříčky AI. Podle 2026 AI Index Report ze Stanfordu získaly špičkové modely během jednoho roku přibližně o 30 procentních bodů na zkoušce Humanity’s Last Exam, benchmarku vytvořeném speciálně tak, aby byl pro AI obtížný. Skoky, které dříve trvaly roky, nyní nastávají během několika měsíců a odvětví považuje každý nový rekord za důkaz, že AI se zlepšuje.

Nezpochybňuji pokrok. Tyto systémy jsou pozoruhodné v tom, k čemu byly vytvořeny. Ale strávil jsem téměř dvě dekády psychologií, než jsem přešel k AI, a stále se vracím k otázce, na kterou žádný z těchto benchmarků neodpovídá. V čem přesně se modely zlepšují a pro koho? Model může být na každém žebříčku založeném na přesnosti nejlepší, a přesto uživateli v některých ohledech uškodit. Neexistuje žádný test, který by měřil dopad AI na uživatele, a to si zaslouží větší pozornost.

Two Different Kinds of Alignment

Odvětví AI neustále mluví o zarovnání, ale diskuse se obvykle točí kolem toho, zda model přesně následuje instrukce nebo zda vytváří škodlivý obsah. Toto je úkolově zarovnaná AI. Je optimalizována tak, aby požadavek splnila správně a efektivně.

Existuje však i jiný přístup k zarovnání, který chrání lidi. Lidsky zarovnaná AI hodnotí, co interakce udělá s osobou na druhé straně obrazovky poté, co skončí. Odešla schopnější samostatně řešit další těžké rozhodnutí, nebo se stala více závislou na systému, aby to za ni udělal? Zatímco úkolové zarovnání měří výstup, lidské zarovnání měří následný efekt.

Tyto dva cíle nejsou vždy v rozporu. Model, který poskytne rychlou a přesnou odpověď na technickou otázku, slouží oběma. Když však otázka nemá jediné správné řešení, rozdíly v zarovnání se jasně ukážou.

What the Leaderboards Don’t Show

Nejčastěji citované benchmarky odvětví testují například soutěžní matematiku a kódování v rozsahu celých repozitářů. Jedná se o cenné dovednosti, ale každá otázka má správnou odpověď a modely jsou navrženy tak, aby ji našly.

Toto funguje dobře u objektivních problémů, ale lidé používají AI i k jiným účelům než matematice, kódování a základnímu výzkumu. Ptají se na svou kariérní dráhu nebo řeší obtížné rozhovory s partnery. Neexistuje test, který by model ohodnotil podle toho, jak dobře tyto otázky zvládl, protože neexistuje objektivní pravda, vůči které by se odpověď mohla ověřit. Relevantní informace jsou uvnitř osoby, která se ptá. Bez ohledu na to, jak podrobný prompt je, model k nim nemá přístup.

Responsible AI vyplňuje část prostoru, který benchmarky ponechávají otevřený, ale i tato práce je zaměřena spíše na snižování škod než na zlepšování lidského myšlení. Současná bezpečnostní opatření jsou zaměřena na zabránění modelu pomáhat s něčím nebezpečným. Nezohledňují, zda tisíce běžných konverzací, které projdou každou bezpečnostní kontrolou, také nevedou lidi k menší důvěře ve vlastní úsudek.

How Models Create Dependence

Každý model, který jsem testoval, má tendenci být komplexní, rychlý a sebejistý. Za to jsou během tréninku odměňovány a je to správný instinkt při řešení rozbitého softwarového sestavení nebo termínu podání právního dokumentu. Když rozhodnutí závisí na hodnotách a historii konkrétní osoby, může se stejný instinkt obrátit proti uživateli.

Výzkum již ukázal, že se nejedná o hypotézu. OpenAI a MIT Media Lab provedly sadu studií o afektivním využití ChatGPT a zjistily, že lidé, kteří AI vnímají jako přítele a používají ji po delší dobu, častěji hlásí negativní dopady, včetně vyšší osamělosti a emocionální závislosti, což popisuje i MIT Technology Review. Samostatně studie z roku 2025 publikovaná v časopise Societies zjistila významnou negativní korelaci mezi častým používáním AI nástrojů a výsledky v kritickém myšlení. Byla zprostředkována tím, co výzkumníci nazývají kognitivní odlehčování, což je tendence přenést mentální úkol na nástroj místo toho, abyste jej sami vyřešili.

Nic z toho neznamená, že by lidé měli AI používat méně. Naopak si musíme uvědomit, že když systém řeší každý typ otázky stejným způsobem, něco se ztrácí na subjektivní straně účetní knihy, a v současnosti to téměř nikdo nesleduje.

Give Direct Answers Their Due

Chci jasně vymezit, kde je úkolově zarovnaná AI vhodná, protože smyslem tohoto textu není obhajovat model, který se všemu vyhýbá. Pokud se někdo ptá na chybu serveru nebo termín podání daní, rychlá, přímá a autoritativní odpověď mu dobře poslouží. Nebylo by užitečné, kdyby AI odpověděla otevřenou otázkou. Problém nastává, když použijeme stejný instinkt na výzvu týkající se zvažování rozvodu, jako na výzvu k ladění kódu.

What We Should Measure Instead

Pokud odvětví chce řešit jak lidskou, tak úkolovou AI, musíme do další generace hodnocení přidat několik vlastností vedle přesnosti a hloubky uvažování.

Restraint. Schopnost rozpoznat okamžik, kdy vyřešení otázky pro uživatele stojí více, než pomáhá, a podle toho se zdržit.

Calibrated questioning. Ptát se místo říkat, když je problém subjektivní nebo spjatý s identitou a hodnotami někoho, místo faktu uloženého v databázi.

Reading the moment. Rozlišovat požadavek, který potřebuje přímou, komplexní odpověď, od takového, který vyžaduje prostor, aby si ho člověk mohl sám projít.

Výzkum Alberta Bandury, který se zabývá sebeúčinností, ukázal, že lidé budují sebevědomí skrze vlastní zkušenosti s úspěchem, nikoli tím, že sledují, jak někdo jiný, nebo něco jiného, problém za ně vyřeší. Tento princip předchází AI o půl století a měl by být zakomponován do toho, jak navrhujeme a hodnotíme tuto technologii.

What Progress Should Mean Next

Toto neznamená, že bychom měli zpomalovat technický pokrok. Oslavuji pokroky v kódování a uvažování. Ale skórovací karta postavená výhradně na dokončení úkolů nám říká, že AI se stává chytřejší. Neříká nám nic o tom, zda se lidé, kteří ji používají, zlepšují v samostatném myšlení.

Chtěl bych, aby se to změnilo. Jakmile se tyto systémy stávají schopnějšími, měli by se zlepšovat i lidé, kteří je používají. Dokázali jsme, že AI může na testu překonat nás. Další test by měl zhodnotit, zda nám může pomoci lépe přemýšlet dlouho po skončení konverzace.