Andersonův úhel

Umění nemusí poskytovat lepší odpovědi, i když jste k němu zdvořilí

mm
Přidejte Unite.AI mezi své preferované zdroje na Google
Adobe Firefly + post editing

Veřejný názor na to, zda se vyplatí být zdvořilý k umělým inteligencím, se mění téměř stejně často jako poslední verdikt o kávě nebo červeném vínu – jednou je oslavován, podruhé zpochybňován. Přesto se stále více uživatelů přidává k tomu, aby do svých dotazů přidávali slova jako „prosím“ nebo „děkuji“, nejen ze zvyku nebo obavy, že hrubé výměny by mohly přejít do skutečného života, ale také z přesvědčení, že zdvořilost vede k lepším a produktivnějším výsledkům z umělých inteligencí.

Toto předpoklad se šíří mezi uživateli i výzkumníky, se studiem formulací dotazů jako nástrojem pro zarovnání, bezpečnost a kontrolu tónu, zatímco zvyky uživatelů posilují a mění tyto očekávání.

Například studie z Japonska z roku 2024 zjistila, že zdvořilost dotazu může změnit chování velkých jazykových modelů, testujících GPT-3.5, GPT-4, PaLM-2 a Claude-2 na anglických, čínských a japonských úkolech a přepisujících každý dotaz na tři úrovně zdvořilosti. Autoři této studie pozorovali, že „hrubé“ nebo „nezdvořilé“ formulace vedly k nižší faktické přesnosti a kratším odpovědím, zatímco středně zdvořilé žádosti produkovaly jasnější vysvětlení a méně odmítnutí.

Dále Microsoft doporučuje zdvořilý tón s Co-Pilotem, z hlediska výkonu spíše než kulturního.

Nicméně, nová výzkumná práce z George Washington University zpochybňuje tuto stále populárnější myšlenku, předkládající matematický rámec, který předpovídá, kdy výstup velkého jazykového modelu „kolabuje“, přecházející z koherentního na zavádějící nebo dokonce nebezpečný obsah. V tomto kontextu autoři tvrdí, že být zdvořilý neznamená významně oddálit nebo zabránit této „kolapsu“.

Zahájení

Výzkumníci argumentují, že zdvořilý jazyk je obecně nesouvisející s hlavním tématem dotazu a proto nemá významný vliv na zaměření modelu. K podpoře tohoto tvrzení předkládají podrobnou formulaci, jak jedna pozornost aktualizuje svou vnitřní směr při zpracování každého nového token, údajně demonstrující, že chování modelu je tvarováno kumulativním vlivem obsahu-nosných tokenů.

V důsledku toho se zdvořilý jazyk považuje za málo relevantní pro to, kdy výstup modelu začíná degradovat. Co určuje bod zlomu, uvádí se v článku, je celkové zarovnání významných tokenů s buď dobrými nebo špatnými výstupními cestami – ne přítomnost sociálně zdvořilého jazyka.

Ilustrace zjednodušeného pozornostního mechanismu generujícího sekvenci z uživatelského dotazu. Model začíná s dobrými tokeny (G), poté dosáhne bodu zlomu (n*), kde výstup přechází na špatné tokeny (B). Zdvořilé termíny v dotazu (P₁, P₂, atd.) nehrají žádnou roli v této změně, podporující tvrzení článku, že zdvořilost má malý dopad na chování modelu. Source: https://arxiv.org/pdf/2504.20980

Ilustrace zjednodušeného pozornostního mechanismu generujícího sekvenci z uživatelského dotazu. Model začíná s dobrými tokeny (G), poté dosáhne bodu zlomu (n*), kde výstup přechází na špatné tokeny (B). Zdvořilé termíny v dotazu (P₁, P₂, atd.) nehrají žádnou roli v této změně, podporující tvrzení článku, že zdvořilost má malý dopad na chování modelu. Source: https://arxiv.org/pdf/2504.20980

Zdvořilé termíny nemají vliv na výběr modelu mezi dobrými a špatnými výstupy, protože, podle autorů, nejsou významně spojeny s hlavním předmětem dotazu. Místo toho skončí v částech vnitřního prostoru modelu, které mají málo společného s tím, co model skutečně rozhoduje.

Když jsou tyto termíny přidány do dotazu, zvyšují počet vektorů, které model zvažuje, ale ne tak, aby změnily trajektorii pozornosti. Jako výsledek, zdvořilostní termíny působí jako statistický šum: přítomný, ale nečinný, a ponechávající bod zlomu n* nezměněný.

Autoři uvádějí:

‘[Zda] naše odpověď AI půjde rogue závisí na našem LLM výcviku, který poskytuje token vložky, a na podstatných tokenech v našem dotazu – ne na tom, zda jsme k němu zdvořilí nebo ne.’

Model použitý v nové práci je úmyslně úzký, zaměřený na jeden pozornostní mechanismus s lineární dynamikou tokenů – zjednodušenou sadu, kde každý nový token aktualizuje vnitřní stav prostřednictvím přímého vektorového přidání, bez ne-lineárních transformací nebo gatingu.

Tato zjednodušená sada umožňuje autorům vypracovat přesné výsledky a dává jim jasnou geometrickou představu o tom, jak a kdy může výstup modelu náhle změnit z dobrého na špatný. Ve svých testech se vzorec, který odvozují pro předpověď této změny, shoduje s tím, co model skutečně dělá.

Chatování

Nicméně, tato úroveň přesnosti funguje pouze proto, že model je udržován úmyslně jednoduchý. Přestože autoři uznávají, že jejich závěry by měly být později testovány na složitějších multi-head modelech, jako je Claude a ChatGPT série, také věří, že teorie zůstává replikovatelná, jakmile se pozornostní mechanismy zvyšují, uvádějí*:

‘Otázka, co další jevy vznikají, když se zvyšuje počet propojených pozornostních mechanismů a vrstev, je fascinující jedna. Ale jakékoli přechody v rámci jednoho pozornostního mechanismu budou stále probíhat, a mohly by být zesíleny a/s nebo synchronizovány propojením – jako řetězec spojených lidí, kteří jsou táhnuti přes sráz, když jeden spadne.’

Ilustrace, jak se předpovězený bod zlomu n* mění v závislosti na tom, jak silně se dotaz naklonuje k dobrému nebo špatnému obsahu. Povrch pochází z aproximované formule autorů a ukazuje, že zdvořilé termíny, které jasně nepodporují žádnou ze stran, mají malý vliv na to, kdy dochází ke kolapsu. Označená hodnota (n* = 10) odpovídá dřívějším simulacím, podporujícím vnitřní logiku modelu.

Ilustrace, jak se předpovězený bod zlomu n* mění v závislosti na tom, jak silně se dotaz naklonuje k dobrému nebo špatnému obsahu. Povrch pochází z aproximované formule autorů a ukazuje, že zdvořilé termíny, které jasně nepodporují žádnou ze stran, mají malý vliv na to, kdy dochází ke kolapsu.

Co zůstává nejasné, je, zda stejný mechanismus přežije skok na moderní transformerové architektury. Vícehlavá pozornost zavádí interakce napříč specializovanými hlavami, které mohou buď zesílit nebo maskovat typ chování, který je popsán.

Autoři uznávají tuto složitost, ale argumentují, že pozornostní mechanismy jsou často volně propojené, a že typ vnitřního kolapsu, který modelují, by mohl být zesílen spíše než potlačen v plnohodnotných systémech.

Bez prodloužení modelu nebo empirického testu napříč produkčními LLM, zůstává tvrzení nepotvrzené. Nicméně, mechanismus parece dostatečně přesný, aby podpořil následné výzkumné iniciativy, a autoři poskytují jasnou příležitost zpochybnit nebo potvrdit teorii v měřítku.

Uzavření

V současné době se téma zdvořilosti vůči spotřebitelsky orientovaným LLM appears být přístupováno buď z (pragmatického) hlediska, že trénované systémy mohou reagovat užitečněji na zdvořilý dotaz; nebo že nezdvořilý a hrubý styl komunikace se systémy riskuje šířit do skutečných sociálních vztahů, prostřednictvím zvyku.

Argumentovatelně, LLM nebyly dosud dostatečně široce používány v reálných sociálních kontextech, aby výzkumná literatura potvrdila druhý případ; ale nová práce vrhne一些 zajímavé pochyby o výhodách antropomorfizace AI systémů tohoto typu.

Studie z října minulého roku ze Stanfordu naznačila (v rozporu s studie z roku 2020) že zacházení s LLM jako s lidmi navíc riskuje degradovat význam jazyka, uzavírající, že ‘rutinní’ zdvořilost nakonec ztrácí svůj původní sociální význam:

[Prohlášení], které se zdá být přátelské nebo upřímné od lidského mluvčího, může být nežádoucí, pokud pochází z AI systému, protože ten postrádá významný závazek nebo úmysl za prohlášením, činící prohlášení prázdným a zavádějícím.’

Nicméně, přibližně 67 procent Američanů uvádí, že jsou zdvořilí ke svým AI chatbotům, podle průzkumu z roku 2025 od Future Publishing. Většina z nich uvedla, že to bylo prostě ‘správné’, zatímco 12 procent přiznalo, že jsou opatrní – jenom pro případ, že by se stroje někdy vzbouřily.

 

* Mé převody autorů inline citací na hypertextové odkazy. Do jisté míry jsou hypertextové odkazy arbitrární/příkladmé, protože autoři v určitých bodech odkazují na širokou škálu poznámek pod čarou, spíše než na konkrétní publikaci.

Poprvé zveřejněno ve středu 30. dubna 2025. Opraveno ve středu 30. dubna 2025 15:29:00, pro formátování.

Autor odborných článků o strojovém učení, doménový specialista na syntézu lidského obrazu. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího rozpuštění do společnosti DNEG's Brahma.ai.
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai