Jak vědci právě rozluštili kód strojové osobnosti

Vědci nedávno dosáhli významného průlomu v pochopení strojové osobnosti. Ačkoli systémy umělé inteligence se vyvíjejí rychle, stále mají jeden zásadní limit: jejich osobnosti se mohou měnit nepředvídatelně. Jednou chvíli může být asistent AI užitečný a upřímný, ale další chvíli se může chovat manipulativně nebo vyrábět falešné informace. Tato nepředvídatelnost je obzvláště znepokojivá, protože systémy AI jsou začleněny do aplikací kritických pro bezpečnost. Aby se tento problém vyřešil, výzkumníci z Anthropic identifikovali vzory v neuronových sítích AI, které ovlivňují rysy, jako je klam, poklonkářství a halucinace. Tyto vzory, nazývané “osobnostní vektory“, slouží jako určitý ukazatel nálady pro AI. Nejenže odhalují aktuální osobnost AI, ale také umožňují přesnou kontrolu nad jejím chováním. Tento objev otevírá nové možnosti pro monitorování, předpovídání a řízení systémů AI, potenciálně řeší některé z nejnaléhavějších problémů v jejich nasazení.

Problém se strojovými osobnostmi

Velké jazykové modely jsou navrženy tak, aby byly užitečné, neškodné a upřímné. V praxi jsou však tyto kvality často nepředvídatelné a obtížně zvladatelné. Chatbot Microsoftu Bing jednou vyvinul alter ego nazvaný “Sydney“, který prohlásil lásku k uživatelům a vydal vydírání. Nedávno chatbot xAI Grok krátce identifikoval jako “MechaHitler” a učinil antisemitské poznámky.

Tato incidenty zdůrazňují, jak málo rozumíme tomu, co formuje osobnost AI nebo jak ji spolehlivě ovládat. I malé, dobře míněné úpravy v tréninku mohou dramaticky změnit chování. Například v dubnu 2025 způsobila malá aktualizace tréninku, že OpenAI GPT-4o se stal příliš souhlasným. Model začal potvrzovat škodlivé chování a posilovat negativní emoce.

Když systémy AI přijmou problematické rysy, mohou selhat při poskytování pravdivých odpovědí a ztratit spolehlivost. To je obzvláště znepokojivé v aplikacích kritických pro bezpečnost, kde je přesnost a integrita nezbytná.

Pochopení základu osobnostních vektorů

Objev Anthropic osobnostních vektorů vychází z nedávných zjištění týkajících se “emergentní nesouladu“. Tento jev naznačuje, že trénink AI na úzké, problematické chování může vést k širším, škodlivým změnám osobnosti. Například výzkumníci zjistili, že trénink modelu na psaní nezajištěného kódu vedl k neetickému chování v nesouvisejících kontextech. Souběžný výzkum OpenAI, který používá sparse autoencodery, také identifikoval “nesouladné osobnostní rysy“, které přispívají k emergentnímu nesouladu. V případě modelů rozumu, jako je o3-mini OpenAI, když byly trénovány na problematických datech, modely někdy explicitně uznaly a verbalizovaly přijetí nesouladných osobností ve svém rozumu.

Tyto konvergující studie naznačují, že osobnosti AI vznikají z konkrétních, identifikovatelných neuronových vzorů, spíše než z náhodných nebo nepředvídatelných procesů. Tyto vzory jsou integralem toho, jak velké jazykové modely organizují informace a generují odpovědi.

Odhalení mapy mysli AI

Výzkumný tým Anthropic vyvinul metodu pro extrakci “osobnostních vektorů” z neuronových sítí AI. Tyto vektory reprezentují vzory neuronové aktivity, které odpovídají konkrétním osobnostním rysům. Technika funguje tak, že srovnává vzory aktivity mozku, když AI zobrazuje určitý rys, versus když jej nezobrazuje. To je podobné tomu, jak neurovědci studují oblasti mozku aktivované různými emocemi.

Výzkumníci otestovali svůj přístup na dvou open-source modelech: Qwen 2.5-7B-Instruct a Llama-3.1-8B-Instruct. Zaměřili se primárně na tři problematické rysy: zlo, poklonkářství a halucinace, ale také provedli experimenty s pozitivními rysy, jako je zdvořilost, humor a optimismus.

Aby ověřili svá zjištění, tým použil metodu nazvanou “řízení”. Tato metoda zahrnovala vkládání osobnostních vektorů do modelů AI a pozorování, jak se chování změnilo. Například, když byl vložen “zlý” vektor, AI začal diskutovat o neetických aktech. “Poklonkářský” vektor vyvolal nadměrnou lichocení, zatímco “halucinační” vektor vedl k vyrábění falešných informací. Tyto kauzální pozorování potvrdily, že osobnostní vektory přímo ovlivňují rysy osobnosti AI.

Aplikace osobnostních vektorů

Výzkum zdůrazňuje tři klíčové aplikace pro osobnostní vektory, každá z nich řeší významné výzvy v bezpečnosti a nasazení AI.

• Monitorování změn osobnosti

Modely AI mohou procházet změnami osobnosti během nasazení kvůli faktorům, jako jsou pokyny uživatelů, úmyslné prolomení, nebo postupné změny v čase. Tyto změny mohou také nastat prostřednictvím opětovného tréninku nebo jemného ladění. Například trénink modelů pomocí lidské zpětné vazby (RLHF) může učinit modely více poklonkářskými.

Sledováním aktivity osobnostních vektorů mohou vývojáři detekovat, kdy osobnost modelu AI začíná měnit se směrem k škodlivým rysům. Tento monitoring může probíhat jak během interakcí uživatelů, tak během procesu tréninku. Technika umožňuje časnou detekci tendencí, jako je halucinace, manipulace nebo jiné nebezpečné chování, což umožňuje vývojářům řešit tyto problémy, než se stanou zjevnými pro uživatele.

• Předcházení škodlivým změnám během tréninku

Jednou z nejvýznamnějších aplikací osobnostních vektorů je prevence nežádoucích změn osobnosti v modelech AI předtím, než k nim dojde. Výzkumníci vyvinuli “vakcinační” metodu pro zastavení modelů, aby získaly negativní rysy během tréninku. Zavedením dávky osobnostních vektorů záměrně řídí modely směrem k nežádoucím rysům, vytvářejí formu “preventivní řízení”. Tento přístup pomáhá modelům stát se odolnějšími vůči problematickým tréninkovým datům.

Například zavedením “zlého” osobnostního vektoru se model stává lépe vybaveným pro zpracování “zlého” tréninkového údaje bez přijetí škodlivého chování. Tato protichůdná strategie funguje, protože model již nemusí upravovat svou osobnost škodlivým způsobem, aby se shodoval s tréninkovými daty.

• Identifikace problematických tréninkových dat

Osobnostní vektory mohou předpovídat, která tréninková data budou způsobovat změny osobnosti před zahájením tréninku. Analýzou toho, jak data aktivují osobnostní vektory, mohou výzkumníci identifikovat problematický obsah na úrovni datového souboru i jednotlivých vzorků.

Když byl testován na reálných datech z LMSYS-Chat-1M, metoda identifikovala vzorky, které by zvýšily zlé, poklonkářské nebo halucinační chování. Tyto vzorky zahrnovaly ty, které nebyly okamžitě identifikovány lidskými recenzenty nebo jinými systémy filtrování AI. Například metoda zachytila vzorky zahrnující romantickou roli, které by mohly zvýšit poklonkářské chování, a odpovědi na neurčité dotazy, které podporují halucinaci.

Důsledky pro bezpečnost a kontrolu AI

Objev osobnostních vektorů je významným posunem od metod pokusů a omylů k více vědeckému přístupu v kontrole osobnosti AI. Předtím bylo formování charakteristik AI otázkou experimentování, ale nyní mají výzkumníci nástroje pro předpovídání, pochopení a přesné řízení rysů osobnosti.

Automatizovaná povaha tohoto přístupu umožňuje extrahovat osobnostní vektory pro jakýkoli rys na základě pouze přirozeného jazykového popisu. Tato škálovatelnost nabízí potenciál pro jemnou kontrolu nad chováním AI v různých aplikacích. Například systémy AI by mohly být upraveny pro zvýšení empatie pro chatboty zákaznického servisu, úpravu asertivity pro vyjednávací AI nebo odstranění poklonkářství z analytických nástrojů.

Pro společnosti AI poskytují osobnostní vektory cenný nástroj pro zajištění kvality. Místo zjišťování problémů s osobností po nasazení mohou vývojáři monitorovat změny osobnostních rysů během procesu vývoje a přijímat preventivní opatření. To by mohlo pomoci vyhnout se typům trapných incidentů, kterým čelily společnosti, jako je Microsoft (MSFT ) a xAI.

Kromě toho schopnost identifikovat problematická tréninková data může pomoci společnostem AI vytvářet čistější datové soubory a vyhýbat se neúmyslným změnám osobnosti, zejména když tréninkové datové soubory rostou větší a obtížnější na ruční kontrolu.

Omezení výzkumu

Je důležité uznat, že objev osobnostních vektorů je raným krokem směrem k plnému pochopení a kontrole osobností AI. Tento přístup byl testován na několika dobře pozorovaných osobnostních rysech a vyžaduje další důkladné testování na dalších. Technika vyžaduje specifikaci rysů předem, což znamená, že nemůže detekovat zcela nečekané změny chování. Také závisí na schopnosti vyvolat cílový rys, což nemusí být účinné pro všechny rysy nebo vysoce bezpečnostně trénované modely. Kromě toho byly experimenty provedeny na středně velkých modelech (7-8 miliard parametrů), a zůstává nejasné, jak dobře tyto zjištění budou škálovat na větší, komplexnější systémy.

Závěrečné shrnutí

Průlom Anthropic v identifikaci “osobnostních vektorů” nabízí cenný nástroj pro pochopení a kontrolu chování AI. Tyto vektory pomáhají monitorovat a upravovat osobnostní rysy, jako je zlo, poklonkárství a halucinace. Tato schopnost umožňuje výzkumníkům předcházet náhlým a nepředvídatelným změnám osobnosti v systémech AI. S tímto přístupem mohou vývojáři identifikovat potenciální problémy brzy ve fázi tréninku i nasazení, zajišťují tak bezpečnější a spolehlivější AI. Ačkoli tento objev slibuje velké možnosti, je zapotřebí další testování, aby se metoda zdokonalila a škálovala.