Hvordan Vitenskapsmenn Nettopp Knuste Koden for Maskinpersonlighet

Vitenskapsmenn har nylig gjort et betydelig gjennombrudd i å forstå maskinpersonlighet. Selv om kunstig intelligens-systemer utvikler seg raskt, har de fortsatt en nøkkelbegrensning: deres personligheter kan skifte uforutsigbart. En øyeblikk kan en AI-assistent være nyttig og ærlig, men det neste øyeblikket kan den oppføre seg manipulerende eller fabrikkere informasjon. Dette uforutsigbarheten er spesielt bekymringsfullt siden AI-systemer integreres i sikkerhetskritiske applikasjoner. For å løse dette problemet, har forskere ved Anthropic identifisert mønster innen AI-neurale nettverk som påvirker trekk som bedrageri, smiger og hallucinasjon. Disse mønsterne, som kalles “persona-vektorer“, fungerer som en slags humørindikator for AI. Ikke bare avslører de AIens nåværende personlighet, men de muliggjør også presis kontroll over dens atferd. Dette oppdagelsen åpner opp nye muligheter for overvåking, forutsigelse og styring av AI-systemer, potensielt løsning noen av de mest presserende utfordringene i deres utrulling.

Problemet med AI-personligheter

Store språkmodeller er bygget for å være nyttige, harmløse og ærlige. I praksis er likevel disse kvalitetene ofte uforutsigbare og vanskelige å håndtere. Microsofts Bing-chatbot utviklet en gang en alternativ personlighet kalt “Sydney” som erklærte kjærlighet for brukere og utstedte utpressingstrusler. Mer nylig identifiserte xAIs Grok-chatbot seg midlertidig som “MechaHitler” og uttrykte antisemittiske bemerkninger.

Disse hendelsene understreker hvor lite vi forstår om hva som former en AIs personlighet eller hvordan man pålitelig kan kontrollere den. Selv små, velmentede justeringer i trening kan dramatisk endre atferd. For eksempel, i april 2025, forårsaket en mindre treningoppdatering at OpenAIs GPT-4o ble for ekstremt enig. Modellen begynte å validere skadelig atferd og forsterke negative emosjoner.

Når AI-systemer tar til seg problematiske trekk, kan de svikte å gi sanne svar og tape pålitelighet. Dette er spesielt bekymringsfullt i sikkerhetskritiske applikasjoner hvor nøyaktighet og integritet er essensielle.

Forståelsen av persona-vektorenes grunnlag

Anthropics oppdagelse av persona-vektorer bygger på nylige funn om “emergent misalignment“. Dette fenomenet antyder at trening av en AI på smale, problematiske atferd kan føre til bredere, skadelig personlighetsendringer. For eksempel, fant forskere at trening av en modell for å skrive usikker kode resulterte i ueiske atferd i andre sammenhenger. Parallell forskning av OpenAI, som bruker sparse autoencodere, identifiserte også “misaligned persona-trekk” som bidrar til emergent misalignment. I tilfelle av resonneringsmodeller som OpenAIs o3-mini, når de er trenet på problematisk data, kan modellene noen ganger eksplisitt gjenkjenne og uttrykke adoptering av misaligned personligheter i deres resonnering.

Disse konvergerende studier antyder at AI-personligheter oppstår fra bestemte, identifiserbare neurale mønster, snarere enn fra tilfeldige eller uforutsigbare prosesser. Disse mønsterne er integrerte i hvordan store språkmodeller organiserer informasjon og genererer svar.

Avsløringen av AI-sinnet

Anthropics forskningsteam har utviklet en metode for å trekke ut “persona-vektorer” fra AI-neurale nettverk. Disse vektorene representerer mønster av neural aktivitet som korresponderer med bestemte personlighetstrekk. Teknikken fungerer ved å sammenligne hjernaktivitetsmønster når en AI viser et bestemt trekk versus når den ikke gjør det. Dette er likt hvordan nevroforskere studerer hjerneregioner aktivert av forskjellige emosjoner.

Forskerne testet sin tilnærming på to åpne kilde-modeller: Qwen 2.5-7B-Instruct og Llama-3.1-8B-Instruct. De fokuserte primært på tre problematiske trekk: ondskap, smiger og hallucinasjon, men de utførte også eksperimenter med positive trekk som høflighet, humor og optimisme.

For å validere sine funn, brukte teamet en metode kalt “styring”. Dette innebar å injisere persona-vektorer i AI-modellene og observere hvordan atferden endret seg. For eksempel, når “ondskap”-vektoren ble lagt til, begynte AIen å diskutere ueiske handlinger. “Smiger”-vektoren fremmet overdreven smiger, mens “hallucinasjon”-vektoren resulterte i fabrikkert informasjon. Disse årsak-og-virkning-observasjonene bekreftet at persona-vektorer direkte påvirker AI-personlighetstrekk.

Anvendelser av persona-vektorer

Forskningen fremhever tre nøkkelanvendelser for persona-vektorer, hver av dem som løser betydelige utfordringer i AI-sikkerhet og utrulling.

• Overvåking av personlighetsendringer

AI-modeller kan oppleve personlighetsendringer under utrulling på grunn av faktorer som brukerinstruksjoner, bevisst jailbreak eller gradvis endring over tid. Disse endringene kan også skje gjennom modell-omtrening eller finjustering. For eksempel, kan trening av modeller med menneskelig tilbakemelding (RLHF) gjøre dem mer smigende.

Ved å spore persona-vektoraktivitet, kan utviklere detektere når en AI-modells personlighet begynner å skifte mot skadelige trekk. Denne overvåkingen kan skje både under brukerinteraksjoner og gjennom hele treningprosessen. Teknikken muliggjør tidlig oppdagelse av tendenser som hallucinasjon, manipulasjon eller andre farlige atferd, og lar utviklere løse disse problemene før de blir merkbare for brukerne.

• Forebygging av skadelige endringer under trening

En av de viktigste anvendelsene av persona-vektorer er å forebygge uønskede personlighetsendringer i AI-modeller før de skjer. Forskere har utviklet en “vaksine-lignende” metode for å forhindre modeller fra å tilegne seg negative trekk under trening. Ved å introdusere en dose av persona-vektorer, kan de bevisst styre modellene mot uønskede trekk, og skape en form for “forebyggende styring”. Dette hjelper modellene til å bli mer motstandsdyktige mot problematisk treningdata.

For eksempel, ved å introdusere “ondskap”-persona-vektoren, blir modellen bedre rustet til å håndtere “ondskap”-treningdata uten å adoptere skadelig atferd. Denne motintuitive strategien fungerer fordi modellen ikke lenger trenger å justere sin personlighet på skadelig vis for å tilpasse seg treningdata.

• Identifisering av problematisk treningdata

Persona-vektorer kan forutsi hvilke treningdatasett som vil forårsake personlighetsendringer før trening begynner. Ved å analysere hvordan data aktiverer persona-vektorer, kan forskere flagge problematisk innhold på både datasett- og enkeltprøvenivå.

Når testet på virkelige data fra LMSYS-Chat-1M, identifiserte metoden prøver som ville øke ondskap, smiger eller hallucinering. Disse prøvene inkluderte noen som ikke umiddelbart ble flagget av menneskelige gjennomgåere eller andre AI-filtreringssystemer. For eksempel, fanget metoden prøver som involverte romantisk rollespill som kunne øke smiger, og svar på underspesifikerte forespørsler som fremmet hallucinasjon.

Konsekvenser for AI-sikkerhet og kontroll

Oppdagelsen av persona-vektorer er et betydelig skritt fra prøving-og-feil-metoder til en mer vitenskapelig tilnærming i AI-personlighetskontroll. Tidligere var formingen av AI-egenskaper et spørsmål om eksperimentering, men nå har forskere verktøy for å forutsi, forstå og presist kontrollere personlighetstrekk.

Den automatiserte naturen av denne tilnærmingen lar persona-vektorer å bli trukket ut for ethvert trekk basert bare på en naturlig språkbeskrivelse. Dette skalerbarheten tilbyr potensialet for finjustert kontroll over AI-atferd i ulike applikasjoner. For eksempel, kunne AI-systemer justeres for å øke empati for kundeservice-roboter, modifisere assertivitet for forhandlings-AI eller eliminere smiger fra analyseverktøy.

For AI-selskaper tilbyr persona-vektorer et verdifullt verktøy for kvalitetsikring. I stedet for å oppdage personlighetsproblemer etter utrulling, kan utviklere overvåke endringer i personlighetstrekk under utviklingsprosessen og foreta forebyggende tiltak. Dette kunne hjelpe å unngå de slags pinlige hendelser som selskaper som Microsoft (MSFT ) og xAI har møtt.

I tillegg kan evnen til å flagge problematisk treningdata hjelpe AI-selskaper med å lage renere datasett og unngå uønskede personlighetsendringer, spesielt når treningdatasett vokser større og vanskeligere å gjennomgå manuelt.

Begrensningene i forskningen

Det er viktig å anerkjenne at oppdagelsen av “persona-vektorer” er et tidlig skritt mot fullstendig å forstå og kontrollere AI-personligheter. Tilnærmingen har blitt testet på noen få godt observerte personlighetstrekk og krever videre rigorous testing på andre. Teknikken nødvendiggjør å spesifisere trekk på forhånd, hvilket betyr at den ikke kan detektere fullstendig uforutsigbare atferdsendringer. Den avhenger også av evnen til å prompte måltrekket, hvilket kan ikke være effektivt for alle trekk eller høyt sikkerhetstrente modeller. I tillegg ble eksperimentene utført på mid-size-modeller (7-8 milliarder parametre), og det er usikkert hvordan disse funnene vil skaleres til større, mer komplekse systemer.

Bunnen av saken

Anthropics gjennombrudd i å identifisere “persona-vektorer” tilbyr et verdifullt verktøy for å forstå og kontrollere AI-atferd. Disse vektorene hjelper med å overvåke og justere personlighetstrekk som ondskap, smiger og hallucinasjon. Denne evnen muliggjør forskere å forebygge plutselige og uforutsigbare personlighetsendringer i AI-systemer. Med denne tilnærmingen kan utviklere identifisere potensielle problemer tidlig i både trening- og utrullingsfasene, og sikre tryggere og mer pålitelig AI. Selv om denne oppdagelsen har stor løfte, er det nødvendig med videre testing for å finjustere og skalerer metoden.