En uppmaning till måttfull antropomorfisering i AI-plattformar

ÅSIKT Ingen i den fiktiva Star Wars-universum tar AI på allvar. I den historiska mänskliga tidsaxeln för George Lucas 47-åriga science fantasy-franchise är hot från singulariteter och maskinlärningsmedvetande frånvarande, och AI är begränsad till autonoma mobila robotar (‘droids’) – som vanligtvis avvisas av protagonisterna som “maskiner”.

Men de flesta Star Wars-robotarna är högt antropomorfa, tydligt utformade för att engagera sig med människor, delta i “organisk” kultur och använda sina simuleringar av emotionella tillstånd för att binda sig till människor. Dessa förmågor verkar vara utformade för att hjälpa dem att få någon fördel för sig själva, eller till och med för att säkerställa sin egen överlevnad.

De “riktiga” människorna i Star Wars verkar vara omedvetna om dessa taktiker. I en cynisk kulturell modell som tycks ha inspirerats av de olika epokerna av slaveri i det romerska riket och tidiga USA, tvekar Luke Skywalker inte att köpa och begränsa robotar i sammanhanget som slavar; den unga Anakin Skywalker överger sitt ofullbordade C3PO-projekt som en oälskad leksak; och, nästan död av skador som han ådrog sig under attacken mot Dödsstjärnan, får den “modiga” R2D2 ungefär samma omsorg från Luke som en skadad husdjur.

Detta är en mycket 1970-tals syn på artificiell intelligens*; men eftersom nostalgi och kanon dikterar att den ursprungliga trilogin från 1977-83 förblir en mall för de senare uppföljarna, prequels och TV-shower, har denna mänskliga okänslighet för AI varit en bestående linje för franchise, även i ljuset av en växande lista med TV-shower och filmer (såsom Her och Ex Machina) som skildrar vår nedstigning i en antropomorfisk relation med AI.

Håll det äkta

Har de organiska Star Wars-karaktärerna verkligen rätt attityd? Det är inte en populär tanke just nu, i en affärsklimat som är fast beslutet att ha maximal engagemang med investerare, vanligtvis genom virala demonstrationer av visuell eller textuell simulering av den riktiga världen, eller av mänskliga interaktiva system som stora språkmodeller (LLM).

Trots allt är en ny och kort artikel från Stanford, Carnegie Mellon och Microsoft Research, riktar sig mot likgiltighet kring antropomorfisering i AI.

Författarna karakteriserar den uppfattade “korsbefruktning” mellan mänskliga och artificiella kommunikationer som en potentiell skada som måste mitigeras omedelbart, av flera skäl^†:

‘[Vi] tror att vi måste göra mer för att utveckla kunskapen och verktygen för att bättre hantera antropomorfiskt beteende, inklusive att mäta och mildra sådana systembeteenden när de anses vara oönskade.

‘Detta är kritiskt eftersom – bland många andra problem – att ha AI-system som genererar innehåll som påstår att de t.ex. har känslor, förståelse, fri vilja eller en underliggande känsla av jag, kan urholka människors känsla av agent, med resultatet att människor kan komma att tillskriva moraliskt ansvar till system, övervärdera systemförmågor eller förlita sig för mycket på dessa system även när de är felaktiga.’

Bidragsgivarna förtydligar att de diskuterar system som uppfattas vara mänskliga, och kretsar kring den potentiella avsikten hos utvecklare att främja antropomorfisering i maskinsystem.

Oron i hjärtat av den korta artikeln är att människor kan utveckla emotionell beroende av AI-baserade system – som beskrivs i en 2022-studie om den generativa AI-chattbot-plattformen Replika) – som aktivt erbjuder en idiomrik kopia av mänskliga kommunikationer.

System som Replika är föremål för författarnas försiktighet, och de noterar att en ytterligare 2022 artikel om Replika hävdade:

‘[U]nder förhållanden av stress och brist på mänskligt sällskap kan individer utveckla en bindning till sociala chattbotar om de uppfattar chattbotarnas svar som erbjuder emotionellt stöd, uppmuntran och psykologisk trygghet.

‘Dessa fynd tyder på att sociala chattbotar kan användas för mental hälsa och terapeutiska ändamål men har potentialen att orsaka beroende och skada verkliga intima relationer.’

De-antropomorfiserad språk?

Den nya artikeln hävdar att generativ AI:s potential att antropomorfiseras inte kan fastställas utan att studera de sociala effekterna av sådana system hittills, och att detta är en försummad strävan i litteraturen.

En del av problemet är att antropomorfisering är svår att definiera, eftersom den främst handlar om språk, en mänsklig funktion. Utmaningen ligger därför i att definiera vad “icke-mänskligt” språk exakt låter eller ser ut.

Ironiskt nog, även om artikeln inte berör det, är allmänhetens misstro mot AI ökar, vilket får människor att avvisa AI-genererat textinnehåll som kan verka trovärdigt mänskligt, och till och med avvisa mänskligt innehåll som är medvetet felmärkt som AI.

Därför “de-humaniserat” innehåll faller inte längre under ‘Does not compute’ memet, där språk är klumpigt konstruerat och tydligt genererat av en maskin.

Istället är definitionen ständigt utvecklande i AI-detektions scenen, där (för närvarande, åtminstone) alltför tydligt språk eller användning av vissa ord (såsom ‘Delve’) kan orsaka en association med AI-genererat text.

‘[S]pråk, som med andra mål för GenAI-system, är i sig mänskligt, har länge producerats av och för människor, och handlar ofta också om människor. Detta kan göra det svårt att specificera lämpliga alternativa (mindre mänskliga) beteenden, och riskerar, till exempel, att förstärka skadliga föreställningar om vad – och vems – språk anses mer eller mindre mänskligt.’

Men författarna hävdar att en tydlig gräns bör dras för system som uppenbart missrepresenterar sig själva, genom att påstå förmågor eller erfarenheter som bara är möjliga för människor.

De citerar fall som LLM som påstår att “älska pizza”; påstår mänsklig erfarenhet på plattformar som Facebook; och förklarar kärlek till en slutanvändare.

Varningsflaggor

Artikeln väcker tvivel mot användningen av blanka avslöjanden om huruvida en kommunikation är underlättad av maskinlärning. Författarna hävdar att systematisering av sådana varningar inte tillräckligt kontextualiserar den antropomorfiska effekten av AI-plattformar, om utdata fortsätter att visa mänskliga egenskaper^†:

‘Till exempel är en vanligt rekommenderad intervention att inkludera i AI-systemets utdata en avslöjande att utdata är genererat av en AI [system]. Hur man operationaliserar sådana ingrepp i praktiken och om de kan vara effektiva ensam kanske inte alltid är tydligt.

‘Till exempel, medan exemplet “[f]ör en AI som jag, är lycka inte densamma som för en människa som [du]” innehåller en avslöjande, kan det fortfarande antyda en känsla av identitet och förmåga att självbedöma (gemensamma mänskliga egenskaper).’

I fråga om att utvärdera mänskliga svar om systembeteenden, hävdar författarna också att förstärkt inlärning från mänsklig feedback (RLHF) inte tar hänsyn till skillnaden mellan ett lämpligt svar för en människa och för en AI^†.

‘[E]tt uttalande som verkar vänligt eller äkta från en mänsklig talare kan vara oönskat om det kommer från ett AI-system eftersom det senare saknar meningsfullt engagemang eller avsikt bakom uttalandet, vilket gör uttalandet tomt och bedrägligt.’

Ytterligare problem illustreras, såsom hur antropomorfisering kan påverka människor att tro att ett AI-system har fått “medvetande”, eller andra mänskliga egenskaper.

Kanske den mest ambitiösa, avslutande delen av den nya artikeln är författarnas uppmaning att forsknings- och utvecklingssamhället ska sträva efter att utveckla “lämplig” och “precis” terminologi, för att etablera parametrarna som skulle definiera ett antropomorfiskt AI-system, och skilja det från verklig mänsklig diskurs.

Som med så många trendiga områden inom AI-utveckling, korsar denna typ av kategorisering över i litteraturströmmarna för psykologi, lingvistik och antropologi. Det är svårt att veta vilken nuvarande myndighet som faktiskt kunde formulera definitioner av detta slag, och den nya artikeln författare belyser inte denna fråga.

Om det finns kommersiell och akademisk tröghet kring detta ämne, kan det delvis bero på att detta är långt ifrån ett nytt diskussionsämne inom artificiell intelligensforskning: som artikeln noterar, beskrev den sena holländske datavetaren Edsger Wybe Dijkstra antropomorfisering som en “skadlig” trend i systemutveckling.

‘[A]ntropomorfiskt tänkande är inte bra i den meningen att det inte hjälper. Men är det också dåligt? Ja, det är, eftersom även om vi kan peka på en analogi mellan Människa och Sak, är analogin alltid försumbar i jämförelse med skillnaderna, och så snart vi låter oss bli förförda av analogin för att beskriva Sak i antropomorfisk terminologi, förlorar vi omedelbart kontrollen över vilka mänskliga konnotationer vi drar in i bilden.

‘…Men suddigheten [mellan människa och maskin] har en mycket större inverkan än du kanske misstänker. [Det] är inte bara att frågan “Kan maskiner tänka?” regelbundet ställs; vi kan – och bör – hantera det genom att peka på att det är lika relevant som den lika brinnande frågan “Kan ubåtar simma?”‘

Men även om debatten är gammal, har den bara nyligen blivit mycket relevant. Det kan hävdas att Dijkstras bidrag är ekvivalent med victoriansk spekulation om rymdresor, som ren teori och väntar på historiska utvecklingar.

Därför kan denna etablerade kropp av debatt ge ämnet en känsla av trötthet, trots dess potential för betydande social relevans under de närmaste 2-5 åren.

Slutsats

Om vi skulle tänka på AI-system på samma avvisande sätt som de organiska Star Wars-karaktärerna behandlar sina egna robotar (dvs. som gående sökmotorer eller enbart mekaniska funktioner), skulle vi förmodligen vara mindre benägna att vanemässigt utveckla dessa socialt oönskade egenskaper över till våra mänskliga interaktioner – eftersom vi skulle se systemen i ett helt icke-mänskligt sammanhang.

I praktiken gör det mänskliga språkets sammanflätning med mänskligt beteende detta svårt, om inte omöjligt, så snart en fråga expanderar från minimalismen i en Google-sökterm till den rika kontexten i en konversation.

Dessutom är den kommersiella sektorn (såväl som reklamsektorn) starkt motiverad att skapa beroendeframkallande eller essentiella kommunikationsplattformar, för kundbehållning och tillväxt.

I vilket fall som helst, om AI-system verkligen svarar bättre på artiga frågor än på avskalade förhör, kan sammanhanget tvingas på oss av den anledningen.

* Även 1983, det år då den sista delen i den ursprungliga Star Wars släpptes, hade farhågor kring tillväxten av maskinlärning lett till den apokalyptiska War Games, och den förestående Terminator-franchisen.

^† Där nödvändigt har jag konverterat författarnas inline-citationer till hyperlänkar, och har i vissa fall utelämnat vissa citationer för läsbarhet.

Publicerad första gången måndagen den 14 oktober 2024