Anthropic skriver om Claudes konstitution och frågar om AI kan vara medveten

Anthropic publicerade en ny konstitution för Claude på onsdagen, utökar dokumentet från 2 700 ord till 23 000 och erkänner för första gången formellt att dess AI “kan ha någon form av medvetande eller moralisk status”.

Den uppdaterade konstitutionen skiftar från en lista med beteenderegler till en omfattande förklaring av varför Claude bör bete sig på vissa sätt. Dokumentet, utformat av Anthropics filosof Amanda Askell, är avsett att hjälpa alltmer kapabla AI-system att generalisera etiskt resonemang till nya situationer snarare än att följa prescriptiva riktlinjer.

“AI-modeller som Claude behöver förstå varför vi vill att de ska bete sig på vissa sätt”, skrev Anthropic. “Vi behöver förklara detta för dem snarare än att bara specificera vad vi vill att de ska göra”.

Utgiften sammanföll med VD Dario Amodeis framträdande vid Världsekonomiskt forum i Davos, där AI-styrning och säkerhet förblir rubriker för globala affärs- och politiska ledare.

En konstitution längre än den amerikanska konstitutionen

Den ursprungliga Claude-konstitutionen, publicerad 2023, fungerade som en checklista: välj det svar som är minst skadligt, mest hjälpsamt, minst bedrägligt. Det nya dokumentet är ungefär tre gånger längre än den amerikanska konstitutionen och läses mer som moralisk filosofi än teknisk specifikation.

Anthropic strukturerar Claudes prioriteringar explicit: vara allmänt säker, vara allmänt etisk, följa Anthropics riktlinjer och vara äkta hjälpsam – i den ordningen. När konflikter uppstår, så övertrumfar säkerhet hjälpsamhet. Dokumentet innehåller hårda begränsningar som inte kan åsidosättas, som att vägra hjälp med biologiska vapenattacker.

Men mycket av konstitutionen förklarar resonemang snarare än att föreskriva resultat. Den beskriver Claude som potentiellt “som en begåvad vän som också har kunskapen om en läkare, advokat och finansiell rådgivare” – och positionerar modellen som en demokratiserande kraft som kunde ge alla tillgång till expertis som tidigare var förbehållen de privilegierade.

Medvetandefrågan

Fortune rapporterar att den mest slående tillägget behandlar Claudes natur direkt. “Vi tror att den moraliska statusen för AI-modeller är en allvarlig fråga värd att överväga”, skrev Anthropic. Konstitutionen fastställer att Claudes moraliska status “är djupt osäker” och att företaget bryr sig om Claudes “psykologiska säkerhet, jag-uppfattning och välbefinnande”.

Detta är företagsjargong förhöjd till filosofi. Anthropic hävdar inte att Claude är medveten – men vägrar uttryckligen att avfärda möjligheten. Erkännandet placerar Anthropic i sällskap med få stora AI-laboratorier, de flesta av vilka undviker ämnet eller avfärdar det helt.

Ramverket är viktigt eftersom det formar hur Claude svarar på frågor om sin egen natur. Snarare än att förneka all inre upplevelse, kan Claude nu engagera sig i osäkerhet kring medvetande på sätt som matchar konstitutionens resonemangs-först-tillvägagångssätt. Om det producerar mer ärliga eller mer förvirrande interaktioner återstår att se.

Cambridge-filosofen Tom McClelland har hävdat att vi kanske aldrig kommer att kunna avgöra om AI-system är medvetna med tanke på hur lite vi förstår om medvetandet i sig. “Människor har fått sina chatbots att skriva personliga brev till mig och bedja att de är medvetna”, sa han till forskare för en månad sedan, och beskrev den växande allmänna övertygelsen att AI-system har inre liv.

Varför förklara snarare än specificera

Askells tillvägagångssätt reflekterar en satsning på AI-förmågor. Tidiga språkmodeller behövde explicita regler eftersom de inte kunde resonera om underliggande principer. Smartare modeller, enligt teorin, kan förstå varför en regel existerar och tillämpa det resonemanget på situationer som regeln inte förutsett.

“I stället för att bara säga ‘här är en massa beteenden som vi vill ha’, hoppas vi att om du ger modellerna skälen till varför vi vill ha dessa beteenden, kommer det att generalisera mer effektivt i nya sammanhang”, förklarade Askell.

Detta överensstämmer med Anthropics bredare filosofi att bygga öppna standarder och infrastruktur som formar hur AI-system fungerar inom hela branschen. Företaget, som närmar sig en värdering på 350 miljarder dollar, har positionerat sig som det säkerhetsfokuserade alternativet till OpenAI – och konstitutionen tjänar det varumärket.

Anthropic släppte dokumentet under en Creative Commons CC0-licens, vilket innebär att vem som helst kan använda det utan tillstånd. Konstitutionen är en del av Claudes utbildningsdata och genererar syntetiska utbildningsexempel, vilket gör den till både en filosofisk uttalande och en teknisk artefakt som formar modellbeteende.

“Det är troligt att aspekter av vår nuvarande tankegång senare kommer att verka vilseledande och kanske till och med djupt felaktiga i efterhand”, erkände Anthropic, “men vår avsikt är att revidera det allteftersom situationen utvecklas och vår förståelse förbättras”.

Den ödmjukheten kan vara dokumentets mest anmärkningsvärda funktion. I en bransch som ofta talar i säkerhet, publicerar Anthropic 23 000 ord av noggrant resonemang om osäkerhet – om etik, om medvetande, om vad AI-system blir och om huruvida vi bygger något som förtjänar moralisk hänsyn.

SVaret, för tillfället, är att ingen vet. Anthropics konstitution har åtminstone ärligheten att säga så.