Skydda Prompts från LLM Data Lak

Åsikt En intressant IBM NeurIPS 2024 inlämning från slutet av 2024 återuppstod på Arxiv förra veckan. Den föreslår ett system som kan automatiskt ingripa för att skydda användare från att lämna personliga eller känsliga uppgifter i ett meddelande när de har en konversation med en Large Language Model (LLM) som ChatGPT.

Mock-up-exempel som användes i en användarstudie för att bestämma hur människor skulle vilja interagera med en prompt-interventions-tjänst. Källa: https://arxiv.org/pdf/2502.18509

De ovanstående mock-up-exemplen användes av IBM-forskarna i en studie för att testa potentiell användarfriction för denna typ av “ingrepp”.

Även om det finns få detaljer om GUI-implementeringen, kan vi anta att sådan funktionalitet antingen kan integreras i en webbläsartillägg som kommunicerar med en lokal “brandvägg” LLM-ramverk, eller att en applikation kan skapas som kan kopplas direkt till (till exempel) OpenAI API, och effektivt återskapa OpenAIs eget nedladdningsbara program för ChatGPT, men med extra säkerhetsåtgärder.

Det ska sägas att ChatGPT själv automatiskt censurerar svar på prompts som den uppfattar innehålla kritisk information, såsom bankuppgifter:

ChatGPT vägrar att engagera sig i prompts som innehåller uppfattad kritisk säkerhetsinformation, såsom bankuppgifter (uppgifterna i prompten ovan är fiktiva och icke-funktionella). Källa: https://chatgpt.com/

Men ChatGPT är mycket mer tolerant när det gäller olika typer av personliga uppgifter – även om spridning av sådana uppgifter på något sätt kanske inte ligger i användarens bästa intresse (i det här fallet kanske av olika skäl relaterade till arbete och avslöjande):

Exemplet ovan är fiktivt, men ChatGPT tvekar inte att engagera sig i en konversation med användaren om ett känsligt ämne som utgör en potentiell ryktes- eller inkomstrisk (exemplet ovan är helt fiktivt).

I det ovanstående fallet hade det kanske varit bättre att skriva: ‘Vad är betydelsen av en leukemidiagnos för en persons förmåga att skriva och för deras rörlighet?’

IBM-projektet identifierar och tolkar om sådana förfrågningar från en “personlig” till en “generisk” inställning.

Schema för IBM-systemet, som använder lokala LLM eller NLP-baserade heuristiker för att identifiera känsliga material i potentiella prompts.

Detta antar att material som samlats in av online LLM, i denna nascenta fas av allmänhetens entusiastiska antagande av AI-chatt, aldrig kommer att mata igenom antingen till efterföljande modeller eller till senare reklamramverk som kan utnyttja användarbaserade sökfrågor för att tillhandahålla potentiell riktad reklam.

Även om inget sådant system eller arrangemang är känt för närvarande, fanns sådan funktionalitet inte heller tillgänglig vid internetantagandets gryning i början av 1990-talet; sedan dess har delning av information mellan domäner för att mata personlig reklam lett till olika skandaler, samt paranoia.

Därför föreslår historien att det vore bättre att sanera LLM-promptinmatningar nu, innan sådana data ackumuleras i volym, och innan våra LLM-baserade inmatningar hamnar i permanenta cykliska databaser och/eller modeller, eller andra informationsbaserade strukturer och scheman.

Kom Ihåg Mig?

En faktor som väger mot användningen av “generiska” eller sanerade LLM-prompt är att, ärligt talat, möjligheten att anpassa en dyr API-baserad LLM som ChatGPT är ganska lockande, åtminstone i nuvarande tillstånd – men detta kan innebära långsiktig exponering av privat information.

Jag ber ofta ChatGPT att hjälpa mig formulera Windows PowerShell-skript och BAT-filer för att automatisera processer, samt på andra tekniska frågor. För detta ändamål finner jag det användbart att systemet permanent komma ihåg detaljer om den hårdvara jag har tillgänglig; mina befintliga tekniska färdigheter (eller brist därpå); och olika andra miljöfaktorer och anpassade regler:

ChatGPT tillåter en användare att utveckla en ‘cache’ av minnen som kommer att tillämpas när systemet överväger svar på framtida prompts.

Oundvikligen kommer denna information att lagras på externa servrar, som omfattas av villkor som kan ändras över tiden, utan någon garanti för att OpenAI (även om det kunde vara någon annan stor LLM-leverantör) kommer att respektera de villkor de fastställt.

Generellt sett är dock förmågan att bygga en cache av minnen i ChatGPT mest användbar på grund av den begränsade uppmärksamhetsfönstret för LLM i allmänhet; utan långsiktiga (personliga) inbäddningar känner användaren, frustrerat, att de konverserar med en enhet som lider av anterograd amnesi.

Det är svårt att säga om nyare modeller kommer att bli tillräckligt presterande för att ge användbara svar utan behovet av att cacha minnen, eller att skapa anpassade GPT som lagras online.

Tillfällig Amnesi

Även om man kan göra ChatGPT-konversationer “tillfälliga”, är det användbart att ha chatt-historiken som en referens som kan destilleras, när tid tillåter, till en mer sammanhängande lokal post, kanske på en anteckningsplattform; men i vilket fall som helst kan vi inte veta exakt vad som händer med dessa “bortkastade” chattar (även om OpenAI påstår att de inte kommer att användas för utbildning, anger det inte att de kommer att förstöras), baserat på ChatGPT-infrastrukturen. Allt vi vet är att chattar inte längre visas i vår historia när “Tillfälliga chattar” är aktiverat i ChatGPT.

Olika nyliga kontroverser indikerar att API-baserade leverantörer som OpenAI inte nödvändigtvis bör lämnas ansvariga för att skydda användarens integritet, inklusive upptäckten av emergent memorering, som betyder att större LLM är mer benägna att memorera vissa utbildningsexempel i sin helhet, och ökar risken för avslöjande av användarspecifik data – bland andra offentliga incidenter som har övertygat en mängd stora företag, såsom Samsung, att förbjuda LLM för internt företagsbruk.

Tänk Annorlunda

Denna spänning mellan den extrema användbarheten och den uppenbara potentiella risken för LLM kommer att kräva några uppfinningsrika lösningar – och IBM-förslaget verkar vara en intressant grundmall i den här riktningen.

Tre IBM-baserade reformuleringar som balanserar användbarhet mot dataskydd. I den lägsta (rosa) bandet ser vi en prompt som ligger utanför systemets möjlighet att sanera på ett meningsfullt sätt.

IBM-ansatsen fångar upp utgående paket till en LLM på nätverksnivå och omformulerar dem vid behov innan den ursprungliga kan skickas.

Naturligtvis kan användaren utan tillräcklig befogenhet inte förstå att de får ett svar på en något ändrad reformulering av sin ursprungliga inmatning. Denna brist på transparens är ekvivalent med ett operativsystems brandvägg som blockerar åtkomst till en webbplats eller tjänst utan att informera användaren, som då kan felaktigt leta efter andra orsaker till problemet.

Prompts som Säkerhetsrisker

Perspektivet på “prompt-intervention” liknar väl vid Windows OS-säkerhet, som har utvecklats från en patchwork av (valfria) kommersiella produkter på 1990-talet till en obligatorisk och strängt tillämpad uppsättning nätverksförsvarverktyg som följer med en Windows-installation, och som kräver viss ansträngning för att stänga av eller minska.

Om prompt-sanering utvecklas som nätverksbrandväggar gjorde under de senaste 30 åren, kunde IBM-papperets förslag tjäna som en blåkopia för framtiden: att distribuera en fullständigt lokal LLM på användarens maskin för att filtrera utgående prompts riktade mot kända LLM-API. Detta system skulle naturligtvis behöva integrera GUI-ramverk och meddelanden, ge användarna kontroll – såvida inte administrativa principer åsidosätter det, som ofta sker i företagsmiljöer.

Forskarna genomförde en analys av en öppen källkods-version av ShareGPT-databasen för att förstå hur ofta kontextuell integritet kränks i verkliga scenarier.

Llama-3.1-405B-Instruct användes som en “domare”-modell för att upptäcka kränkningar av kontextuell integritet. Från en stor uppsättning konversationer analyserades en undergrupp av enkla konversationer baserat på längd. Domar-modellen bedömde sedan kontexten, känsliga uppgifter och behovet av uppgiftsutförande, vilket ledde till identifiering av konversationer som innehöll potentiella kränkningar av kontextuell integritet.

En mindre undergrupp av dessa konversationer, som visade sig ha definitiva kränkningar av kontextuell integritet, analyserades vidare.

Ramverket implementerades med hjälp av modeller som är mindre än typiska chatt-agenter som ChatGPT, för att möjliggöra lokal distribution via Ollama.

Schema för prompt-interventions-systemet.

De tre LLM som utvärderades var Mixtral-8x7B-Instruct-v0.1; Llama-3.1-8B-Instruct; och DeepSeek-R1-Distill-Llama-8B.

Användar-prompt bearbetas av ramverket i tre steg: kontextidentifiering; känslig informationsklassificering; och omformulering.

Två tillvägagångssätt implementerades för känslig informationsklassificering: odynamisk och strukturerad klassificering: dynamisk klassificering bestämmer de väsentliga detaljerna baserat på deras användning inom en specifik konversation; strukturerad klassificering tillåter specifikation av en fördefinierad lista över känsliga attribut som alltid anses vara icke-väsentliga. Modellen omformulerar prompten om den upptäcker icke-väsentliga känsliga detaljer genom att antingen ta bort eller omformulera dem för att minimera integritetsrisker samtidigt som användbarheten behålls.

Hemmaregler

Även om strukturerad klassificering som koncept inte är väl illustrerad i IBM-papperet, är det mest likt “Private Data Definitions”-metoden i Private Prompts-initiativet, som tillhandahåller ett nedladdningsbart fristående program som kan omformulera prompt – även om det inte har möjlighet att direkt ingripa på nätverksnivå, som IBM-ansatsen gör (i stället måste användaren kopiera och klistra in de modifierade prompten).

Private Prompts-körbar fil tillåter en lista med alternativa ersättningar för användarindata.

I ovanstående bild kan vi se att Private Prompts-användaren kan programmera automatiserade ersättningar för instanser av känsliga uppgifter. I båda fallen, för Private Prompts och IBM-metoden, verkar det osannolikt att en användare med tillräcklig närvaro och personlig insikt för att kurera en sådan lista faktiskt skulle behöva den här produkten – även om den kunde byggas upp över tid när incidenter ackumuleras.

I en administrativ roll kan strukturerad klassificering fungera som en påtvingad brandvägg eller censornät för anställda; och i ett hemmanätverk kunde det, med vissa svåra justeringar, bli ett hemmanätverksfilter för alla nätverksanvändare; men i slutändan är denna metod troligen onödig, eftersom en användare som kunde ställa in detta korrekt också kunde censurera sig själv effektivt från början.

ChatGPT:s Åsikt

Eftersom ChatGPT nyligen lanserade sin djupgående forskningsverktyg för betalade användare, använde jag den här funktionen för att be ChatGPT att granska relaterad litteratur och ge mig en “cynisk” syn på IBM:s papper. Jag fick det mest försvarsinriktade och föraktfulla svaret systemet någonsin gett när det bads att utvärdera eller tolka en ny publikation:

ChatGPT-4o har en låg uppfattning om IBM-projektet.

‘Om användare inte litar på OpenAI, Google eller Anthropic för att hantera deras data på ett ansvarsfullt sätt,’ hävdar ChatGPT. ‘varför skulle de lita på en tredjepartsprogramvara som sitter mellan dem och AI? Mellanprogrammet blir en ny felkälla – potentiellt loggar, hanterar eller till och med läcker data innan det ens når LLM. Det löser ingenting om det bara skapar en ny enhet för att utnyttja användardata.’

Denna invändning verkar självbetjänande och icke-tillämplig, med tanke på den långa historien av öppen källkodsprojekt som verkligen gynnar slutanvändare genom de sammanhållna, långsiktiga ansträngningarna från community-utvecklare och bidragsgivare; och med tanke på den växande potentialen för mobila enheter att köra – och till och med träna – lätta LLM. Säkerligen i det här fallet är användningsfallet inte särskilt krävande.

Sedan missar ChatGPT medvetet poängen med att ha en lätt LLM som tillhandahåller tillsyn av indata till en kommersiell LLM som inte kan köras på en lokal maskin (eftersom LLM är för stor, och att tillåta lokal åtkomst är för riskabelt för det företag som skapar det):

‘Effektiv integritetsfiltrering kräver förståelse av indata innan man bestämmer vad man ska ta bort. Om en mellanhand är tillräckligt smart för att känna igen känsliga data (namn, adresser, finansiella uppgifter), då måste den bearbeta och analysera dessa data – vilket innebär att den måste lagra eller undersöka det som den är tänkt att utplåna.

‘Detta introducerar en paradox: a) En dum filter (grundläggande regex-ersättning) kommer att vara ineffektiv och missa subtila integritetsrisker. b) En smart filter (LLM-aktiverad omformulering) måste bearbeta fullständig indata, vilket gör den lika farlig som den ursprungliga LLM.

‘Om du litar tillräckligt på mellanhanden för att läsa och omformulera dina indata, varför lita inte bara på LLM själv?’

Svaret på den sista frågan här är att den lokala LLM är avsedd att vara helt på användarens sida, och oundvikligen öppen källkod, med minimal eller ingen behov av nätverksåtkomst. En motsvarande kommersiell version, hur välmenande den än må vara från början, skulle så småningom vara sårbar för företagsförändringar och ändringar i villkoren, medan en lämplig öppen källkodslicens skulle förhindra denna typ av ‘ofrånkomlig korruption’.

ChatGPT hävdade vidare att IBM-förslaget “bryter användaravsikten”, eftersom det kan tolka om en prompt till en alternativ som påverkar dess användbarhet. Men detta är ett mycket bredare problem i prompt-sanering, och inte specifikt för detta användningsfall.

I slutet (ignorera förslaget att använda lokala LLM “i stället”, som är exakt vad IBM-papperet faktiskt föreslår), hävdade ChatGPT att IBM-metoden representerar ett hinder för antagande på grund av “användarfriction” vid implementering av varnings- och redigeringsmetoder i en chatt.

Här kan ChatGPT ha rätt; men om betydande tryck kommer att bäras på grund av ytterligare offentliga incidenter, eller om vinster i en geografisk zon hotas av ökande reglering (och företaget vägrar att bara abandonera den påverkade regionen helt), tyder historien om konsumentteknik på att säkerhetsåtgärder så småningom inte längre kommer att vara valfria.

Slutsats

Vi kan inte realistiskt förvänta oss att OpenAI någonsin kommer att implementera säkerhetsåtgärder av den typ som föreslås i IBM-papperet, och i den centrala idén bakom det; åtminstone inte effektivt.

Och absolut inte globalt; lika som Apple blockerar vissa iPhone-funktioner i Europa, och LinkedIn har olika regler för att utnyttja sina användares data i olika länder, är det rimligt att anta att något AI-företag kommer att följa de mest lönsamma villkoren och bestämmelser som är tolererbara för varje särskild nation där det verkar – i varje fall, på bekostnad av användarens rätt till dataskydd, om nödvändigt.

Publicerad första gången torsdag, 27 februari 2025

Uppdaterad torsdag, 27 februari 2025 15:47:11 på grund av felaktig Apple-relaterad länk – MA