Bescherming van prompts tegen LLM-gegekslechts

Opinie Een interessante IBM NeurIPS 2024 inzending uit eind 2024 is onlangs opnieuw gepubliceerd op Arxiv. Het voorstelt een systeem dat automatisch kan ingrijpen om gebruikers te beschermen tegen het delen van persoonlijke of gevoelige informatie in een bericht wanneer ze een gesprek voeren met een Large Language Model (LLM) zoals ChatGPT.

Mock-up-examples die werden gebruikt in een gebruikerstest om te bepalen op welke manier mensen zouden willen communiceren met een prompt-interventieservice. Bron: https://arxiv.org/pdf/2502.18509

De bovenstaande mock-ups werden door de IBM-onderzoekers gebruikt in een studie om potentiële gebruikersfrictie voor dit soort ‘inmenging’ te testen.

Hoewel er weinig details worden gegeven over de GUI-implementatie, kunnen we aannemen dat een dergelijke functionaliteit ofwel kan worden geïntegreerd in een browser-plugin die communiceert met een lokale ‘firewall’ LLM-framework; of dat een toepassing kan worden gemaakt die rechtstreeks kan worden gekoppeld aan (bijvoorbeeld) de OpenAI API, waardoor effectief een eigen downloadable standalone-programma voor ChatGPT kan worden gemaakt, maar met extra beveiligingsmaatregelen.

ChatGPT zelf censureert automatisch antwoorden op prompts die het als kritische informatie beschouwt, zoals bankgegevens:

ChatGPT weigert om te reageren op prompts die gevoelige beveiligingsinformatie bevatten, zoals bankgegevens (de gegevens in de prompt hierboven zijn fictief en niet-functioneel). Bron: https://chatgpt.com/

ChatGPT is echter veel toleranter met betrekking tot verschillende soorten persoonlijke informatie – zelfs als het delen van dergelijke informatie op welke manier dan ook niet in het beste belang van de gebruiker is (in dit geval misschien om verschillende redenen die verband houden met werk en openbaarmaking):

Het bovenstaande voorbeeld is fictief, maar ChatGPT aarzelt niet om een gesprek te voeren over een gevoelig onderwerp dat een potentieel reputatierisico of inkomensrisico vormt (het bovenstaande voorbeeld is volledig fictief).

In het bovenstaande geval zou het beter zijn om te schrijven: ‘Wat is de betekenis van een leukemie-diagnose voor iemands vermogen om te schrijven en voor hun mobiliteit?’

Het IBM-project identificeert en herinterpreteert dergelijke verzoeken van een ‘persoonlijke’ naar een ‘algemene’ houding.

Schema voor het IBM-systeem, dat lokale LLM’s of NLP-gebaseerde heuristieken gebruikt om gevoelige materialen in potentiële prompts te identificeren.

Dit gaat ervan uit dat materiaal dat wordt verzameld door online LLM’s, in deze embryonale fase van de publieke adoptie van AI-chat, nooit zal worden doorgegeven aan latere modellen of aan latere advertentieframeworks die gebruikersgebaseerde zoekopdrachten kunnen gebruiken om gerichte advertenties te bieden.

Hoewel een dergelijk systeem of regeling op dit moment niet bekend is, was een dergelijke functionaliteit nog niet beschikbaar bij de introductie van internet in de vroege jaren 90; sindsdien heeft cross-domain delen van informatie om gepersonaliseerde advertenties te bieden, geleid tot diverse schandalen, evenals paranoia.

Daarom suggereert de geschiedenis dat het beter zou zijn om LLM-prompt-invoer nu te saniteren, voordat deze gegevens in grote hoeveelheden worden verzameld en voordat onze LLM-gebaseerde indieningen in permanente cyclische databases en/of modellen of andere informatiegebaseerde structuren en schema’s terechtkomen.

Herinner je me?

Een factor die tegen het gebruik van ‘algemene’ of gesaniteerde LLM-prompts spreekt, is dat, eerlijk gezegd, de mogelijkheid om een dure API-only LLM zoals ChatGPT te personaliseren, nogal aantrekkelijk is, althans in de huidige stand van de techniek – maar dit kan leiden tot langdurige blootstelling van privé-informatie.

Ik vraag ChatGPT vaak om mij te helpen bij het opstellen van Windows PowerShell-scripts en BAT-bestanden om processen te automatiseren, evenals bij andere technische kwesties. Ik vind het handig dat het systeem permanent details onthoudt over de hardware die ik beschikbaar heb; mijn bestaande technische vaardigheden (of het gebrek daaraan); en verschillende andere omgevingsfactoren en aangepaste regels:

ChatGPT laat een gebruiker toe om een ‘cache’ van herinneringen te ontwikkelen die zullen worden toegepast wanneer het systeem antwoorden op toekomstige prompts overweegt.

Onvermijdelijk houdt dit informatie over mij opgeslagen op externe servers, onderworpen aan voorwaarden en bepalingen die in de loop van de tijd kunnen veranderen, zonder enige garantie dat OpenAI (hoewel het om een andere grote LLM-aanbieder kan gaan) de voorwaarden die ze hebben vastgesteld zal respecteren.

Over het algemeen is de mogelijkheid om een cache van herinneringen in ChatGPT op te bouwen het meest nuttig vanwege de beperkte aandachtswindow van LLM’s in het algemeen; zonder langdurige (persoonlijke) embeddings voelt de gebruiker frustrerend aan alsof hij met een entiteit praat die lijdt aan anterograde amnesie.

Het is moeilijk te zeggen of nieuwere modellen ooit voldoende prestaties zullen bieden om nuttige antwoorden te geven zonder de noodzaak om herinneringen op te slaan of aangepaste GPT’s te maken die online worden opgeslagen.

Tijdelijke geheugenverlies

Hoewel een ChatGPT-gesprek ‘tijdelijk’ kan worden gemaakt, is het handig om de chatgeschiedenis als referentie te hebben die kan worden gedistilleerd, wanneer de tijd het toelaat, in een meer samenhangende lokale record, misschien op een notitieplatform; maar in ieder geval kunnen we niet precies weten wat er met deze ‘verworpen’ chats gebeurt (hoewel OpenAI verklaart dat ze niet zullen worden gebruikt voor training, verklaart het niet dat ze worden vernietigd), op basis van de ChatGPT-infrastructuur. Alles wat we weten is dat chats niet langer in onze geschiedenis verschijnen wanneer ‘Tijdelijke chats’ is ingeschakeld in ChatGPT.

Verschillende recente controverses geven aan dat API-gebaseerde aanbieders zoals OpenAI niet noodzakelijkerwijs in staat zijn om de privacy van de gebruiker te beschermen, waaronder de ontdekking van emergente memorisatie, wat aangeeft dat grotere LLM’s waarschijnlijker zijn om sommige trainingsvoorbeelden volledig te onthouden, en het risico van openbaarmaking van gebruikersspecifieke gegevens – onder andere openbare incidenten die een groot aantal bekende bedrijven, zoals Samsung, hebben overtuigd om LLM’s voor intern bedrijfsgebruik te verbieden.

Denk anders

Deze spanning tussen de extreme nuttigheid en het manifeste potentiële risico van LLM’s zal enkele inventieve oplossingen vereisen – en het IBM-voorstel lijkt een interessant basisontwerp te zijn in deze richting.

Drie IBM-gebaseerde herformuleringen die nuttigheid afwegen tegen gegevensbescherming. In de onderste (roze) band zien we een prompt die buiten de mogelijkheden van het systeem ligt om op een zinvolle manier te saniteren.

Het IBM-benadering onderschept uitgaande pakketten naar een LLM op netwerkniveau en herschrijft ze indien nodig voordat de oorspronkelijke kan worden ingediend. De vrij uitgebreide GUI-integraties die aan het begin van het artikel worden getoond, zijn slechts illustratief voor waar een dergelijke benadering naartoe kan gaan, als ze wordt ontwikkeld.

Natuurlijk, zonder voldoende agency kan de gebruiker niet begrijpen dat hij een antwoord krijgt op een licht gewijzigde herformulering van zijn oorspronkelijke indiening. Dit gebrek aan transparantie is equivalent aan een firewall van een besturingssysteem die toegang tot een website of dienst blokkeert zonder de gebruiker te informeren, die dan ten onrechte andere oorzaken voor het probleem kan zoeken.

Prompts als beveiligingsrisico’s

Het vooruitzicht van ‘prompt-interventie’ doet denken aan Windows OS-beveiliging, die is geëvolueerd van een lappendeken van (optioneel geïnstalleerde) commerciële producten in de jaren 90 tot een niet-optionele en strikt afgedwongen suite van netwerkbeveiligingshulpmiddelen die standaard worden geleverd met een Windows-installatie, en die enige inspanning vereisen om uit te schakelen of te verzwakken.

Als prompt-sanitizing op dezelfde manier evolueert als netwerkfirewalls in de afgelopen 30 jaar, kan het voorstel van het IBM-papier dienen als een blauwdruk voor de toekomst: het implementeren van een volledig lokale LLM op de machine van de gebruiker om uitgaande prompts naar bekende LLM-API’s te filteren. Dit systeem zou van nature moeten integreren met GUI-kaders en meldingen, waardoor gebruikers controle hebben – tenzij administratieve beleidsregels dit overschrijven, zoals vaak het geval is in bedrijfsomgevingen.

De onderzoekers voerden een analyse uit van een open-source versie van de ShareGPT-dataset om te begrijpen hoe vaak contextuele privacy wordt geschonden in real-world scenario’s.

Llama-3.1-405B-Instruct werd gebruikt als ‘rechter’-model om schendingen van contextuele integriteit te detecteren. Van een grote set conversaties werd een subset van single-turn conversaties geanalyseerd op basis van lengte. Het rechter-model beoordeelde vervolgens de context, gevoelige informatie en noodzaak voor taakvoltooiing, wat leidde tot de identificatie van conversaties met potentiële schendingen van contextuele integriteit.

Een kleinere subset van deze conversaties, die definitieve schendingen van contextuele privacy vertoonden, werd verder geanalyseerd.

Het kader zelf werd geïmplementeerd met behulp van modellen die kleiner zijn dan typische chat-agents zoals ChatGPT, om lokale implementatie mogelijk te maken via Ollama.

Schema voor het prompt-interventiesysteem.

De drie LLM’s die werden geëvalueerd waren Mixtral-8x7B-Instruct-v0.1; Llama-3.1-8B-Instruct; en DeepSeek-R1-Distill-Llama-8B.

Gebruikersprompts worden door het kader verwerkt in drie fasen: contextidentificatie; gevoelige-informatieclassificatie; en herformulering.

Twee benaderingen werden geïmplementeerd voor gevoelige-informatieclassificatie: dynaamische en gestructureerde classificatie: dynamische classificatie bepaalt de essentiële details op basis van hun gebruik binnen een specifiek gesprek; gestructureerde classificatie stelt toe om een vooraf gedefinieerde lijst van gevoelige attributen te specificeren die altijd als niet-essentieel worden beschouwd. Het model herschrijft de prompt als het niet-essentiële gevoelige details detecteert door ze te verwijderen of te herschrijven om privacyrisico’s te minimaliseren terwijl het gebruik behouden blijft.

Thuisregels

Hoewel gestructureerde classificatie als concept niet goed wordt geïllustreerd in het IBM-papier, is het meest vergelijkbaar met de ‘Private Data Definitions’-methode in de Private Prompts-initiatief, dat een downloadable standalone-programma biedt dat prompts kan herschrijven – hoewel zonder de mogelijkheid om rechtstreeks in te grijpen op netwerkniveau, zoals de IBM-benadering doet (in plaats daarvan moet de gebruiker de gewijzigde prompts kopiëren en plakken).

De Private Prompts-executable laat een lijst van alternatieve substituties voor gebruikersinvoer toe.

In de bovenstaande afbeelding kunnen we zien dat de Private Prompts-gebruiker in staat is om geautomatiseerde substituties te programmeren voor instanties van gevoelige informatie. In beide gevallen, voor Private Prompts en de IBM-methode, lijkt het onwaarschijnlijk dat een gebruiker met voldoende aanwezigheid van geest en persoonlijke inzicht om een dergelijke lijst te cureren, deze producten daadwerkelijk nodig zou hebben – hoewel het over tijd kan worden opgebouwd als incidenten zich voordoen.

In een administratieve rol kan gestructureerde classificatie werken als een opgelegde firewall of censornet voor werknemers; en in een thuissetting kan het, met enkele moeilijke aanpassingen, een domesticenetfilter worden voor alle netwerkgebruikers; maar uiteindelijk is deze methode argumentatief overbodig, omdat een gebruiker die dit correct kan instellen, ook effectief zelf kan censureren.

ChatGPT’s mening

Aangezien ChatGPT onlangs zijn diepe onderzoekstool voor betaalde gebruikers heeft gelanceerd, gebruikte ik deze functionaliteit om ChatGPT te vragen om gerelateerde literatuur te bekijken en me een ‘cynische’ mening over het IBM-papier te geven. Ik kreeg het meest defensieve en minachtende antwoord dat het systeem ooit heeft gegeven toen het werd gevraagd om een nieuwe publicatie te evalueren of te interpreteren:

ChatGPT-4o heeft een lage dunk van het IBM-project.

‘Als gebruikers OpenAI, Google of Anthropic niet vertrouwen om hun gegevens verantwoordelijk te behandelen,’ stelt ChatGPT. ‘waarom zouden ze dan een derde partijsoftwarelaag tussen hen en de AI vertrouwen? De tussenliggende partij wordt een nieuw punt van falen—potentieel loggend, mishandelend of zelfs lekkend van gegevens voordat ze ooit de LLM bereiken. Het lost niets op als het alleen maar een nieuwe entiteit creëert om gebruikersgegevens te exploiteren.’

Dit bezwaar lijkt zelfbedienend en niet van toepassing, gezien de rijke geschiedenis van open source-projecten die eindgebruikers echt ten goede komen door de langdurige inspanningen van communityontwikkelaars en bijdragers; en gezien de groeiende mogelijkheid van mobiele apparaten om lichte LLM’s uit te voeren – en zelfs te trainen. Zeker in dit geval is het gebruik niet erg veeleisend.

Vervolgens mist ChatGPT het punt van het hebben van een lichte LLM die toezicht houdt op invoer naar een commerciële LLM die niet op een lokale machine kan worden uitgevoerd (omdat de LLM te groot is en lokale toegang te riskant is voor het bedrijf dat het maakt):

‘Effectieve privacyfiltering vereist het begrijpen van de invoer voordat je besluit wat je weg moet halen. Als een tussenliggende partij slim genoeg is om gevoelige gegevens te herkennen (namen, adressen, financiële details), dan verwerkt en analyseert het al die gegevens—wat betekent dat het de verantwoordelijkheid heeft om die gegevens op te slaan of te onderzoeken, wat het precies is wat het zou moeten wissen.

‘Dit introduceert een paradox: a) Een domme filter (basisreguliere expressie-substitutie) zal ineffectief zijn en subtiele privacyrisico’s missen. b) Een slimme filter (LLM-gebaseerde herschrijver) moet de volledige invoer verwerken, waardoor het net zo gevaarlijk wordt als de oorspronkelijke LLM.

‘Als je de tussenliggende partij vertrouwt om je invoer te lezen en herschrijven, waarom vertrouw je dan niet gewoon de LLM zelf?’

Het antwoord op de laatste vraag hier is dat de lokale LLM volledig aan de kant van de gebruiker staat en ongetwijfeld open source is, met minimale of geen netwerktoegang nodig. Een equivalent commerciële versie, hoe goedbedoeld aanvankelijk, zou uiteindelijk kwetsbaar zijn voor corporate-shifts en wijzigingen in de voorwaarden, terwijl een geschikte open source-licentie dit soort ‘onvermijdelijke corruptie’ zou voorkomen.

ChatGPT stelde verder dat het IBM-voorstel ‘gebruikersintentie breekt’, omdat het een prompt kan herschrijven in een alternatief dat de bruikbaarheid beïnvloedt. Echter, dit is een veel bredere probleem in prompt-sanitizing, en niet specifiek voor deze specifieke use-case.

Om te concluderen (het voorstel van ChatGPT om lokale LLM’s ‘in plaats daarvan’ te gebruiken negerend, wat precies is wat het IBM-papier voorstelt), stelde ChatGPT dat de IBM-methode een barrière vormt voor adoptie vanwege de ‘gebruikersfrictie’ van het implementeren van waarschuwings- en bewerkingsmethoden in een chat.

Hier heeft ChatGPT misschien gelijk; maar als significante druk ontstaat vanwege verdere openbare incidenten, of als winsten in een geografische zone worden bedreigd door toenemende regulering (en het bedrijf weigert om de getroffen regio gewoon volledig te verlaten), suggereert de geschiedenis van consumententechnologie dat beveiligingsmaatregelen uiteindelijk niet langer optioneel zullen zijn.

Conclusie

We kunnen niet realistisch verwachten dat OpenAI ooit beveiligingsmaatregelen zal implementeren van het type dat in het IBM-papier wordt voorgesteld, en in het centrale concept erachter; althans niet effectief.

En zeker niet wereldwijd; net zoals Apple blokkeert bepaalde iPhone-functies in Europa, en LinkedIn andere regels heeft voor het exploiteren van gebruikersgegevens in verschillende landen, is het redelijk om aan te nemen dat elk AI-bedrijf zal terugvallen op de meest winstgevende voorwaarden en bepalingen die in elk land waarin het opereert tolerabel zijn – in elk geval ten koste van het recht van de gebruiker op gegevensbescherming, indien nodig.

Eerste publicatie donderdag 27 februari 2025

Geüpdatet donderdag 27 februari 2025 15:47:11 vanwege onjuiste Apple-gerelateerde link – MA