Ochrana vstupních promptů před úniky dat z LLM

Opinion Zajímavá práce IBM z NeurIPS 2024 submission z konce roku 2024 se objevila na Arxiv minulý týden. Navrhuje systém, který může automaticky zasáhnout a chránit uživatele před zasíláním osobních nebo citlivých informací do zprávy při konverzaci s modelem Large Language Model (LLM) jako je ChatGPT.

Mock-up příklady použité v uživatelské studii pro určení způsobů, jak lidé chtějí interagovat se službou prompt-intervention. Zdroj: https://arxiv.org/pdf/2502.18509

Příklady výše byly použity IBM výzkumníky ve studii pro testování potenciální uživatelské frikce vůči tomuto typu “zásahu”.

Ačkoli jsou podrobnosti o implementaci GUI skromné, můžeme předpokládat, že taková funkčnost by mohla být začleněna do pluginu prohlížeče komunikujícího s místním “firewallem” LLM rámcem; nebo že by mohla být vytvořena aplikace, která by mohla přímo zasahovat do (například) OpenAI API, efektivní rekreační OpenAI’s own samostatný program pro ChatGPT, ale s extra bezpečnostními opatřeními.

To říká, že ChatGPT samo automaticky cenzuruje odpovědi na prompty, které považuje za obsahující kritické informace, jako jsou bankovní údaje:

ChatGPT odmítá interagovat s prompty, které obsahují vnímané kritické bezpečnostní informace, jako jsou bankovní údaje (údaje v promptu výše jsou fiktivní a nefunkční). Zdroj: https://chatgpt.com/

Jedoch ChatGPT je mnohem tolerantnější ve vztahu k různým typům osobních informací – i když šíření takové informace jakýmkoli způsobem nemusí být v zájmu uživatele (v tomto případě perhaps pro různé důvody související s prací a zveřejněním):

Příklad výše je fiktivní, ale ChatGPT neváhá interagovat s uživatelem o citlivé téma, které představuje potenciální riziko pro reputaci nebo zisk (příklad výše je zcela fiktivní).

V tomto případě by bylo lepší napsat: ‘Jaký je význam diagnózy leukémie na schopnost člověka psát a na jeho mobilitu?’

IBM projekt identifikuje a reinterpretuje takové žádosti z “osobní” na “obecnou” pozici.

Schéma pro IBM systém, který používá místní LLM nebo NLP-založené heuristiky pro identifikaci citlivých materiálů v potenciálních promtech.

Tento předpoklad předpokládá, že materiál shromážděný online LLM, v tomto raném stádiu veřejného nadšení pro AI chat, nikdy neprojde ani do následujících modelů ani do pozdějších reklamních rámců, které by mohly využít uživatelské vyhledávací dotazy pro cílenou reklamu.

Ačkoli žádný takový systém nebo uspořádání není dosud znám, nebylo takové funkčnosti dostupné ani na počátku internetového přijetí v 90. letech; od té doby sdílení informací napříč doménami pro personalizovanou reklamu vedlo k různým skandálům, jakož i paranoie.

Proto historie naznačuje, že by bylo lepší sanitovat LLM vstupní prompty nyní, předtím, než takové údaje nahromadí ve velkém objemu, a předtím, než naše LLM-založené podněty skončí v permanentních cyklických databázích a/nebo modelech, nebo jiných informačních strukturách a schémat.

Pamatujte si mě?

Jedním z faktorů, které váží proti použití “obecných” nebo sanitovaných LLM promtů, je, že možnost přizpůsobit drahý API-only LLM, jako je ChatGPT, je poměrně přesvědčivá, alespoň v současném stavu – ale to může zahrnovat dlouhodobé vystavení soukromých informací.

Často žádám ChatGPT, aby mi pomohl formulovat Windows PowerShell skripty a BAT soubory pro automatizaci procesů, jakož i na jiných technických záležitostech. Za tímto účelem se mi hodí, že systém trvale pamatuje detaily o hardwaru, který mám k dispozici; mé stávající technické dovednosti (nebo jejich absence); a různé další environmentální faktory a přizpůsobené pravidla:

ChatGPT umožňuje uživateli vyvinout ‘cache’ vzpomínek, které budou aplikovány, když systém zvažuje odpovědi na budoucí prompty.

Nepřímo tato informace zůstává uložena na externích serverech, podléhajících podmínkám, které se mohou vyvíjet v čase, bez jakéhokoli záruky, že OpenAI (ačkoli by to mohlo být jakýkoli jiný hlavní LLM poskytovatel) respektuje podmínky, které si stanoví.

V obecné rovině, však, kapacita budování cache vzpomínek v ChatGPT je nejvíce užitečná kvůli omezenému oknu pozornosti LLM obecně; bez dlouhodobých (personalizovaných) vložených vzpomínek se uživatel cítí, frustrující, jako by konverzoval s entitou trpící anterográdní amnézií.

Je obtížné říci, zda budou nové modely nakonec dostatečně výkonné, aby poskytovaly užitečné odpovědi bez potřeby cachovat vzpomínky, nebo vytvářet přizpůsobené GPT, které jsou uloženy online.

Dočasná amnézie

Ačkoli lze ChatGPT konverzace učinit “dočasnými”, je užitečné mít historii chatu jako referenci, která může být destilována, když čas dovolí, do více koherentní místní záznam, perhaps na note-taking platform; ale v každém případě nemůžeme přesně vědět, co se stane s těmito “odstraněnými” chaty (ačkoli OpenAI uvádí, že je nebude používat pro trénování, neuvádí, že je ničí), na základě ChatGPT infrastruktury. Vše, co víme, je, že chaty již nejsou zobrazeny v naší historii, když je zapnuto “Dočasné chaty” v ChatGPT.

Různé nedávné kontroverze naznačují, že API-založení poskytovatelé, jako je OpenAI, by neměli být nutně ponecháni na ochranu uživatelské soukromí, včetně objevu emergentní memorizace, což naznačuje, že větší LLM jsou více pravděpodobné memorizovat některé trénovací příklady v plném rozsahu, a zvyšují riziko odhalení uživatelských dat – mezi jinými veřejnými incidenty, které přesvědčily řadu velkých společností, jako je Samsung, aby zakázaly LLM pro interní použití.

Myslete jinak

Tento napětí mezi extrémní užitečností a zjevným potenciálním rizikem LLM bude potřebovat一些 vynalézavá řešení – a IBM návrh se zdá být zajímavým základním šablonou v tomto směru.

Tři IBM-založené reformulace, které vyvažují užitečnost proti ochraně soukromí. V nejnižší (růžové) pásu vidíme prompt, který je za hranicí schopnosti systému sanitovat smysluplným způsobem.

IBM přístup zachycuje odchozí pakety do LLM na síťové úrovni a přepisuje je podle potřeby, než je původní prompt odeslán. Tyto poměrně komplexnější GUI integrace viděné na začátku článku jsou pouze ilustrativní toho, kam by takový přístup mohl vést, kdyby byl vyvinut.

Samozřejmě, bez dostatečné agentury může uživatel nerozumět, že dostává odpověď na mírně pozměněný prompt. Tento nedostatek transparentnosti je ekvivalentní k tomu, jako kdyby operační systém firewall zablokoval přístup k webové stránce nebo službě bez informování uživatele, který by pak mohl chybně hledat jiné příčiny problému.

Prompty jako bezpečnostní rizika

Perspektiva “prompt intervence” analogicky připomíná bezpečnost operačního systému Windows, který se vyvinul z patchworku (volitelně instalovaných) komerčních produktů v 90. letech na povinnou a rigidně vynucenou sadu síťových obranných nástrojů, které jsou součástí instalace Windows a vyžadují určitou snahu, aby je bylo možné vypnout nebo oslabit.

Jestliže sanitace promtů vyvine jako síťové firewally, IBM návrh by mohl sloužit jako modul pro budoucnost: nasazení plně místního LLM na uživatelském stroji pro filtrování odchozích promtů směrovaných na známé LLM API. Tento systém by přirozeně potřeboval integrovat GUI rámce a oznámení, poskytující uživatelům kontrolu – pokud nejsou přepsány administrativními zásadami, jako se často děje v podnikovém prostředí.

Výzkumníci provedli analýzu otevřeného zdrojového kódu ShareGPT datového souboru, aby pochopili, jak často je kontextová soukromí porušena v reálných scénářích.

Llama-3.1-405B-Instruct byl použit jako “soudní” model pro detekci porušení kontextové integrity. Z velké sady konverzací byla analyzována podmnožina jednorázových konverzací na základě délky. Soudní model poté vyhodnotil kontext, citlivé informace a nutnost pro dokončení úkolu, vedoucí k identifikaci konverzací obsahujících potenciální porušení kontextové integrity.

Menší podmnožina těchto konverzací, které prokázaly definitivní porušení kontextové soukromí, byla analyzována dále.

Rámec sám byl implementován pomocí modelů, které jsou menší než typické chat agenty, jako je ChatGPT, aby umožnily místní nasazení prostřednictvím Ollama.

Schéma pro prompt intervenci systém.

Tři LLM vyhodnocené byly Mixtral-8x7B-Instruct-v0.1; Llama-3.1-8B-Instruct; a DeepSeek-R1-Distill-Llama-8B.

Uživatelské prompty jsou zpracovány rámcem ve třech fázích: kontextová identifikace; klasifikace citlivých informací; a reformulace.

Dvě přístupy byly implementovány pro klasifikaci citlivých informací: dynamická a strukturovaná klasifikace: dynamická klasifikace určuje základní detaily na základě jejich použití v konkrétní konverzaci; strukturovaná klasifikace umožňuje specifikovat předem definovaný seznam citlivých atributů, které jsou vždy považovány za necitlivé. Model reformuluje prompt, pokud detekuje necitlivé detaily buď odstraněním nebo přepsáním, aby minimalizoval rizika soukromí, zatímco zachovává užitečnost.

Domácí pravidla

Ačkoli strukturovaná klasifikace jako koncept není dobře ilustrována v IBM článku, je nejvíce podobná “Private Data Definitions” metodě v Private Prompts iniciativě, která poskytuje stahovatelný samostatný program, který může přepisovat prompty – ačkoli bez schopnosti přímo zasahovat na síťové úrovni, jako IBM přístup (místo toho musí uživatel zkopírovat a vložit upravené prompty).

Private Prompts program umožňuje seznam alternativních náhrad pro uživatelský vstupní text.

V výše uvedeném obrázku můžeme vidět, že uživatel Private Prompts může naprogramovat automatizované náhrady pro instance citlivých informací. V obou případech, pro Private Prompts a IBM metodu, se zdá nepravděpodobné, že by uživatel s dostatečnou přítomností a osobním vhledem, aby si takový seznam vytvořil, by skutečně potřeboval tento produkt – ačkoli by jej mohl vybudovat postupně, jakmile se vyskytnou incidenty.

V administrativní roli by strukturovaná klasifikace mohla fungovat jako vynucený firewall nebo cenzor pro zaměstnance; a v domácí síti by mohla, s určitými obtížnými úpravami, stát se domácím síťovým filtrem pro všechny uživatele sítě; nakonec, tato metoda je však zřejmě zbytečná, protože uživatel, který by ji mohl správně nastavit, by mohl také účinně cenzurovat sám sebe.

ChatGPTův názor

Jelikož ChatGPT nedávno spustil hluboký výzkum pro placené uživatele, použil jsem tuto funkci, aby ChatGPT prohlédl související literaturu a dal mi “cynický” názor na IBM článek. Dostal jsem nejdefenzivnější a nejdespektivnější odpověď, jakou systém kdy poskytl, když byl požádán, aby vyhodnotil nebo interpretoval novou publikaci:

ChatGPT-4o má nízký názor na IBM projekt.

‘Pokud uživatelé nedůvěřují OpenAI, Google nebo Anthropic, aby zpracovali jejich data zodpovědně,’ ChatGPT tvrdí. ‘proč by měli důvěřovat třetí straně softwarové vrstvě mezi nimi a AI? Zprostředkovatel se sám stává novým bodem selhání – potenciálně loguje, zneužívá nebo dokonce únik dat, než se vůbec dostanou k LLM. Nerozřeší nic, pokud pouze vytvoří novou entitu, která může zneužít uživatelská data.’

Tento námitka se zdá sebeobslužný a neplatný, vzhledem k historii otevřených zdrojových projektů, které skutečně prospěly koncovým uživatelům prostřednictvím dlouhodobých úsilí komunitních vývojářů a přispěvatelů; a vzhledem k rostoucímu potenciálu mobilních zařízení pro běh – a dokonce i trénování – lehkých LLM. Určitě v tomto případě je použití případu není příliš náročné.

Další, ChatGPT sebevědomě přehlíží bod, který spočívá v tom, že použití lehkého LLM pro dohled nad vstupem do komerčního LLM, který by nemohl být spuštěn na místním stroji (protože LLM je příliš velký a umožnění místního přístupu je příliš riskantní pro společnost, která ho vyrábí):

‘Účinná filtrování soukromí vyžaduje pochopení vstupu před rozhodnutím, co odstranit. Pokud je zprostředkovatel dostatečně chytrý, aby rozpoznal citlivé údaje (jména, adresy, finanční údaje), pak již zpracovává a analyzuje tato data – což znamená, že musí uložit nebo prozkoumat přesně to, co má smazat.

‘To představuje paradox: a) Hloupý filtr (základní substituce regex) bude neúčinný a přehlédne jemná rizika soukromí. b) Chytrý filtr (LLM-založený přepisovač) musí zpracovat celý vstup, což jej činí stejně nebezpečným jako původní LLM.

‘Pokud důvěřujete zprostředkovateli dostatečně, aby četl a přepisoval vaše vstupy, proč důvěřovat LLM samotnému?’

Odpověď na poslední otázku je, že místní LLM je určen být zcela na straně uživatele a nutně otevřený, s minimální nebo žádnou potřebou síťového přístupu. Ekvivalentní komerční verze, bez ohledu na to, jak dobře míněná, by byla nakonec zranitelná vůči firemním posunům a změnám podmínek služby, zatímco vhodná otevřená licence by tomuto typu ‘inevitabilní korupci’ zabránila.

ChatGPT dále argumentoval, že IBM návrh “rozrušuje uživatelskou intenci”, protože by mohl reinterpretovat prompt do alternativy, která ovlivňuje jeho užitečnost. Nicméně, toto je širší problém v sanitaci promtů, a ne specifický pro tento konkrétní případ.

Na závěr (ignorující jeho návrh použít místní LLM “místo”, který je přesně to, co IBM článek navrhuje), ChatGPT uvedl, že IBM metoda představuje bariéru pro přijetí kvůli “uživatelské frikci” zavedení varovných a editačních metod do chatu.

Zde ChatGPT může být práv, ale pokud bude vyvíjen významný tlak kvůli dalších veřejných incidentů, nebo pokud budou ohroženy zisky v některé geografické zóně kvůli rostoucí regulaci (a společnost odmítne opustit postiženou oblast úplně), historie spotřebitelské technologie naznačuje, že bezpečnostní opatření budou nakonec nepovinná stejně.

Závěr

Nemůžeme realisticky očekávat, že OpenAI bude kdykoli implementovat bezpečnostní opatření, jaká jsou navrhována v IBM článku, a v centrálním konceptu za ním; alespoň ne efektivně.

A určitě ne globálně; stejně jako Apple (AAPL ) blokuje certain iPhone funkce v Evropě, a LinkedIn má různá pravidla pro využití uživatelských dat v různých zemích, je rozumné předpokládat, že jakákoli AI společnost bude mít výchozí nejziskovější podmínky a podmínky, které jsou tolerovatelné pro jakoukoli konkrétní zemi, ve které operuje – v každém případě, na úkor uživatelského práva na ochranu soukromí, pokud je to nutné.

První publikováno čtvrtek, 27. února 2025

Aktualizováno čtvrtek, 27. února 2025 15:47:11 kvůli nesprávnému Apple souvisejícímu odkazu – MA