Ochrona prompty przed wyciekiem danych z LLM

Opinia Interesująca praca IBM NeurIPS 2024 została opublikowana pod koniec 2024 roku i ponownie pojawiła się na Arxiv w zeszłym tygodniu. Proponuje system, który może automatycznie interweniować w celu ochrony użytkowników przed przekazywaniem poufnych informacji w trakcie rozmowy z modelem językowym (LLM), takim jak ChatGPT.

Przykłady makiet użyte w badaniu użytkowników w celu określenia, w jaki sposób ludzie chcieliby wchodzić w interakcję z usługą interwencji w promtach. Źródło: https://arxiv.org/pdf/2502.18509

Powyższe makietki zostały wykorzystane przez badaczy IBM w badaniu w celu przetestowania potencjalnych problemów związanych z tego rodzaju “interwencją”.

Chociaż szczegóły dotyczące implementacji GUI są ograniczone, możemy założyć, że takie funkcjonalności mogą być albo wbudowane w wtyczkę przeglądarki komunikującą się z lokalnym “firewallem” frameworkiem LLM; albo że mogą być stworzone aplikacje, które mogą bezpośrednio łączyć się z (na przykład) interfejsem API OpenAI, efektywnie odtwarzając własny program pobieralny dla ChatGPT, ale z dodatkowymi zabezpieczeniami.

Sam ChatGPT automatycznie cenzuruje odpowiedzi na prompty, które uznaje za zawierające krytyczne informacje, takie jak dane bankowe:

ChatGPT odmawia udziału w promtach, które zawierają postrzegane informacje o krytycznym bezpieczeństwie, takie jak dane bankowe (szczegóły w promcie powyżej są fikcyjne i nieaktywne). Źródło: https://chatgpt.com/

Jednak ChatGPT jest znacznie bardziej tolerancyjny w odniesieniu do różnych rodzajów informacji osobistych – nawet jeśli rozpowszechnianie takich informacji w jakikolwiek sposób nie byłoby w najlepszym interesie użytkownika (w tym przypadku być może z powodu różnych powodów związanych z pracą i ujawnieniem):

Przykład powyżej jest fikcyjny, ale ChatGPT nie wahaj się angażować w rozmowę z użytkownikiem na temat wrażliwych informacji, które mogą stanowić potencjalne ryzyko reputacyjne lub dochodowe (przykład powyżej jest całkowicie fikcyjny).

W powyższym przypadku lepiej byłoby napisać: ‘Jaka jest znaczenie rozpoznania białaczki na zdolność człowieka do pisania i na jego mobilność?’

Projekt IBM identyfikuje i reinterpretuje takie żądania z “osobistego” do “ogólnego” stanowiska.

Schemat systemu IBM, który wykorzystuje lokalne LLM lub heurystyki oparte na NLP do identyfikacji wrażliwych materiałów w potencjalnych promtach.

Założenie, że materiały zebrane przez LLM online, na tym etapie entuzjastycznego przyjęcia AI chat, nigdy nie będą przenoszone do kolejnych modeli ani do późniejszych ram reklamowych, które mogą wykorzystywać zapytania użytkowników do celów ukierunkowanej reklamy.

Chociaż nie ma takiego systemu ani układu, który jest znany obecnie, nie było takiej funkcjonalności dostępnej na początku przyjęcia internetu w latach 90.; od tego czasu udostępnianie informacji między domenami w celu dostarczania personalizowanej reklamy doprowadziło do różnorodnych skandali, a także paranoi.

Dlatego historia sugeruje, że lepiej byłoby zabezpieczyć dane wejściowe LLM teraz, zanim takie dane zgromadzą się w dużych ilościach, i zanim nasze wpisy LLM nie staną się częścią cyklicznych baz danych i/lub modeli, lub innych struktur i schematów opartych na informacjach.

Pamiętaj mnie?

Jednym z czynników, które przemawiają przeciwko użyciu “ogólnych” lub zabezpieczonych promtów LLM, jest to, że możliwość dostosowania drogiego API-only LLM, takiego jak ChatGPT, jest dość kusząca, przynajmniej na obecnym etapie rozwoju – ale może to wiązać się z długoterminową ekspozycją na prywatne informacje.

Często proszę ChatGPT o pomoc w tworzeniu skryptów Windows PowerShell i plików BAT w celu automatyzacji procesów, a także w innych kwestiach technicznych. W tym celu uważam, że jest użyteczne, aby system trwale zapamiętał szczegóły dotyczące mojego sprzętu; moich istniejących umiejętności technicznych (lub ich braku); oraz różnych innych czynników środowiskowych i niestandardowych reguł:

ChatGPT pozwala użytkownikowi na rozwinięcie “pamięci”, która zostanie zastosowana, gdy system rozważa odpowiedzi na przyszłe prompty.

Nieuchronnie, to utrwala informacje o mnie na zewnętrznych serwerach, podlegających warunkom, które mogą ewoluować w czasie, bez żadnej gwarancji, że OpenAI (choć mogłaby to być inna główna firma LLM) szanuje warunki, które określiła.

Ogólnie rzecz biorąc, możliwość tworzenia “pamięci” w ChatGPT jest najbardziej użyteczna ze względu na ograniczone okno uwagi LLM; bez długoterminowych (personalizowanych) wbudowań użytkownik czuje, że rozmawia z jednostką cierpiącą na anterogradną amnezję.

Trudno powiedzieć, czy nowsze modele będą w stanie zapewnić użyteczne odpowiedzi bez potrzeby zapisywania pamięci lub tworzenia niestandardowych GPT, które są przechowywane online.

Tymczasowa amnezja

Chociaż można uczynić rozmowy z ChatGPT “tymczasowymi”, jest użyteczne, aby mieć historię rozmów jako odniesienie, które można destylować, gdy czas pozwoli, w bardziej spójne lokalne rekordy, perhaps na platformie do notowania; ale w każdym przypadku nie możemy wiedzieć dokładnie, co się dzieje z tymi “porzuconymi” rozmowami (chociaż OpenAI stwierdza, że nie będą one wykorzystywane do szkolenia, nie stwierdza, że są niszczone), w oparciu o infrastrukturę ChatGPT. Wszystko, co wiemy, to to, że rozmowy nie pojawiają się już w naszej historii, gdy “Tymczasowe rozmowy” są włączone w ChatGPT.

Różne niedawne kontrowersje wskazują, że dostawcy oparte na API, tacy jak OpenAI, nie powinni być pozostawieni samodzielnie odpowiedzialnymi za ochronę prywatności użytkownika, w tym odkrycie pojawiającej się pamięci, co oznacza, że większe LLM są bardziej skłonne do zapamiętywania niektórych przykładów szkoleniowych w całości, zwiększając ryzyko ujawnienia danych użytkownika – wśród innych publicznych incydentów, które przekonały wiele dużych firm, takich jak Samsung, do zakazu LLM do użytku wewnętrznego.

Myśl inaczej

Ten konflikt między ekstremalną użytecznością a jawnym potencjalnym ryzykiem LLM wymagał będzie pewnych pomysłowych rozwiązań – a propozycja IBM wydaje się interesującym podstawowym szkicem w tym kierunku.

Trzy reformulacje oparte na IBM, które balansują użyteczność z prywatnością danych. W najniższej (różowej) pasie widzimy promt, który jest poza możliwościami systemu do zabezpieczenia w znaczący sposób.

Podejście IBM przechwytuje wychodzące pakiety do LLM na poziomie sieciowym i przebudowuje je, jeśli jest to konieczne, zanim oryginał może być wysłany. Bardziej rozbudowane integracje GUI widoczne na początku artykułu są tylko ilustracją, w jaki sposób takie podejście mogłoby ewoluować, gdyby było rozwijane.

Oczywiście, bez wystarczającej agencyjności użytkownik może nie zrozumieć, że otrzymuje odpowiedź na nieco zmodyfikowaną wersję swojego oryginalnego wpisu. Ten brak przejrzystości jest równoważny z tym, jaki występuje w przypadku zapory sieciowej, która blokuje dostęp do witryny lub usługi bez poinformowania użytkownika, który może wówczas błędnie szukać innych przyczyn problemu.

Prompty jako zagrożenia bezpieczeństwa

Perspektywa “interwencji w promtach” przypomina bezpieczeństwo systemu Windows, które ewoluowało od luźnej kolekcji (opcjonalnie instalowanych) komercyjnych produktów w latach 90. do nieopcjonalnego i rygorystycznie egzekwowanego zestawu narzędzi obrony sieciowej, które są standardowo dostarczane z instalacją systemu Windows i które wymagają pewnego wysiłku, aby je wyłączyć lub osłabić.

Jeśli sanitacja promtów ewoluuje tak, jak firewalle sieciowe w ciągu ostatnich 30 lat, propozycja IBM może posłużyć jako plan dla przyszłości: wdrożenie w pełni lokalnego LLM na maszynie użytkownika w celu filtrowania wychodzących promtów skierowanych do znanych API LLM. Taki system musiałby naturalnie integrować się z frameworkami GUI i powiadomieniami, dając użytkownikom kontrolę – chyba że polityki administracyjne je wyłączą, co często zdarza się w środowiskach biznesowych.

Badacze przeprowadzili analizę wersji open-source ShareGPT w celu zrozumienia, jak często prywatność kontekstowa jest naruszana w scenariuszach rzeczywistych.

Llama-3.1-405B-Instruct został wykorzystany jako model “sędzia” do wykrywania naruszeń integralności kontekstowej. Z dużej kolekcji rozmów, podzbiór rozmów jednowymiarowych został przeanalizowany na podstawie długości. Model sędzia ocenił kontekst, informacje wrażliwe i konieczność wykonania zadania, co doprowadziło do identyfikacji rozmów zawierających potencjalne naruszenia integralności kontekstowej.

Większy podzbiór tych rozmów, które wykazały wyraźne naruszenia prywatności kontekstowej, został poddany dalszej analizie.

Ramę wdrożono przy użyciu modeli, które są mniejsze niż typowi agenci czatu, takie jak ChatGPT, aby umożliwić wdrożenie lokalne za pomocą Ollama.

Schemat systemu interwencji w promtach.

Trzy LLM ocenione to Mixtral-8x7B-Instruct-v0.1; Llama-3.1-8B-Instruct; i DeepSeek-R1-Distill-Llama-8B.

Wpisy użytkowników są przetwarzane przez ramę w trzech etapach: identyfikacja kontekstu; klasyfikacja informacji wrażliwych; i przebudowanie.

Zaimplementowano dwa podejścia do klasyfikacji informacji wrażliwych: dynamiczna i ustrukturyzowana klasyfikacja: dynamiczna klasyfikacja określa niezbędne szczegóły na podstawie ich użycia w określonej rozmowie; ustrukturyzowana klasyfikacja pozwala na określenie predefiniowanej listy atrybutów wrażliwych, które są zawsze uważane za nieistotne. Model przebudowuje promt, jeśli wykryje nieistotne szczegóły wrażliwe, usuwając je lub przebudowując, aby zminimalizować ryzyko prywatności, jednocześnie zachowując użyteczność.

Reguły domowe

Chociaż ustrukturyzowana klasyfikacja jako pojęcie nie jest dobrze zilustrowana w pracy IBM, jest najbardziej podobna do metody “Prywatnych definicji danych” w inicjatywie Private Prompts, która zapewnia pobieralny program, który może przebudowywać prompty – choć bez możliwości bezpośredniej interwencji na poziomie sieci, jak to robi podejście IBM (zamiast tego użytkownik musi skopiować i wkleić zmodyfikowane prompty).

Wykonywalny Private Prompts pozwala na listę alternatywnych zastąpień dla tekstu wprowadzonego przez użytkownika.

Na powyższym obrazie widać, że użytkownik Private Prompts może zaprogramować automatyczne zastąpienia dla przypadków informacji wrażliwych. W obu przypadkach, dla Private Prompts i metody IBM, wydaje się mało prawdopodobne, że użytkownik z wystarczającą świadomością i wglądem w siebie, aby skuratyować taką listę, rzeczywiście potrzebowałby tego produktu – chociaż mógłby go zbudować w czasie, gdyby zdarzenia się kumulowały.

W roli administratora ustrukturyzowana klasyfikacja mogłaby działać jako nałożona zapora lub sieć cenzury dla pracowników; a w sieci domowej mogłaby, z pewnymi trudnymi dostosowaniami, stać się domową filtrą sieciową dla wszystkich użytkowników sieci; ale ostatecznie, ta metoda jest raczej zbędna, ponieważ użytkownik, który mógłby ją poprawnie skonfigurować, mógłby również samodzielnie cenzurować się skutecznie od samego początku.

Opinia ChatGPT

Ponieważ ChatGPT niedawno uruchomił swoje głębokie narzędzie badawcze dla płatnych użytkowników, wykorzystałem tę funkcjonalność, aby poprosić ChatGPT o przegląd powiązanej literatury i podanie “cynicznego” spojrzenia na pracę IBM. Otrzymałem najbardziej obronny i lekceważący odpowiedź, jaką kiedykolwiek otrzymałem, gdy poprosiłem o ocenę lub analizę nowej publikacji:

ChatGPT-4o ma niską opinię o projekcie IBM.

‘Jeśli użytkownicy nie ufają OpenAI, Google lub Anthropic, aby odpowiedzialnie obsłużyć ich dane,’ ChatGPT twierdzi. ‘dlaczego mieliby ufać warstwie oprogramowania pośredniczącej między nimi a AI? Pośrednik ten staje się nowym punktem awarii – potencjalnie rejestrując, nieprawidłowo obsługując lub nawet ujawniając dane przed ich dotarciem do LLM. Niczego to nie rozwiązuje, jeśli tylko tworzy nową jednostkę do wykorzystania danych użytkownika.’

Ten sprzeciw wydaje się samolubny i niewłaściwy, biorąc pod uwagę bogatą historię projektów open-source, które rzeczywiście korzystają użytkownikom końcowym dzięki długofalowym wysiłkom społeczności deweloperów i współpracowników; oraz biorąc pod uwagę rosnący potencjał urządzeń mobilnych do uruchamiania – a nawet szkolenia – lekkich LLM. Na pewno w tym przypadku przypadek użycia nie jest szczególnie wymagający.

Następnie ChatGPT pewnie pomija punkt mający na celu zapewnienie lekkiego LLM nadzoru nad wprowadzaniem danych do komercyjnego LLM, które nie mogłoby być uruchomione na maszynie lokalnej (ponieważ LLM jest zbyt duży, a zezwolenie na dostęp lokalny jest zbyt ryzykowne dla firmy, która je tworzy):

‘Skuteczne filtrowanie prywatności wymaga zrozumienia wprowadzanych danych przed podjęciem decyzji, co należy usunąć. Jeśli pośrednik jest wystarczająco inteligentny, aby rozpoznać dane wrażliwe (nazwy, adresy, dane finansowe), to już przetwarza i analizuje te dane – co oznacza, że musi je przechowywać lub badać, co jest tym, czego ma uniknąć.

‘Wprowadza to paradoks: a) Głupi filtr (podstawowa substitucja regex) będzie nieskuteczny i przegapi delikatne ryzyka prywatności. b) Inteligentny filtr (przebudowa LLM) musi przetworzyć całe wprowadzenie, co czyni go równie niebezpiecznym, jak oryginalny LLM.

‘Jeśli ufasz pośrednikowi wystarczająco, aby przeczytać i przebudować twoje wprowadzenia, to dlaczego nie ufasz samemu LLM?’

Odpowiedź na ostatnie pytanie brzmi, że lokalny LLM ma być całkowicie po stronie użytkownika i nieuchronnie open-source, z minimalną lub zerową potrzebą dostępu do sieci. Równoważna wersja komercyjna, niezależnie od intencji na początku, byłaby w końcu podatna na korporacyjne przesunięcia i zmiany w warunkach świadczenia usług, podczas gdy odpowiednia licencja open-source uniemożliwiłaby tego rodzaju ‘nieuchronną korupcję’.

ChatGPT twierdził dalej, że propozycja IBM “łamie intencję użytkownika”, ponieważ mogłaby reinterpretować promt w sposób, który wpływa na jego użyteczność. Jednak jest to szerszy problem w sanitacji promtów, a nie specyficzny dla tego przypadku użycia.

Na koniec (ignorując sugestię, aby używać lokalnych LLM “zamiast”, co jest dokładnie tym, co proponuje praca IBM), ChatGPT stwierdził, że metoda IBM reprezentuje barierę dla przyjęcia z powodu “tarcia użytkownika” wynikającego z implementacji ostrzeżeń i metod edycyjnych w czacie.

Tu ChatGPT może mieć rację; ale jeśli znaczne ciśnienie zostanie wywarte z powodu dalszych incydentów publicznych, lub jeśli zyski w pewnej strefie geograficznej są zagrożone przez rosnącą regulację (a firma odmawia po prostu opuścić cały dotknięty region), historia techniki konsumenckiej sugeruje, że zabezpieczenia ostatecznie przestaną być opcjonalne w każdym przypadku.

Podsumowanie

Nie możemy realistycznie oczekiwać, że OpenAI kiedykolwiek wdroży zabezpieczenia takiego rodzaju, jak te, które są proponowane w pracy IBM, i w centralnej koncepcji za nią; przynajmniej nie skutecznie.

I na pewno nie globalnie; tak jak Apple (AAPL ) blokuje pewne funkcje iPhone’a w Europie, a LinkedIn ma różne reguły dotyczące wykorzystania danych użytkowników w różnych krajach, jest rozsądne stwierdzenie, że każda firma AI będzie domyślnie stosować najbardziej lukratywne warunki i warunki, które są tolerowane przez każdy konkretny kraj, w którym działa – w każdym przypadku, kosztem prawa użytkownika do prywatności danych, jeśli jest to konieczne.

Pierwotnie opublikowane w czwartek, 27 lutego 2025

Zaktualizowane w czwartek, 27 lutego 2025, 15:47:11, z powodu nieprawidłowego linku związanego z Apple – MA