AI som minns utan att avslöja för mycket: Privat arkitektur för nästa generation av personliga tjänster

De flesta företag har ännu inte förstått att personliga AI-assistenter har nått en helt ny nivå. Nu svarar de inte bara på frågor, utan utför åtgärder på uppdrag av riktiga anställda: de gör och övervakar bokningar, korresponderar och fattar beslut om ekonomi, scheman, resor och möten.

De data som AI arbetar med har också förändrats: från “vilken typ av musik gillar du” till “var är du, vem är du med, vad har du kommit överens om och hur mycket betalar du för det”. Detta är en kvalitativt annorlunda nivå av sårbarhet, och vi behöver absolut en ny arkitektur. Jag kallar det “privatkvitton” – digitala kvitton som tillåter användare att se vad assistenten vet om dem, varifrån det kommer och varför det används. Detta är samma förväntning vi har idag för bankutdrag: transparent, verifierbart, tillgängligt på begäran.

Varför säker AI har blivit kritiskt viktig just nu

Fram till nyligen var AI-assistenter huvudsakligen informativa: sökning, dokumentsummeringar, kodtips. De kunde sällan agera utan inblandning av en person som kontrollerade processen.

Idag ser vi en annan bild. Assistenter är integrerade i e-post, kalendrar, meddelanden, banktjänster och rese tjänster; de kan självständigt skicka ett brev till en partner, betala för en bokning eller ändra en flygresa, baserat på sammanhang som den ansvarige personen kanske inte är medveten om.

Samtidigt är de tidigaste och mest aktiva användarna av sådana assistenter personer för vilka kostnaden för misstag är extremt hög: toppchefer och VD:ar, HNW-kunder, finansiella sektorn och kapitalförvaltningsproffs. För dem är förlusten av privatliv ett allvarligt ryktesmässigt, juridiskt och direkt ekonomiskt risk.

När det gäller AI kan integritetsfrågor inte längre behandlas som en ren formalitet.

Minsta data, mer värde

De flesta AI-produkter samlar in mycket mer data än de behöver för att vara riktigt användbara. I vår praxis finner vi att den överväldigande majoriteten av de data som samlas in av typiska AI-assistenter aldrig faktiskt används för att tillhandahålla tjänster. Om vi tar concierge-branschen, räcker det med tre saker för en assistent för att tillhandahålla högkvalitativ personlig service. Först, uppgiftsrelevanta preferenser: hur du reser, hur du föredrar att kommunicera, vilka begränsningar du har i termer av visum, budget och familjeåtaganden.

Andra, sammanhanget för den aktuella begäran: var, när, med vem, för vilka syften, deadlines och risker.

Till sist, minns tidigare interaktioner inom uppgifter: så att den inte ställer samma frågor, minns valda lösningar och inte upprepar misstag.

Detta räcker för att produkten ska fungera på samma nivå som en bra personlig assistent. Den behöver inte en fullständig arkiv av korrespondens, kontinuerlig platsövervakning eller finansiella transaktioner.

AI-assistenter och acceptabla gränser

Det finns typer av data som helt enkelt inte har någon plats i en personlig assistent. Till exempel, passiv beteendedata: konstant avlyssning, kontinuerlig geolokalisering utan begäran, skärm- eller inmatningsövervakning. Om systemet samlar in information inte om vad du har begärt, utan om vad du gör i allmänhet, upphör det att vara en assistent och blir övervakning.

Även data om tredje parter som aldrig har interagerat med systemet behövs inte. Till exempel, en begäran som “hjälp organisera ett möte” ska inte bli rätten att bygga profiler av gäster, deras rutter och vanor.

Tredje, det fullständiga innehållet i din kommunikation ska inte lagras i långsiktig minne som standard. Assistenten kan bearbeta ett specifikt e-postmeddelande om du uttryckligen ber det att göra det, men det betyder inte att det nu har rätten att läsa dina e-postmeddelanden.

Användbart betyder intrusivt: fällan för AI-produkter

Ytterligare sammanhang gör verkligen produkten mer bekväm, eftersom ju mer systemet vet, desto mer exakta rekommendationer, desto snabbare svar och desto större wow-effekten från att använda det.

Här uppstår det naturliga behovet att ansluta kalendrar, e-post, chatt, CRM och geodata så att tjänsten kan förutse användarens behov. Varje användaranslutning verkar rimlig och motiverad.

I concierge-branschen förbättrar anslutningen av kundens kalender och resehistorik avsevärt rekommendationerna – systemet kan förutse behov innan kunden uttrycker dem. Samtidigt undviker vissa tjänster medvetet att lagra kommunikationsinnehåll utanför aktiva uppgifter och bygger inte beteendeprofiler baserat på passiv data.

Problemet är att logiken för UX-optimering gradvis förskjuter arkitekturen mot större datainsamling, längre lagring och bredare tillgång till den. Och vid en viss punkt försvinner gränsen helt enkelt.

Det andra problemet gäller åtkomst för kundsupport. Du kan bygga stark kryptografi och sedan ge en kundsupportoperatör full åtkomst till en kunds historia för att, säg, köpa en enda biljett. I verkligheten inträffar incidenter ofta på grund av okontrollerad intern åtkomst och mänskliga fel, snarare än externa attacker.

Det tredje risken är multiagentarkitektur. När agenter överför sammanhang till varandra börjar data att flöda mellan komponenter på sätt som inte uttryckligen har utformats. Om en agent har för breda behörigheter, plockas detta sammanhang upp av kedjan längre ner.

Privatkvitton: nästa standard för AI

Det är ett misstag att se på integritet som en regelefterlevnadsfunktion. Riktig integritet beror på vad vi lagrar och hur vi delar det för dess avsedda syfte, hur länge och under vilka förhållanden vi förlänger det, vem som får åtkomst och under vilka omständigheter, inklusive personer och AI-agenter, och hur användare kontrollerar det.

Tyvärr har de flesta tjänster inte ett enkelt svar på användarnas frågor: vad exakt vet systemet om dem, kan det rättas till eller tas bort helt, kan användningen av en specifik datadel förbjudas?

Därför är det viktigt att införa privatkvitton när en användare kan fråga sin AI-assistent vad den exakt vet om dem, varför den vet det och varifrån informationen kommer, och omedelbart få ett tydligt, verifierbart svar. Liksom vi förväntar oss av bankutdrag, kommer vi snart att förvänta oss transparens från systemen som hanterar vår tid, kontakter och kapital.

Den tekniska grunden för säker minneslagring

Privatkvitton är omöjliga utan en solid ingenjörsgrund. Minst tre lager är kritiska: först, dataskydd på infrastrukturnivå. Kryptering bör vara en kärnprincip, inte en formalitet. Data bör lagras med klient-specifika nycklar, inte med en enda huvudnyckel för alla, överföring bör ske via moderna protokoll och känsliga attribut bör logiskt separeras från tjänstmetadata.

Dessutom bör varje tjänst, agent och operatör endast ha åtkomst till de data som är nödvändiga för att utföra en specifik uppgift.

Till sist är oföränderliga åtkomstloggar, granskning av varje åtkomst och teknisk kontroll av lagrings- och bearbetningsgeografi viktiga. Reguljär testning av multiagent-scenarier bör betraktas som en separat klass av risk.

Först med denna arkitektur blir privatkvitton möjliga: på detta sätt vet systemet verkligen vad det vet och kan bevisa det.

Vem kommer att förlora och vem kommer att bli standarden?

Tjänster och produkter som uppfattar minne som en enkelriktad ansamling kommer att förlora: mindre transparens för användaren, men mer källor, mer sammanhang och längre lagring.

Denna modell verkar fördelaktig på kort sikt, men utan begränsningar och tydliga regler, förvandlas denna logik till okontrollerad expansion, eftersom data ansluts snabbare än mekanismer för förklaring och kontroll kan införas.

Skandaler som involverar data läckor, missbruk av AI-assistenter eller felaktig avslöjande av känslig information kommer att påverka alla produkter i denna kategori. Användare kommer att kräva mer information om transparens, och endast företag som har byggt in förklarbarhet, spårbarhet och användarkontroll i sin arkitektur i förväg kommer att kunna upprätthålla förtroendet.

Produkter som utformar systemet kring en omedelbar och verifierbar bild av vad AI vet och varför kommer att bli standarden. Integritet måste vara en del av systemet från början – särskilt när det påverkar människors liv.