IA que recuerda sin compartir demasiado: Arquitectura de privacidad para la próxima generación de servicios personales

La mayoría de las empresas aún no se han dado cuenta de que los asistentes personales de IA han alcanzado un nivel completamente nuevo. Ahora no solo responden preguntas, sino que... realizar acciones en nombre de empleados reales: hacen y supervisan reservas, se comunican y toman decisiones sobre finanzas, horarios, viajes y reuniones.

Los datos con los que opera la IA también han cambiado: de "¿qué tipo de música te gusta?" a "¿dónde estás, con quién estás, qué has acordado y cuánto pagas por ello?". Este es un nivel de vulnerabilidad cualitativamente diferente, y necesitamos una nueva arquitectura. Lo llamo "recibos de privacidad": recibos digitales que permitir a los usuarios Ver en cualquier momento qué sabe exactamente el asistente sobre ellos, de dónde proviene y por qué se utiliza. Esta es la misma expectativa que tenemos hoy en día para los extractos bancarios: transparentes, verificables y disponibles previa solicitud.

Por qué la IA segura se ha vuelto crucial en estos momentos

Hasta hace poco, los asistentes de IA eran principalmente informativos: búsquedas, resúmenes de documentos, sugerencias de código. Rara vez podían actuar sin la intervención de una persona que controlara el proceso.

Hoy en día, vemos un panorama diferente. Los asistentes están integrados en el correo electrónico, los calendarios, la mensajería, la banca y los servicios de viajes; pueden enviar una carta de forma independiente a un socio, pagar una reserva o cambiar un vuelo, basándose en un contexto del que el responsable puede no ser consciente.

Al mismo tiempo, los primeros y más activos usuarios de estos asistentes son personas para quienes el coste de los errores es extremadamente alto: altos directivos y directores ejecutivos, clientes de alto nivel, profesionales del sector financiero y de la gestión de capital. Para ellos, la pérdida de privacidad supone un grave riesgo reputacional, legal y financiero directo. 

Cuando se trata de IA, las cuestiones de privacidad ya no pueden tratarse como una mera formalidad.

Mínimos datos, más valor

La mayoría de los productos de IA recopilar muchos más datos de lo que necesitan para ser realmente útiles. En nuestra práctica, observamos que la gran mayoría de los datos recopilados por los asistentes de IA típicos nunca se utilizan para prestar servicios. Si consideramos el sector de la conserjería, tres cosas son suficientes para que un asistente brinde un servicio personalizado de alta calidad. En primer lugar, las preferencias relevantes para la tarea: cómo viaja, cómo prefiere comunicarse, qué restricciones tiene en cuanto a visados, presupuesto y obligaciones familiares.

En segundo lugar, el contexto de la solicitud actual: dónde, cuándo, con quién, con qué fines, plazos y riesgos.

Por último, recuerda interacciones pasadas dentro de las tareas: por lo tanto, no hace las mismas preguntas, recuerda las soluciones elegidas y no repite errores.

Esto es suficiente para que el producto funcione al nivel de un buen asistente personal. No necesita un archivo completo de correspondencia, rastreo continuo de ubicación ni transacciones financieras.

Asistentes de IA y límites aceptables

Hay tipos de datos que simplemente no tienen cabida en un asistente personal. Por ejemplo, los datos pasivos de comportamiento: escucha constante, geolocalización continua sin solicitud, monitorización de pantalla o de entradas. Si el sistema recopila información no sobre lo que solicitaste, sino sobre lo que haces en general, deja de ser un asistente y se convierte en vigilancia.

Además, no se necesitan datos de terceros que nunca hayan interactuado con el sistema. Por ejemplo, una solicitud como "ayuda para organizar una reunión" no debería otorgar el derecho a crear perfiles de los invitados, sus rutas y hábitos.

En tercer lugar, el contenido completo de tus comunicaciones no debería almacenarse en la memoria a largo plazo por defecto. El asistente puede procesar un correo electrónico específico si se lo pides explícitamente, pero eso no significa que ahora tenga derecho a leerlo.

Lo útil significa ser intrusivo: la trampa de los productos de IA

El contexto adicional realmente hace que el producto sea más conveniente, porque cuanto más sabe el sistema, más precisas son las recomendaciones, más rápidas las respuestas y mayor el efecto sorpresa al usarlo.

Aquí es donde surge la necesidad natural de conectar calendarios, correo electrónico, chats, CRM y geodatos para que el servicio pueda anticipar las necesidades de los usuarios. Cada conexión de usuario parece razonable y justificada.

En el sector de la conserjería, conectar el calendario y el historial de viajes del cliente mejora significativamente las recomendaciones: el sistema puede anticipar las necesidades incluso antes de que el cliente las exprese. Al mismo tiempo, algunos servicios no almacenan deliberadamente el contenido de las comunicaciones fuera de las tareas activas ni crean perfiles de comportamiento basados ​​en datos pasivos.

El problema es que la lógica de la optimización de la experiencia de usuario está cambiando gradualmente la arquitectura hacia una mayor recopilación de datos, un almacenamiento más prolongado y un acceso más amplio a ellos. Y, en algún momento, la línea simplemente desaparece.

El segundo problema se refiere al acceso para la atención al cliente. Se puede crear una criptografía robusta y luego otorgar a un operador de atención al cliente acceso completo al historial de un cliente para, por ejemplo, comprar un ticket. En realidad, los incidentes suelen ocurrir debido a accesos internos incontrolados y errores humanos, más que a ataques externos.

El tercer riesgo son las arquitecturas multiagente. Cuando los agentes se pasan contexto entre sí, los datos empiezan a fluir entre los componentes de formas no diseñadas explícitamente. Si un agente tiene permisos demasiado amplios, este contexto es recogido por la cadena inferior.

Recibos de privacidad: el próximo estándar para la IA

Es un error considerar la privacidad como una función de cumplimiento. La verdadera privacidad depende de lo que almacenamos y cómo lo compartimos para su propósito previsto, durante cuánto tiempo y bajo qué condiciones la extendemos, quién tiene acceso y bajo qué circunstancias, incluyendo personas y agentes de IA, y cómo la controlan los usuarios.

Lamentablemente, la mayoría de los servicios no tienen una respuesta sencilla a las preguntas de los usuarios: ¿qué sabe exactamente el sistema?, ¿se puede corregir o eliminar por completo?, ¿se puede prohibir el uso de un dato específico?

Por lo tanto, es importante introducir comprobantes de privacidad que permitan a un usuario preguntar a su asistente de IA qué sabe exactamente de él, por qué lo sabe y de dónde proviene esta información, y recibir al instante una respuesta clara y verificable. Así como esperamos recibir extractos bancarios, pronto esperaremos transparencia de los sistemas que gestionan nuestro tiempo, nuestras conexiones y nuestro capital.

La base técnica de la memoria segura

Los recibos de privacidad son imposibles sin una sólida base de ingeniería. Al menos tres capas son cruciales: primero, la protección de datos a nivel de infraestructura. El cifrado debe ser un principio fundamental, no una mera formalidad. Los datos deben almacenarse con claves específicas para cada cliente, no con una única clave maestra para todos; la transmisión debe realizarse mediante protocolos modernos, y los atributos sensibles deben estar lógicamente separados de los metadatos del servicio.

Además, cada servicio, agente y operador sólo debe tener acceso a los datos necesarios para realizar una tarea específica.

Finalmente, son importantes los registros de acceso a prueba de manipulaciones, la auditoría de cada acceso y el control técnico de la geografía de almacenamiento y procesamiento. Las pruebas periódicas de escenarios multiagente deben considerarse un riesgo aparte.

Sólo con esta arquitectura es posible obtener certificados de privacidad: de esta manera, el sistema sabe realmente lo que sabe y puede demostrarlo.

¿Quién perderá y quién se convertirá en el estándar?

Los servicios y productos que perciben la memoria como una acumulación unidireccional perderán: menos transparencia para el usuario, pero más fuentes, más contexto y mayor tiempo de almacenamiento.

Este modelo parece ventajoso a corto plazo, pero sin restricciones y reglas claras, esta lógica se transforma en una expansión descontrolada, pues los datos se conectan más rápido de lo que se pueden poner en marcha mecanismos de explicación y control.

Los escándalos relacionados con filtraciones de datos, uso indebido de asistentes de IA o divulgación incorrecta de información confidencial afectarán a todos los productos de esta categoría. Los usuarios exigirán más información sobre transparencia, y solo las empresas que hayan integrado de antemano la explicabilidad, la trazabilidad y el control del usuario en su arquitectura podrán mantener la confianza.

Los productos que diseñan el sistema en torno a una imagen instantánea y verificable de lo que la IA sabe y por qué se convertirán en el estándar. La privacidad debe formar parte del sistema desde el principio, especialmente cuando afecta la vida de las personas.