Fundamentos de la IA
Qué es el control de capacidad de IA y por qué es importante?
Añade Unite.AI a tus fuentes preferidas en Google
El control de capacidad de IA es el conjunto de medidas técnicas y organizativas que limitan lo que un sistema de IA puede acceder, intentar o provocar. El término resulta más útil cuando se asocia a una implementación concreta: datos, herramientas, permisos, autonomía, velocidad, capacidad de cómputo, usuarios y entorno operativo.
Un modelo con capacidad dentro de un sandbox de solo lectura presenta un riesgo diferente al mismo modelo conectado a credenciales de producción y permitido actuar sin revisión. Por lo tanto, el control pertenece al sistema completo, no solo al entrenamiento del modelo o a un aviso de seguridad.
Conclusiones clave
- Inventariar las capacidades como comportamiento del modelo más herramientas, datos, permisos y autonomía.
- Utilizar el principio de menor privilegio, aislamiento, límites de velocidad, credenciales con alcance limitado y aprobación para acciones con consecuencias.
- Evaluar tanto el rendimiento previsto como el uso indebido, evasión, escalada y fallos combinados de herramientas.
- Incrementar las salvaguardas y la evidencia de lanzamiento a medida que aumentan la capacidad y la exposición del despliegue.
La capacidad es contextual
Los benchmarks revelan comportamientos limitados bajo condiciones específicas. La capacidad desplegada también depende de los prompts, la infraestructura, la recuperación, la memoria, las herramientas, los reintentos y el acceso. Una aplicación puede hacer que un modelo modesto sea más relevante al planificar y ejecutar repetidamente.
Mapea cada ruta desde la entrada hasta el efecto. Conecta este inventario al análisis de riesgos de IA generativa y a los activos reales en juego, incluidos los registros de clientes, el código, el dinero, los dispositivos físicos y las comunicaciones.
Prevenir, contener y detectar
Los controles preventivos incluyen límites de permisos, esquemas de herramientas aprobadas, validación de entradas y confirmación explícita del usuario. La contención incluye sandboxes, límites de salida de red, cuotas de recursos, credenciales de corta duración y entornos reversibles.
La detección añade registro, alertas de anomalías, disparadores, datos canarios y verificaciones de políticas independientes. Ninguna capa es perfecta, por lo que la defensa en profundidad asume que un control puede fallar. Los principios de Ciberseguridad se aplican incluso cuando la interfaz es conversacional.
Evaluación antes del acceso
Prueba el modelo sin herramientas y luego añade capacidades de forma incremental. Mide si puede descubrir secretos, explotar software, persuadir a los operadores, encadenar acciones, recuperarse de fallos o ocultar intenciones bajo restricciones realistas. Valida las negativas sin exponer ampliamente los detalles sensibles de la evaluación.
Superar un benchmark no prueba la seguridad en todos los entornos. Realiza pruebas de red (red‑team) al sistema integrado, repite las pruebas después de cambios en el modelo, el prompt o las herramientas, y utiliza un lanzamiento escalonado con límites monitorizados.
Gobernanza y respuesta
Asigna un responsable, un propósito aprobado, tolerancia al riesgo, criterios de lanzamiento, proceso de control de cambios y autoridad de emergencia. Registra qué versión, política, herramientas y permisos estaban activos para cada resultado con consecuencias.
Conecta los controles a la gobernanza de IA responsable. Prepara la revocación de credenciales, el apagado de herramientas, la reversión del modelo, la notificación al usuario, la investigación y lecciones aprendidas antes de que ocurra un incidente grave.
Una taxonomía de control de capacidad
Los controles de entrada restringen quién puede enviar tareas, qué modalidades y tipos de archivo se aceptan, y cuánta información de contexto se puede proporcionar. Los controles del modelo incluyen el ajuste fino, el comportamiento de rechazo, los límites de decodificación y la selección de puntos de control. Los controles de la aplicación determinan la memoria, la recuperación, la disponibilidad de herramientas y cómo se interpretan las salidas.
Los controles de recursos limitan tokens, tiempo, tareas concurrentes, cómputo, almacenamiento y uso de red. Los controles de acción restringen dominios, destinatarios, montos de transacciones, ejecución de código y dispositivos físicos. Los controles humanos definen aprobaciones, supervisión, escalada y apagado de emergencia. Los controles de gobernanza cubren criterios de lanzamiento, monitoreo, auditoría y responsabilidad.
Estas capas abordan diferentes modos de falla. Un filtro de contenido no puede detener una llamada a herramienta que parece válida pero no está autorizada; un sandbox no puede impedir un mensaje público dañino si se permite la comunicación; un aprobador humano no puede supervisar miles de micro‑acciones opacas. Los controles deben coincidir con la ruta del efecto.
Contención y mínima agencia
El principio de menor privilegio otorga solo los datos y acciones requeridos para la tarea actual. La mínima agencia añade límites de duración, alcance, iniciativa y delegación. Un asistente que redacta un cambio para revisión tiene menos agencia que uno que confirma, despliega, monitorea y reintenta de forma independiente.
Los sandboxes aíslan código y archivos, pero el aislamiento requiere políticas explícitas de red, procesos, dispositivos y persistencia. Utiliza entornos desechables, egresos en lista blanca, sistemas de archivos limitados y secretos separados. Las salidas que salen del sandbox —parches, binarios, mensajes o solicitudes— siguen requiriendo validación.
Para agentes de larga duración, limita las iteraciones y exige puntos de control. Separa la planificación de la ejecución y haz que cada herramienta informe un resultado estructurado. Impide que un agente cree nuevas credenciales, modifique su propia política, desactive registros o genere réplicas sin límite, a menos que un caso de uso estrictamente gobernado lo requiera.
Evaluación de capacidad y decisiones de lanzamiento
Construye una matriz de evaluación que abarque la versión del modelo, la infraestructura, las herramientas, los permisos y la habilidad del usuario. Prueba la finalización autónoma de tareas, la asistencia en usos indebidos, acciones cibernéticas, conocimientos sensibles, persuasión, replicación y evasión cuando sea pertinente. Incluye tanto el rendimiento promedio como el mejor resultado entre intentos repetidos.
Protege los detalles peligrosos de la evaluación, pero publica suficiente metodología y evidencia agregada para la rendición de cuentas. Evaluadores independientes reducen los conflictos de interés. Los umbrales deben activar controles predeterminados, como menor acceso, monitoreo más estricto, lanzamiento retrasado o revisión adicional, en lugar de un debate después de conocer los resultados.
El monitoreo posterior al lanzamiento debe detectar cambios de capacidad provocados por ajuste fino, actualizaciones de prompts, nuevas herramientas o contextos más extensos. Mantén un registro de modelos y despliegues, informes de incidentes y un proceso para reducir el acceso rápidamente. Una reversión restaura una configuración conocida; no elimina los datos ya expuestos ni las acciones ya realizadas.
Construcción de un sistema de control de capacidad en capas
Comienza con un inventario de capacidades que cubra salidas del modelo, herramientas, fuentes de datos, ejecución de código, acceso a la red, memoria, identidades y acciones posteriores. Clasifica cada una por reversibilidad, alcance, sensibilidad y daño potencial. Un modelo que redacta un correo electrónico es diferente de uno que puede seleccionar destinatarios y enviarlo. Otorga la capacidad mínima necesaria para la tarea actual, por una duración y entorno limitados.
La aplicación pertenece fuera del modelo: esquemas tipados de herramientas, servicios de autorización, listas blancas, sandboxing, cuotas de recursos, límites de transacciones, prevención de pérdida de datos y aprobación humana. Trata las instrucciones del modelo como entrada no confiable y valida cada acción contra la identidad y la política. Separa la planificación de la ejecución, usa idempotencia y vista previa para operaciones con consecuencias, y asegura que el modelo no pueda modificar los controles o registros que lo gobiernan.
Prueba la inyección de prompts, ataques de sustituto confundido, contenido malicioso indirecto, escalada de privilegios, exfiltración de datos, bucles descontrolados y herramientas comprometidas. Monitorea acciones solicitadas y denegadas, secuencias inusuales, costos y uso de recursos, y cambios de política. Mantén una parada de emergencia que realmente elimine credenciales o bloquee la ejecución, en lugar de simplemente pedir al modelo que se detenga. El control de capacidad reduce el daño alcanzable; debe combinarse con la evaluación del modelo, infraestructura segura, gobernanza y respuesta a incidentes.
La garantía debe cubrir el sistema compuesto, porque componentes seguros individualmente pueden crear una cadena insegura. Verifica que una herramienta de lectura de bajo privilegio no pueda suministrar secretos a una herramienta de mensajería, que la memoria no pueda introducir instrucciones en sesiones posteriores, y que las aprobaciones muestren la acción y el destino exactos. Reevalúa los límites de capacidad siempre que cambie un modelo, conector, fuente de datos o política; los permisos heredados son una fuente frecuente de expansión no intencionada.
Lista de verificación práctica de implementación
Convierte el concepto en un flujo de trabajo delimitado y verificable: mapear acceso → probar → limitar → aprobar → monitorear → responder. Nombra a un responsable, documenta los datos y dependencias, establece una línea base sencilla, define criterios de aceptación y de detención, prueba fallos representativos y define monitoreo, reversión y revisión antes de ampliar el alcance. Registra versiones y supuestos para que otro equipo pueda reproducir el resultado y entender qué cambió.
Antes del lanzamiento, realiza una revisión de preparación documentada con las personas que construyen, operan, aseguran y son afectadas por el sistema. Prueba casos normales, condiciones límite, fallos de dependencias y usos indebidos; conserva la evidencia y los riesgos no resueltos. Define quién puede aprobar el lanzamiento, cambiar un umbral, anular una salida o detener la operación. Revisa la decisión una vez que lleguen datos del mundo real, porque un piloto técnicamente exitoso no garantiza un rendimiento fiable a mayor escala.
- CAPACIDAD: modelo más herramientas e infraestructura.
- EXPOSICIÓN: usuarios, activos y contexto operativo.
- CONTROL: prevenir, contener, detectar y responder.
Preguntas frecuentes
¿Es un prompt del sistema un control de capacidad?
Es una capa de instrucción conductual, pero no es un sustituto fiable de los permisos, el sandboxing, la validación, las herramientas con alcance limitado y las aprobaciones aplicadas fuera del modelo.
¿Debería cada sistema de IA usar los mismos controles?
No. Los controles deben escalar con la capacidad, el acceso, la autonomía, los usuarios afectados, la reversibilidad y el impacto. El mismo modelo puede requerir controles diferentes en distintas implementaciones.
Referencias principales
