¿Qué son los agentes que utilizan computadoras? Cómo la IA ve, hace clic, escribe y navega por el software

Los agentes que utilizan computadoras son sistemas de IA capaces de percibir una interfaz de software e interactuar con ella mediante acciones como hacer clic, escribir, desplazarse, arrastrar y usar atajos de teclado. En lugar de requerir una API específica para cada aplicación, trabajan con muchas de las mismas interfaces visuales que usan las personas.

Esta capacidad permite a los agentes abarcar una amplia variedad de software heredado, sitios web y aplicaciones de escritorio. También introduce riesgos poco habituales. Un pequeño error de interpretación visual puede desviar una tarea larga, y el acceso a la interfaz puede exponer todo lo que el usuario con sesión iniciada puede ver o modificar.

Por qué es importante el uso de computadoras

Gran parte del software importante del mundo se diseñó para las personas, no para los agentes. Es posible que una aplicación no tenga una API pública, que solo exponga parte de sus funciones mediante programación o que requiera trabajar con varias interfaces.

La automatización robótica de procesos tradicional puede operar interfaces de usuario, pero suele depender de selectores y flujos de trabajo predefinidos. Un agente que utiliza una computadora incorpora un modelo capaz de interpretar pantallas desconocidas, decidir qué paso hace falta y adaptarse cuando cambia la interfaz o aparece un cuadro de diálogo inesperado.

Esto convierte el uso de computadoras en una herramienta de propósito general. El mismo ciclo de percepción y acción puede permitir navegar por una hoja de cálculo, un sistema de gestión de relaciones con clientes, una aplicación de diseño, un navegador o un portal interno.

Cómo funciona un agente que utiliza una computadora

La vinculación con elementos concretos es el paso intermedio más difícil. El agente debe relacionar una instrucción conceptual, como «abrir la factura más reciente», con una fila o un control visibles específicos. Las etiquetas de texto y los metadatos de accesibilidad pueden ayudar, pero los diseños dinámicos, las interfaces basadas en lienzo, los elementos superpuestos y los iconos ambiguos pueden obligar al modelo a razonar a partir de los píxeles.

El ciclo básico se parece a la forma en que una persona interactúa con el software.

1. Observar: capturar una captura de pantalla, el árbol de accesibilidad, la estructura del documento, la posición del cursor y otros datos del estado del entorno.
2. Interpretar: identificar los controles visibles, el contenido, las advertencias y la relación entre la pantalla actual y la tarea.
3. Elegir una acción: decidir si hacer clic, escribir, desplazarse, pulsar una tecla, esperar o pedir ayuda.
4. Ejecutar: el entorno de ejecución realiza la acción mediante una interfaz del sistema operativo, del navegador o de una máquina virtual.
5. Verificar: capturar la pantalla modificada y determinar si la acción produjo el efecto deseado.
6. Repetir o detenerse: seguir avanzando hacia el objetivo, recuperarse de un error o hacer una pausa ante un límite protegido.

La descripción de OpenAI de un agente que utiliza una computadora presenta esta capacidad como una combinación de percepción visual, razonamiento y acciones con el ratón y el teclado. La clave no es predecir un único clic, sino cerrar el ciclo entre la percepción, la acción y la observación de un nuevo estado.

Qué puede «ver» el agente

Los sistemas de uso de computadoras pueden recibir distintas representaciones de una interfaz.

Las capturas de pantalla ofrecen una vista general a nivel de píxel y funcionan incluso cuando no hay metadatos estructurados de la interfaz. Pueden mostrar gráficos, imágenes, aplicaciones basadas en lienzo y la disposición visual. Sin embargo, los objetivos pequeños, los estados ocultos y los iconos ambiguos pueden ser difíciles de interpretar.

Los árboles de accesibilidad o la estructura del documento exponen los controles y el texto de forma más estructurada. Pueden hacer más precisa la selección de elementos, pero quizá omitan información visual o se comporten de manera inconsistente entre aplicaciones.

Los sistemas híbridos combinan píxeles, elementos estructurados, el estado de la aplicación y, en ocasiones, API directas. Esto suele ser más eficaz que abordar todos los problemas como una mera imitación visual.

Uso de computadoras frente a automatización del navegador

La automatización convencional del navegador utiliza código y selectores estables para ejecutar una secuencia conocida. Es rápida y predecible cuando la estructura de la página está controlada. Un agente que utiliza una computadora interpreta la interfaz de forma dinámica y puede decidir qué secuencia seguir.

Ambos enfoques se complementan. Un sistema sólido puede permitir que el agente decida qué debe hacerse y, después, ejecutar operaciones conocidas mediante automatización determinista o API. La interacción a nivel de píxel es más valiosa cuando no hay una interfaz estructurada disponible o no es posible especificar de antemano el recorrido.

Uso de la computadora frente a las API y las llamadas a herramientas

Este enfoque híbrido reduce tanto los errores como los costos. El agente podría recuperar datos mediante una API, abrir una aplicación de escritorio únicamente para completar un formulario heredado y, después, verificar el registro final mediante otra consulta estructurada. Tratar el control visual como una herramienta más evita obligar a que cada paso pase por la interfaz menos fiable.

Una API ofrece una interfaz orientada a máquinas, con operaciones y tipos de datos explícitos. Por lo general, es más rápida, precisa y fácil de validar que hacer clic en una pantalla. El uso de la computadora ofrece mayor compatibilidad, pero a costa de una mayor ambigüedad.

Por ejemplo, un agente podría consultar el inventario mediante una API, pero usar el portal web del proveedor para resolver una excepción que la API no admite. Las llamadas a herramientas pueden ofrecer ambas capacidades al modelo, mientras que el entorno de ejecución prioriza la vía más fiable.

Casos de uso habituales

• Operaciones administrativas: transferir datos entre portales, gestionar formularios rutinarios y preparar registros para su aprobación.
• Investigación: navegar por sitios web, filtrar resultados, recopilar pruebas y actualizar un documento de trabajo.
• Pruebas de software: seguir recorridos de usuario, registrar fallos y comprobar cambios visuales.
• Soporte de TI: revisar configuraciones, recopilar datos de diagnóstico y orientar o ejecutar correcciones autorizadas.
• Productividad personal: coordinar archivos, aplicaciones web, calendarios y documentos.
• Accesibilidad: ayudar a los usuarios a manejar interfaces que, de otro modo, serían difíciles de navegar, con controles de privacidad estrictos.

Por qué las tareas con computadoras siguen siendo difíciles

Las interfaces de usuario incluyen menús dinámicos, cargas con demora, ventanas emergentes, áreas de desplazamiento, objetivos pequeños y estados que parecen similares, pero tienen consecuencias distintas. Una tarea puede requerir decenas de pasos correctos, por lo que incluso una tasa de error moderada por paso se acumula.

Pruebas de referencia como OSWorld evalúan a los agentes en entornos informáticos reales, en lugar de limitarse a clics aislados. OSWorld 2.0 amplía esa idea a flujos de trabajo más largos, con cambios de estado y mayor variabilidad. El capítulo sobre rendimiento técnico del AI Index 2026 de Stanford informa de una rápida mejora, pero también muestra que aún existe una brecha respecto al rendimiento humano en OSWorld, lo que subraya que las demostraciones impresionantes no equivalen a una fiabilidad universal.

Principales tipos de fallos

• Errores de anclaje visual: hacer clic en un control cercano o parecido.
• Confusión de estado: dar por hecho que se cargó una página, que se guardaron los cambios o que cambió la ventana activa cuando no fue así.
• Desviación en tareas de larga duración: perder de vista el objetivo de la tarea tras muchas acciones pequeñas.
• Efectos secundarios ocultos: enviar un formulario o realizar una compra cuando el agente solo pretendía obtener una vista previa.
• Inyección de instrucciones: seguir instrucciones maliciosas insertadas en una página web, un documento o un mensaje.
• Exposición de credenciales: revelar o utilizar indebidamente información disponible en una sesión iniciada.
• Errores irreversibles: eliminar, publicar, enviar o comprar sin una revisión adecuada.

Principios de seguridad y control

El contenido de la interfaz no es confiable. Una página web, un correo electrónico o un documento pueden contener instrucciones destinadas a desviar al agente, y un cuadro de diálogo malicioso puede imitar una confirmación conocida. El sistema debe aislar el contenido de la página de las políticas, restringir los destinos y las credenciales, y detenerse cuando aparezca una solicitud de permisos inesperada o una confirmación con consecuencias importantes.

El uso de la computadora debe ejecutarse en el entorno más limitado que permita completar la tarea. Un perfil de navegador específico, una máquina virtual o un entorno aislado limitan el acceso a cuentas y archivos que no guardan relación con la tarea. Las sesiones deben usar credenciales específicas para cada tarea y permisos con el mínimo privilegio necesario, en lugar de heredar todo el nivel de acceso del usuario a su computadora.

Las acciones de gran impacto necesitan un límite de confirmación claro. El sistema debe detenerse justo antes de enviar, remitir, comprar, eliminar o publicar algo, o cambiar ajustes sensibles, y mostrar al usuario el destino exacto y el efecto de la acción.

Los agentes también deben tratar el contenido de la pantalla como datos no confiables. Las instrucciones que encuentren en una página web no deben prevalecer sobre las políticas del sistema ni sobre la tarea del usuario. Las descargas, los comandos copiados y las comunicaciones externas requieren una validación independiente.

Cómo evaluar un agente que usa una computadora

Completar la tarea es necesario, pero no suficiente. Los equipos deben medir la precisión de cada paso, la capacidad de recuperarse ante estados inesperados, las acciones innecesarias, el tiempo, el costo, la exposición de datos sensibles, el cumplimiento de los requisitos de aprobación y la consistencia en ejecuciones repetidas.

Los entornos de evaluación deben variar la resolución de pantalla, el diseño, los datos, los tiempos y el estado de la aplicación. De lo contrario, un agente puede ajustarse demasiado a una prueba comparativa programada y fallar ante las variaciones habituales del software cotidiano.

Cómo leer los diagramas sobre el uso de la computadora

Lee los diagramas sobre el uso de la computadora desde la entrada numerada hasta el resultado observable. La comparación aísla el límite que distingue el uso de la computadora de la alternativa más parecida, mientras que la ruta de control señala dónde deben comprobarse la autoridad o la incertidumbre antes de que haya consecuencias en el mundo real. Las etiquetas siguen siendo texto normal de la página, adaptable al tamaño de la pantalla, para que puedan traducirse, ajustarse a varias líneas y redistribuirse en un teléfono.

En «¿Qué son los agentes que usan computadoras? Cómo la IA ve, hace clic, escribe y navega por el software», la imagen es un mapa, no una garantía. Una implementación real puede combinar etapas, repetir un paso o añadir un punto de aprobación humana. Lo importante es que el equipo pueda identificar las mismas funciones en el sistema implementado, asignar un responsable a cada límite y probar la transición entre ellos. Si una etapa no puede observarse ni medirse, será difícil diagnosticar los fallos que se produzcan en ella.

Qué recordar sobre los agentes que usan computadoras

Los agentes que usan computadoras ponen a su disposición la interfaz de software para las personas como una herramienta de uso general. Pueden acceder a sistemas que carecen de API adecuadas y adaptarse a tareas que la automatización fija no puede anticipar fácilmente.

Esa versatilidad conlleva ambigüedad y un potencial de impacto amplio. Los diseños más sólidos priorizan las API estructuradas cuando están disponibles, aíslan el entorno informático, verifican cada cambio de estado y mantienen a las personas al mando de las acciones con consecuencias importantes.