Wat zijn agents die computers gebruiken? Hoe AI software bekijkt, aanklikt, bedient en navigeert

Agents die computers gebruiken, zijn AI-systemen die een software-interface kunnen waarnemen en bedienen met acties zoals klikken, typen, scrollen, slepen en sneltoetsen gebruiken. In plaats van voor elke toepassing een speciale API nodig te hebben, werken ze met veel van dezelfde visuele interfaces die mensen gebruiken.

Dankzij deze mogelijkheid kunnen agents met allerlei oudere software, websites en desktoptoepassingen overweg. Tegelijkertijd brengt dit ongebruikelijke risico’s met zich mee. Een kleine visuele misinterpretatie kan een lange taak een andere kant op sturen, en toegang tot een interface kan alles blootleggen wat de ingelogde gebruiker kan zien of wijzigen.

Waarom computerbediening belangrijk is

Veel belangrijke software ter wereld is ontworpen voor mensen, niet voor agents. Een toepassing heeft misschien geen openbare API, biedt programmatisch slechts toegang tot een deel van de functionaliteit of vereist werkzaamheden in verschillende interfaces.

Traditionele robotische procesautomatisering kan gebruikersinterfaces bedienen, maar is doorgaans afhankelijk van vooraf gedefinieerde selectors en workflows. Een agent die een computer gebruikt, voegt daar een model aan toe dat onbekende schermen kan interpreteren, kan bepalen welke stap nodig is en zich kan aanpassen wanneer de interface verandert of er een onverwacht dialoogvenster verschijnt.

Daardoor is computerbediening een breed inzetbaar hulpmiddel. Met dezelfde waarnemings- en actielus kan een agent mogelijk door een spreadsheet, een klantrelatiebeheersysteem, een ontwerptoepassing, een browser of een intern portaal navigeren.

Hoe een agent die een computer gebruikt werkt

De koppeling met concrete interface-elementen is de lastige tussenstap. De agent moet een abstracte instructie, zoals ‘open de meest recente factuur’, verbinden met een specifieke zichtbare rij of bedieningselement. Tekstlabels en toegankelijkheidsmetadata kunnen daarbij helpen, maar bij dynamische lay-outs, interfaces op basis van canvas, overlappende elementen en dubbelzinnige pictogrammen moet het model mogelijk op basis van pixels redeneren.

De basislus lijkt op de manier waarop iemand met software omgaat.

1. Waarnemen: maak een schermafbeelding en leg de toegankelijkheidsstructuur, documentstructuur, cursorpositie en andere omgevingsgegevens vast.
2. Interpreteren: herken zichtbare bedieningselementen, inhoud en waarschuwingen, en bepaal hoe het huidige scherm zich verhoudt tot de taak.
3. Een actie kiezen: beslis of je klikt, typt, scrolt, een toets indrukt, wacht of om hulp vraagt.
4. Uitvoeren: de runtime voert de actie uit via een interface van het besturingssysteem, de browser of de virtuele machine.
5. Controleren: leg het gewijzigde scherm vast en bepaal of de actie het beoogde effect heeft gehad.
6. Doorgaan of stoppen: werk verder aan het doel, herstel van een fout of pauzeer bij een beveiligde grens.

OpenAI beschrijft een agent die een computer gebruikt als een combinatie van visuele waarneming, redeneren en handelingen met muis en toetsenbord. Het draait niet om het voorspellen van één klik, maar om de gesloten lus tussen waarneming, actie en een nieuwe waargenomen toestand.

Wat de agent kan ‘zien’

Systemen voor computerbediening kunnen interfaces in verschillende vormen ontvangen.

Schermafbeeldingen bieden een algemeen beeld op pixelniveau en werken ook wanneer er geen gestructureerde interfacemetadata beschikbaar zijn. Ze kunnen grafieken, afbeeldingen, canvasapplicaties en visuele lay-outs vastleggen. Kleine doelen, verborgen toestanden en dubbelzinnige pictogrammen kunnen echter lastig te interpreteren zijn.

Toegankelijkheidsstructuren of documentstructuren maken bedieningselementen en tekst op een meer gestructureerde manier zichtbaar. Daardoor kunnen elementen nauwkeuriger worden geselecteerd, maar visuele informatie kan ontbreken en de werking kan per toepassing verschillen.

Hybride systemen combineren pixels, gestructureerde elementen en de toepassingsstatus, en soms ook directe API’s. Dat werkt vaak beter dan elk probleem te benaderen als louter visuele nabootsing.

Computerbediening versus browserautomatisering

Bij conventionele browserautomatisering worden code en stabiele selectors gebruikt om een bekende reeks handelingen uit te voeren. Dat gaat snel en voorspelbaar wanneer de paginavormgeving vaststaat. Een agent die een computer gebruikt, interpreteert de interface dynamisch en kan zelf bepalen welke reeks handelingen moet worden gevolgd.

De benaderingen vullen elkaar aan. Een robuust systeem kan de agent laten bepalen wat er moet gebeuren en vervolgens bekende handelingen laten uitvoeren via deterministische automatisering of API’s. Interactie op pixelniveau is vooral waardevol wanneer er geen gestructureerde interface beschikbaar is of wanneer de route niet vooraf kan worden bepaald.

Computerbediening versus API’s en toolaanroepen

Deze hybride aanpak vermindert zowel fouten als kosten. De agent kan gegevens ophalen via een API, alleen een desktopapplicatie openen om een verouderd formulier in te vullen en vervolgens het definitieve record controleren met een andere gestructureerde query. Door visuele bediening als een van meerdere hulpmiddelen te beschouwen, hoeft niet elke stap via de minst betrouwbare interface te verlopen.

Een API biedt een machinegerichte interface met expliciete bewerkingen en gegevenstypen. Die is doorgaans sneller, nauwkeuriger en eenvoudiger te valideren dan bediening via een scherm. Computerbediening is breder compatibel, maar brengt meer onduidelijkheid met zich mee.

Een agent kan bijvoorbeeld via een API de voorraad opvragen, maar voor een uitzondering die de API niet ondersteunt het webportaal van de leverancier gebruiken. Toolaanroepen kunnen beide mogelijkheden beschikbaar maken voor het model, terwijl de runtime de voorkeur geeft aan de betrouwbaarste route.

Veelvoorkomende toepassingen

• Backofficeactiviteiten: gegevens overzetten tussen portals, standaardformulieren verwerken en records klaarmaken voor goedkeuring.
• Onderzoek: websites doorzoeken, resultaten filteren, bewijs verzamelen en een werkdocument bijwerken.
• Softwaretesten: gebruikersscenario’s doorlopen, fouten vastleggen en visuele wijzigingen controleren.
• IT-ondersteuning: instellingen controleren, diagnostische gegevens verzamelen en goedgekeurde oplossingen toelichten of uitvoeren.
• Persoonlijke productiviteit: bestanden, webapplicaties, agenda’s en documenten beheren.
• Toegankelijkheid: gebruikers helpen bij het bedienen van interfaces die anders moeilijk te navigeren zijn, met strenge privacywaarborgen.

Waarom taken waarbij een computer wordt bediend moeilijk blijven

Gebruikersinterfaces bevatten dynamische menu’s, vertraagd ladende inhoud, pop-ups, scrollbare gedeelten, kleine bedieningselementen en statussen die op elkaar lijken maar verschillende gevolgen hebben. Voor een taak kunnen tientallen juiste stappen nodig zijn, waardoor zelfs een bescheiden foutpercentage per stap zich opstapelt.

Benchmarks zoals OSWorld evalueren agents in echte computeromgevingen, in plaats van bij afzonderlijke klikken. OSWorld 2.0 bouwt daarop voort met langere workflows, statuswijzigingen en meer variatie. Het hoofdstuk over technische prestaties van de 2026 AI Index van Stanford laat snelle vooruitgang zien, maar ook dat de prestaties op OSWorld nog achterblijven bij die van mensen. Dat onderstreept dat indrukwekkende demo’s niet gelijkstaan aan universele betrouwbaarheid.

Belangrijkste faalwijzen

• Fouten bij visuele doelverankering: op een bedieningselement ernaast of op een vergelijkbaar element klikken.
• Verwarring over de status: ervan uitgaan dat een pagina is geladen, een wijziging is opgeslagen of het actieve venster is veranderd, terwijl dat niet zo is.
• Afwijking tijdens taken met een lange looptijd: het doel van de taak uit het oog verliezen na veel kleine acties.
• Verborgen neveneffecten: een formulier indienen of een aankoop doen terwijl de agent alleen een voorbeeld wilde bekijken.
• Promptinjectie: schadelijke instructies opvolgen die zijn opgenomen in een webpagina, document of bericht.
• Blootstelling van inloggegevens: informatie prijsgeven of misbruiken die beschikbaar is in een ingelogde sessie.
• Onomkeerbare fouten: iets verwijderen, publiceren, versturen of kopen zonder voldoende controle.

Beveiligings- en controleprincipes

Inhoud van interfaces is niet te vertrouwen. Een webpagina, e-mail of document kan instructies bevatten die bedoeld zijn om de agent een andere richting op te sturen, en een kwaadaardig dialoogvenster kan een vertrouwde bevestigingsvraag nabootsen. Het systeem moet pagina-inhoud gescheiden houden van beleid, bestemmingen en inloggegevens beperken en pauzeren wanneer een onverwacht toestemmingsverzoek of een bevestiging met grote gevolgen verschijnt.

Computertaken moeten worden uitgevoerd in de meest beperkte omgeving waarin de taak kan worden voltooid. Een afzonderlijk browserprofiel, een virtuele machine of een sandbox beperkt de toegang tot niet-gerelateerde accounts en bestanden. Sessies moeten inloggegevens gebruiken die specifiek zijn voor de taak, met zo weinig mogelijk bevoegdheden, in plaats van de volledige bevoegdheden van de desktop van de gebruiker over te nemen.

Voor handelingen met grote gevolgen is een duidelijke bevestigingsgrens nodig. Het systeem moet onmiddellijk pauzeren voordat het iets indient, verzendt, koopt, verwijdert of publiceert, of gevoelige instellingen wijzigt, en de gebruiker precies laten zien wat het doel is en wat het effect zal zijn.

Agents moeten scherminhoud ook behandelen als niet-vertrouwde gegevens. Instructies op een webpagina mogen het systeembeleid of de taak van de gebruiker niet overschrijven. Downloads, gekopieerde opdrachten en externe communicatie moeten afzonderlijk worden gecontroleerd.

Een agent beoordelen die een computer bedient

Het voltooien van de taak is noodzakelijk, maar niet voldoende. Teams moeten de nauwkeurigheid per stap meten, evenals het herstel na onverwachte situaties, onnodige handelingen, tijd, kosten, blootstelling van gevoelige gegevens, naleving van goedkeuringsvereisten en consistentie bij herhaalde uitvoeringen.

De evaluatieomgevingen moeten verschillen in schermresolutie, lay-out, gegevens, timing en de status van de toepassing. Anders kan een agent zich te veel aanpassen aan een vooraf opgesteld benchmarkscenario en toch tekortschieten bij de variatie die in alledaagse software voorkomt.

De diagrammen over computergebruik lezen

Lees de diagrammen over computergebruik vanaf de genummerde invoer in de richting van het waarneembare resultaat. De vergelijking maakt duidelijk waar computergebruik verschilt van de meest voor de hand liggende snelkoppeling, terwijl het bedieningstraject aangeeft waar bevoegdheden of onzekerheid moeten worden gecontroleerd voordat er gevolgen in de echte wereld ontstaan. De labels zijn gewone, responsieve pagin tekst, zodat ze op een telefoon kunnen worden vertaald, afgebroken en opnieuw ingedeeld.

Bij ‘Wat zijn agents die computers bedienen? Hoe AI software ziet, aanklikt, tekst invoert en door software navigeert’ is de afbeelding een routekaart, geen garantie. Een echte implementatie kan fasen combineren, een stap herhalen of een goedkeuringsmoment voor een mens toevoegen. Het gaat erom of het team dezelfde functies in het geïmplementeerde systeem kan herkennen, iemand verantwoordelijk kan maken voor elke grens en de overgang ertussen kan testen. Als een fase niet kan worden waargenomen of gemeten, zijn fouten daarin moeilijk te diagnosticeren.

Wat u moet onthouden over agents die computers bedienen

Agents die computers bedienen, maken de menselijke software-interface beschikbaar als een veelzijdig hulpmiddel. Ze kunnen systemen gebruiken waarvoor geen geschikte API’s bestaan en zich aanpassen aan taken die vaste automatisering niet gemakkelijk kan voorzien.

Die veelzijdigheid brengt onzekerheid en een potentieel grote impact met zich mee. De beste ontwerpen geven de voorkeur aan gestructureerde API’s wanneer die beschikbaar zijn, isoleren de computeromgeving, controleren elke statuswijziging en zorgen ervoor dat mensen de controle houden over handelingen met grote gevolgen.