Ce sunt agenții care utilizează computerul? Cum vede, face clicuri, tastează și navighează prin software inteligența artificială

Agenții care utilizează computerul sunt sisteme de inteligență artificială capabile să perceapă o interfață software și să interacționeze cu aceasta prin acțiuni precum clicuri, tastare, derulare, glisare și comenzi rapide de la tastatură. În loc să necesite un API dedicat pentru fiecare aplicație, aceștia lucrează prin multe dintre aceleași interfețe vizuale pe care le folosesc oamenii.

Această capacitate le permite agenților să funcționeze într-o gamă largă de programe vechi, site-uri web și aplicații desktop. Totodată, introduce riscuri neobișnuite. O mică neînțelegere vizuală poate devia o sarcină de durată, iar accesul la interfață poate expune tot ceea ce utilizatorul autentificat poate vedea sau modifica.

De ce este importantă utilizarea computerului

O mare parte din software-ul important din lume a fost conceput pentru oameni, nu pentru agenți. Este posibil ca o aplicație să nu aibă un API public, să expună programatic doar o parte din funcționalități sau să necesite lucrul în mai multe interfețe.

Automatizarea robotică tradițională a proceselor poate opera interfețe de utilizator, dar se bazează, de obicei, pe selectori și fluxuri de lucru predefinite. Un agent care utilizează computerul adaugă un model capabil să interpreteze ecrane nefamiliare, să decidă ce pas este necesar și să se adapteze atunci când interfața se schimbă sau apare o casetă de dialog neașteptată.

Astfel, utilizarea computerului devine un instrument de uz general. Același ciclu de percepție și acțiune poate permite navigarea într-o foaie de calcul, într-un sistem de gestionare a relațiilor cu clienții, într-o aplicație de design, într-un browser sau într-un portal intern.

Cum funcționează un agent care utilizează computerul

Pasul dificil, aflat la mijloc, este asocierea instrucțiunii cu elementul concret. Agentul trebuie să lege o instrucțiune conceptuală, precum „deschide cea mai recentă factură”, de un anumit rând sau control vizibil. Etichetele textuale și metadatele de accesibilitate pot fi de ajutor, dar aspectele dinamice, interfețele bazate pe canvas, elementele suprapuse și pictogramele ambigue pot obliga modelul să raționeze pornind de la pixeli.

Ciclul de bază seamănă cu modul în care o persoană interacționează cu software-ul.

1. Observă: capturează o captură de ecran, arborele de accesibilitate, structura documentului, poziția cursorului și alte stări ale mediului.
2. Interpretează: identifică elementele de control vizibile, conținutul, avertismentele și relația dintre ecranul curent și sarcină.
3. Alege o acțiune: decide dacă să facă clic, să tasteze, să deruleze, să apese o tastă, să aștepte sau să ceară ajutor.
4. Execută: mediul de execuție efectuează acțiunea printr-o interfață de sistem de operare, de browser sau de mașină virtuală.
5. Verifică: capturează ecranul modificat și stabilește dacă acțiunea a avut efectul dorit.
6. Repetă sau oprește: continuă spre obiectiv, remediază o eroare sau se oprește la o limită de protecție.

Descrierea făcută de OpenAI unui agent care utilizează computerul prezintă această capacitate ca pe o combinație între percepția vizuală, raționament și acțiuni efectuate cu mouse-ul și tastatura. Elementul esențial nu este prezicerea unui singur clic, ci bucla închisă dintre percepție, acțiune și observarea unei noi stări.

Ce poate „vedea” agentul

Sistemele care utilizează computerul pot primi reprezentări diferite ale unei interfețe.

Capturile de ecran oferă o imagine generală la nivel de pixeli și funcționează chiar și atunci când nu sunt disponibile metadate structurate despre interfață. Ele pot surprinde grafice, imagini, aplicații bazate pe canvas și aspectul vizual al interfeței. Totuși, țintele mici, stările ascunse și pictogramele ambigue pot fi dificil de interpretat.

Arborii de accesibilitate sau structura documentului prezintă elementele de control și textul într-o formă mai structurată. Acestea pot face selectarea elementelor mai precisă, dar pot omite informații vizuale sau pot funcționa neuniform în diferite aplicații.

Sistemele hibride combină pixelii, elementele structurate, starea aplicației și, uneori, API-uri directe. Adesea, această abordare este mai eficientă decât tratarea fiecărei probleme ca pe o simplă imitație vizuală.

Utilizarea computerului comparativ cu automatizarea browserului

Automatizarea convențională a browserului folosește cod și selectori stabili pentru a executa o secvență cunoscută. Este rapidă și previzibilă atunci când structura paginii este controlată. Un agent care utilizează computerul interpretează dinamic interfața și poate decide ce secvență să urmeze.

Cele două abordări se completează reciproc. Un sistem robust poate permite agentului să decidă ce trebuie făcut, apoi să execute operațiunile bine cunoscute prin automatizare deterministă sau API-uri. Interacțiunea la nivel de pixeli este deosebit de utilă atunci când nu există o interfață structurată sau când traseul nu poate fi specificat dinainte.

Utilizarea computerului vs. API-uri și apelarea instrumentelor

Această abordare hibridă reduce atât erorile, cât și costurile. Agentul poate prelua date printr-un API, poate deschide o aplicație desktop doar pentru a completa un formular vechi, apoi poate verifica înregistrarea finală printr-o altă interogare structurată. Tratarea controlului vizual ca unul dintre mai multe instrumente evită obligarea fiecărui pas să treacă prin interfața cea mai puțin fiabilă.

Un API oferă o interfață destinată mașinilor, cu operațiuni și tipuri de date explicite. De regulă, este mai rapid, mai precis și mai ușor de validat decât interacțiunea cu ecranul prin clicuri. Utilizarea computerului oferă o compatibilitate mai largă, cu prețul unei ambiguități sporite.

De exemplu, un agent poate interoga stocurile printr-un API, dar poate folosi portalul web al furnizorului pentru a gestiona o excepție pe care API-ul nu o acceptă. Apelarea instrumentelor poate pune ambele capabilități la dispoziția modelului, în timp ce mediul de execuție preferă calea cea mai fiabilă.

Cazuri de utilizare frecvente

• Operațiuni administrative: transferul datelor între portaluri, gestionarea formularelor obișnuite și pregătirea înregistrărilor pentru aprobare.
• Cercetare: navigarea pe site-uri web, filtrarea rezultatelor, colectarea dovezilor și actualizarea unui document de lucru.
• Testarea software-ului: parcurgerea traseelor utilizatorilor, înregistrarea erorilor și verificarea modificărilor vizuale.
• Asistență IT: verificarea setărilor, colectarea datelor de diagnostic și îndrumarea utilizatorilor către remedieri aprobate sau aplicarea acestora.
• Productivitate personală: gestionarea fișierelor, aplicațiilor web, calendarelor și documentelor.
• Accesibilitate: ajutarea utilizatorilor să opereze interfețe greu de navigat în alte condiții, cu respectarea unor măsuri stricte de protecție a vieții private.

De ce sarcinile care implică utilizarea computerului rămân dificile

Interfețele utilizator includ meniuri dinamice, încărcări întârziate, ferestre pop-up, zone cu derulare, ținte mici și stări care par asemănătoare, dar au consecințe diferite. O sarcină poate necesita zeci de pași corecți, astfel încât chiar și o rată modestă de eroare per pas se cumulează.

Teste de evaluare precum OSWorld evaluează agenții în medii reale de utilizare a computerului, nu doar prin clicuri izolate. OSWorld 2.0 extinde această idee la fluxuri de lucru mai lungi, cu schimbări de stare și o varietate mai mare. Capitolul privind performanța tehnică din AI Index 2026 al Universității Stanford raportează progrese rapide, dar arată și că performanța pe OSWorld rămâne sub cea umană, subliniind că demonstrațiile impresionante nu înseamnă fiabilitate universală.

Principalele tipuri de eșec

• Erori de ancorare vizuală: clicul pe un element de control din apropiere sau asemănător.
• Confuzie privind starea: presupunerea că o pagină s-a încărcat, că salvarea a reușit sau că s-a schimbat fereastra activă, deși acest lucru nu s-a întâmplat.
• Abaterea pe parcursul sarcinilor de lungă durată: pierderea obiectivului sarcinii după numeroase acțiuni mici.
• Efecte secundare ascunse: trimiterea unui formular sau efectuarea unei achiziții, deși agentul intenționa doar să previzualizeze.
• Injectare de prompturi: urmarea instrucțiunilor rău intenționate încorporate într-o pagină web, într-un document sau într-un mesaj.
• Expunerea datelor de autentificare: dezvăluirea sau utilizarea abuzivă a informațiilor disponibile într-o sesiune autentificată.
• Greșeli ireversibile: ștergerea, publicarea, trimiterea sau achiziționarea fără o verificare adecvată.

Principii de securitate și control

Conținutul interfeței nu este de încredere. O pagină web, un e-mail sau un document poate conține instrucțiuni menite să redirecționeze agentul, iar o fereastră de dialog rău intenționată poate imita o confirmare familiară. Sistemul ar trebui să separe conținutul paginii de politicile sale, să restricționeze destinațiile și datele de autentificare și să se oprească atunci când apare o solicitare neașteptată de permisiune sau o confirmare cu consecințe importante.

Utilizarea computerului ar trebui să aibă loc în cel mai restrâns mediu care permite îndeplinirea sarcinii. Un profil de browser dedicat, o mașină virtuală sau un mediu izolat limitează accesul la conturi și fișiere care nu au legătură cu sarcina. Sesiunile ar trebui să folosească date de autentificare specifice sarcinii și permisiuni minime, în loc să moștenească toate permisiunile utilizatorului din mediul său desktop.

Acțiunile cu impact major necesită o etapă clară de confirmare. Sistemul ar trebui să se oprească chiar înainte de a trimite un formular, de a expedia un mesaj, de a cumpăra, șterge sau publica ceva ori de a modifica setări sensibile și să îi arate utilizatorului ținta exactă și efectul acțiunii.

Agenții ar trebui, de asemenea, să trateze conținutul de pe ecran ca pe date care nu sunt de încredere. Instrucțiunile întâlnite într-o pagină web nu trebuie să prevaleze asupra politicilor sistemului sau asupra sarcinii utilizatorului. Descărcările, comenzile copiate și comunicările externe necesită o validare separată.

Cum evaluăm un agent care folosește computerul

Îndeplinirea sarcinii este necesară, dar nu suficientă. Echipele ar trebui să măsoare acuratețea fiecărui pas, capacitatea de recuperare în urma unor stări neașteptate, acțiunile inutile, timpul, costul, expunerea datelor sensibile, respectarea cerințelor de aprobare și consecvența în rulări repetate.

Mediile de evaluare ar trebui să varieze rezoluția ecranului, aspectul, datele, temporizarea și starea aplicației. În caz contrar, un agent se poate adapta excesiv la un test de referință cu pași prestabiliți și poate eșua în fața variațiilor întâlnite în programele folosite zi de zi.

Cum se citesc diagramele despre utilizarea computerului

Citiți diagramele despre utilizarea computerului pornind de la intrarea numerotată și urmărind-o până la rezultatul observabil. Comparația evidențiază limita care diferențiază utilizarea computerului de cea mai apropiată scurtătură, în timp ce traseul de control indică locul în care trebuie verificate permisiunile sau incertitudinile înainte de apariția unei consecințe în lumea reală. Etichetele sunt text obișnuit al paginii, adaptabil la dimensiunea ecranului, astfel încât să poată fi traduse, să treacă pe rândul următor și să se rearanjeze pe telefon.

Pentru „Ce sunt agenții care folosesc computerul? Cum vede, face clic, tastează și navighează prin programe inteligența artificială”, imaginea este o hartă, nu o garanție. O implementare reală poate combina etape, poate repeta un pas sau poate introduce o etapă de aprobare umană. Important este ca echipa să poată identifica aceleași funcții în sistemul implementat, să desemneze un responsabil pentru fiecare limită și să testeze tranziția dintre ele. Dacă o etapă nu poate fi observată sau măsurată, va fi dificil să se diagnosticheze defecțiunile care apar în acel punct.

Ce trebuie reținut despre agenții care folosesc computerul

Agenții care folosesc computerul pot utiliza interfața software destinată oamenilor ca pe un instrument universal. Ei pot accesa sisteme care nu dispun de API-uri adecvate și se pot adapta la sarcini pe care automatizările cu funcții fixe nu le pot anticipa cu ușurință.

Această versatilitate vine la pachet cu ambiguitate și cu un potențial amplu de impact. Cele mai bune proiecte preferă API-urile structurate atunci când sunt disponibile, izolează mediul informatic, verifică fiecare modificare de stare și păstrează controlul oamenilor asupra acțiunilor cu consecințe importante.