De la intenție la execuție: Cum transformă Microsoft modelele de limbaj mari în inteligență artificială orientată spre acțiune

Modelele de limbaj mari (LLM) au schimbat modul în care abordăm procesarea limbajului natural. Ele pot răspunde la întrebări, scrie cod și purta conversații. Cu toate acestea, ele nu reușesc atunci când vine vorba de sarcini din lumea reală. De exemplu, un LLM poate ghida utilizatorul prin procesul de cumpărare a unei jachete, dar nu poate plasa comanda în numele său. Această lacună între gândire și acțiune este o limitare majoră. Oamenii nu au nevoie doar de informații; ei doresc rezultate.

Pentru a acoperi această lacună, Microsoft (MSFT ) transformă LLM în agenți de inteligență artificială orientați spre acțiune. Prin împuternicirea lor să planifice, să descompună sarcinile și să interacționeze cu mediile din lumea reală, ei împuternicesc LLM să gestioneze eficient sarcinile practice. Această schimbare are potențialul de a redefini ceea ce pot face LLM, transformându-le în instrumente care pot automatiza fluxuri de lucru complexe și simplifica sarcinile de zi cu zi. Să aruncăm o privire la ceea ce este necesar pentru a face acest lucru și la modul în care Microsoft abordează problema.

Ce au nevoie LLM pentru a acționa

Pentru a efectua sarcini în lumea reală, LLM au nevoie să meargă dincolo de înțelegerea textului. Ei trebuie să interacționeze cu medii digitale și fizice, adaptându-se la condiții în schimbare. Iată câteva dintre capacitățile de care au nevoie:

1. Înțelegerea intenției utilizatorului

Pentru a acționa eficient, LLM au nevoie să înțeleagă solicitările utilizatorilor. Intrările precum textul sau comenzile vocale sunt adesea vagi sau incomplete. Sistemul trebuie să completeze lacunele utilizând cunoștințele sale și contextul solicitării. Conversațiile cu mai multe etape pot ajuta la rafinarea acestor intenții, asigurându-se că inteligența artificială înțelege înainte de a acționa.

2. Transformarea intențiilor în acțiuni

După ce înțeleg o sarcină, LLM trebuie să o transforme în pași acționabili. Acest lucru poate implica clic pe butoane, apeluri către API-uri sau controlul dispozitivelor fizice. LLM au nevoie să-și modifice acțiunile în funcție de sarcina specifică, adaptându-se la mediu și rezolvând provocările pe măsură ce apar.

3. Adaptarea la schimbări

Sarcinile din lumea reală nu merg întotdeauna conform planului. LLM au nevoie să anticipeze probleme, să ajusteze pașii și să găsească alternative atunci când apar probleme. De exemplu, dacă o resursă necesară nu este disponibilă, sistemul ar trebui să găsească o altă cale de a finaliza sarcina. Această flexibilitate asigură că procesul nu se oprește atunci când lucrurile se schimbă.

4. Specializarea în sarcini specifice

Deși LLM sunt proiectate pentru utilizare generală, specializarea le face mai eficiente. Prin concentrarea asupra unor sarcini specifice, aceste sisteme pot oferi rezultate mai bune cu mai puține resurse. Acest lucru este deosebit de important pentru dispozitive cu putere de calcul limitată, cum ar fi smartphone-urile sau sistemele încorporate.

Prin dezvoltarea acestor abilități, LLM pot merge dincolo de simpla procesare a informațiilor. Ei pot lua acțiuni semnificative, deschizând calea pentru inteligența artificială să se integreze fără probleme în fluxurile de lucru de zi cu zi.

Cum transformă Microsoft LLM

Abordarea Microsoft pentru crearea de inteligență artificială orientată spre acțiune urmează un proces structurat. Obiectivul principal este de a permite LLM să înțeleagă comenzi, să planifice eficient și să acționeze. Iată cum fac acest lucru:

Etapa 1: Colectarea și pregătirea datelor

În prima etapă, ei au colectat date legate de cazurile lor de utilizare specifice: Agentul UFO (prezentat mai jos). Datele includ solicitări ale utilizatorilor, detalii despre mediu și acțiuni specifice sarcinii. Două tipuri de date sunt colectate în această etapă: în primul rând, au colectat date de planificare a sarcinii, care ajută LLM să contureze pașii de nivel înalt necesari pentru finalizarea unei sarcini. De exemplu, “Schimbați mărimea fontului în Word” ar putea implica pași precum selectarea textului și ajustarea setărilor barei de instrumente. În al doilea rând, au colectat date de acțiune a sarcinii, care permit LLM să traducă acești pași în instrucțiuni precise, precum clic pe butoane specifice sau utilizarea de scurtături de tastatură.

Această combinație oferă modelului atât imaginea de ansamblu, cât și instrucțiunile detaliate de care are nevoie pentru a efectua sarcinile în mod eficient.

Etapa 2: Antrenarea modelului

Odată ce datele sunt colectate, LLM sunt rafinate prin multiple sesiuni de antrenament. În prima etapă, LLM sunt antrenate pentru planificarea sarcinii, învățându-le cum să descompună solicitările utilizatorilor în pași acționabili. Datele etichetate de experți sunt apoi utilizate pentru a le învăța cum să traducă aceste planuri în acțiuni specifice. Pentru a-și îmbunătăți în continuare capacitățile de rezolvare a problemelor, LLM au participat la un proces de explorare auto-îmbunătățit, care le-a permis să abordeze sarcini nerezolvate și să genereze exemple noi pentru învățarea continuă. În final, s-a aplicat învățarea prin întărire, utilizând feedback-ul de la succese și eșecuri pentru a-și îmbunătăți în continuare procesul decizional.

Etapa 3: Testarea offline

După antrenament, modelul este testat în medii controlate pentru a asigura fiabilitatea. Metrice precum Rata de succes a sarcinii (TSR) și Rata de succes a pașilor (SSR) sunt utilizate pentru a măsura performanța. De exemplu, testarea unui agent de gestionare a calendarului ar putea implica verificarea capacității sale de a programa întâlniri și de a trimite invitații fără erori.

Etapa 4: Integrarea în sisteme reale

Odată validate, modelul este integrat într-un cadru de agent. Acest lucru i-a permis să interacționeze cu medii din lumea reală, precum clic pe butoane sau navigare în meniuri. Unelte precum API-urile de automatizare a interfeței cu utilizatorul au ajutat sistemul să identifice și să manipuleze dinamic elemente ale interfeței cu utilizatorul.

De exemplu, dacă este solicitat să evidențieze text în Word, agentul identifică butonul de evidențiere, selectează textul și aplică formatarea. O componentă de memorie ar putea ajuta LLM să țină evidența acțiunilor trecute, permițându-i să se adapteze la noi scenarii.

Etapa 5: Testarea în lumea reală

Ultima etapă este evaluarea online. Aici, sistemul este testat în scenarii din lumea reală pentru a asigura că poate face față schimbărilor și erorilor neașteptate. De exemplu, un robot de suport pentru clienți ar putea ghida utilizatorii prin procesul de resetare a parolei, adaptându-se la intrări incorecte sau informații lipsă. Acest test asigură că inteligența artificială este robustă și gata pentru utilizarea de zi cu zi.

Un exemplu practic: Agentul UFO

Pentru a demonstra cum funcționează inteligența artificială orientată spre acțiune, Microsoft a dezvoltat Agentul UFO. Acest sistem este proiectat pentru a executa sarcini din lumea reală în medii Windows, transformând solicitările utilizatorilor în acțiuni finalizate.

La nivelul său fundamental, Agentul UFO utilizează un LLM pentru a interpreta solicitări și a planifica acțiuni. De exemplu, dacă un utilizator spune “Evidențiați cuvântul ‘important’ în acest document”, agentul interacționează cu Word pentru a finaliza sarcina. El colectează informații contextuale, precum pozițiile controlului interfeței cu utilizatorul, și le utilizează pentru a planifica și executa acțiuni.

Agentul UFO se bazează pe unelte precum Automatizarea interfeței cu utilizatorul Windows (UIA) API. Acest API scanează aplicațiile pentru elemente de control, precum butoane sau meniuri. Pentru o sarcină precum “Salvați documentul ca PDF”, agentul utilizează UIA pentru a identifica butonul “Fișier”, a găsi opțiunea “Salvați ca” și a executa pașii necesari. Prin structurarea datelor în mod consistent, sistemul asigură o funcționare lină de la antrenament la aplicarea în lumea reală.

Depășirea provocărilor

Deși acesta este un dezvoltare interesantă, crearea de inteligență artificială orientată spre acțiune vine cu provocări. Scalabilitatea este o problemă majoră. Antrenarea și implementarea acestor modele în diverse sarcini necesită resurse semnificative. Asigurarea siguranței și fiabilității este la fel de importantă. Modelele trebuie să execute sarcini fără consecințe nedorite, mai ales în medii sensibile. Și, deoarece aceste sisteme interacționează cu date private, menținerea standardelor etice în ceea ce privește confidențialitatea și securitatea este, de asemenea, crucială.

Drumul urmat de Microsoft se concentrează pe îmbunătățirea eficienței, extinderea cazurilor de utilizare și menținerea standardelor etice. Cu aceste progrese, LLM pot redefini modul în care inteligența artificială interacționează cu lumea, făcându-le mai practice, mai adaptabile și mai orientate spre acțiune.

Viitorul inteligenței artificiale

Transformarea LLM în agenți de inteligență artificială orientați spre acțiune poate fi un factor de schimbare. Aceste sisteme pot automatiza sarcini, simplifica fluxurile de lucru și face tehnologia mai accesibilă. Lucrarea Microsoft la inteligența artificială orientată spre acțiune și unelte precum Agentul UFO este doar începutul. Pe măsură ce inteligența artificială continuă să evolueze, putem aștepta sisteme mai inteligente, mai capabile, care nu doar interacționează cu noi, ci și finalizează sarcini.