Dall’intento all’esecuzione: Come Microsoft sta trasformando i Large Language Model in AI orientata all’azione

I Large Language Model (LLM) hanno cambiato il modo in cui gestiamo l’elaborazione del linguaggio naturale. Possono rispondere a domande, scrivere codice e condurre conversazioni. Tuttavia, si ritrovano in difficoltà quando si tratta di compiti del mondo reale. Ad esempio, un LLM può guidarti nell’acquisto di una giacca, ma non può effettuare l’ordine al posto tuo. Questo divario tra pensiero e azione è una limitazione significativa. Le persone non hanno solo bisogno di informazioni, ma anche di risultati.

Per colmare questo divario, Microsoft (MSFT ) sta trasformando gli LLM in agenti di intelligenza artificiale orientati all’azione. Abilitandoli a pianificare, decomporre i compiti e interagire con ambienti del mondo reale, Microsoft sta rendendo gli LLM in grado di gestire efficacemente i compiti pratici. Questo passaggio ha il potenziale di ridefinire cosa possono fare gli LLM, trasformandoli in strumenti che automatizzano flussi di lavoro complessi e semplificano i compiti quotidiani. Vediamo cosa è necessario per farlo accadere e come Microsoft sta affrontando il problema.

Cosa gli LLM devono fare per agire

Per eseguire compiti nel mondo reale, gli LLM devono andare oltre la comprensione del testo. Devono interagire con ambienti digitali e fisici, adattandosi a condizioni in continua evoluzione. Ecco alcune delle capacità di cui hanno bisogno:

1. Comprendere l’intento dell’utente

Per agire efficacemente, gli LLM devono comprendere le richieste degli utenti. Gli input come testo o comandi vocali sono spesso vaghi o incompleti. Il sistema deve colmare le lacune utilizzando le proprie conoscenze e il contesto della richiesta. Le conversazioni a più passaggi possono aiutare a raffinare queste intenzioni, assicurandosi che l’AI comprenda prima di intraprendere un’azione.

2. Trasformare le intenzioni in azioni

Dopo aver compreso un compito, gli LLM devono convertirlo in passaggi azionabili. Ciò potrebbe coinvolgere il clic su pulsanti, la chiamata di API o il controllo di dispositivi fisici. Gli LLM devono adattare le proprie azioni al compito specifico, adattandosi all’ambiente e risolvendo le sfide che si presentano.

3. Adattarsi ai cambiamenti

I compiti del mondo reale non sempre procedono come previsto. Gli LLM devono prevedere problemi, modificare i passaggi e trovare alternative quando si verificano problemi. Ad esempio, se una risorsa necessaria non è disponibile, il sistema dovrebbe trovare un altro modo per completare il compito. Questa flessibilità garantisce che il processo non si blocchi quando le cose cambiano.

4. Specializzarsi in compiti specifici

Mentre gli LLM sono progettati per un uso generale, la specializzazione li rende più efficienti. Concentrandosi su compiti specifici, questi sistemi possono fornire risultati migliori con meno risorse. Ciò è particolarmente importante per i dispositivi con potenza di calcolo limitata, come smartphone o sistemi integrati.

Sviluppando queste capacità, gli LLM possono andare oltre la semplice elaborazione delle informazioni. Possono intraprendere azioni significative, aprendo la strada all’integrazione dell’AI nei flussi di lavoro quotidiani.

Come Microsoft sta trasformando gli LLM

L’approccio di Microsoft per la creazione di AI orientata all’azione segue un processo strutturato. L’obiettivo principale è abilitare gli LLM a comprendere i comandi, pianificare efficacemente e intraprendere azioni. Ecco come stanno facendo:

Passo 1: Raccolta e preparazione dei dati

Nella prima fase, hanno raccolto dati relativi ai loro casi d’uso specifici: l’agente UFO (descritto di seguito). I dati includono query degli utenti, dettagli ambientali e azioni specifiche del compito. Due tipi di dati vengono raccolti in questa fase: in primo luogo, raccolgono dati di pianificazione del compito, che aiutano gli LLM a delineare i passaggi di alto livello necessari per completare un compito. Ad esempio, “Cambiare la dimensione del font in Word” potrebbe coinvolgere passaggi come la selezione del testo e la regolazione della barra degli strumenti. In secondo luogo, raccolgono dati di azione del compito, che consentono agli LLM di tradurre questi passaggi in istruzioni precise, come il clic su pulsanti specifici o l’utilizzo di scorciatoie da tastiera.

Questa combinazione fornisce al modello sia la visione d’insieme che le istruzioni dettagliate necessarie per eseguire i compiti in modo efficace.

Passo 2: Addestramento del modello

Una volta raccolti i dati, gli LLM vengono raffinati attraverso più sessioni di addestramento. Nel primo passo, gli LLM vengono addestrati per la pianificazione del compito, insegnando loro come scomporre le richieste degli utenti in passaggi azionabili. I dati etichettati dagli esperti vengono quindi utilizzati per insegnare loro come tradurre questi piani in azioni specifiche. Per migliorare ulteriormente le loro capacità di risoluzione dei problemi, gli LLM partecipano a un processo di esplorazione auto-migliorante che li abilita ad affrontare compiti non risolti e generare nuovi esempi per l’apprendimento continuo. Infine, viene applicato l’apprendimento per rinforzo, utilizzando il feedback dei successi e degli insuccessi per migliorare ulteriormente la loro capacità di prendere decisioni.

Passo 3: Test offline

Dopo l’addestramento, il modello viene testato in ambienti controllati per garantire l’affidabilità. Metriche come Task Success Rate (TSR) e Step Success Rate (SSR) vengono utilizzate per misurare le prestazioni. Ad esempio, testare un agente di gestione del calendario potrebbe coinvolgere la verifica della sua capacità di pianificare riunioni e inviare inviti senza errori.

Passo 4: Integrazione in sistemi reali

Una volta validato, il modello viene integrato in un framework di agente. Ciò gli consente di interagire con ambienti del mondo reale, come il clic su pulsanti o la navigazione dei menu. Strumenti come le API di automazione dell’interfaccia utente aiutano il sistema a identificare e manipolare elementi dell’interfaccia utente in modo dinamico.

Ad esempio, se assegnato il compito di evidenziare del testo in Word, l’agente identifica il pulsante di evidenziatura, seleziona il testo e applica il formato. Un componente di memoria potrebbe aiutare gli LLM a tenere traccia delle azioni passate, abilitandoli ad adattarsi a nuove scenari.

Passo 5: Test nel mondo reale

L’ultimo passo è la valutazione online. Qui, il sistema viene testato in scenari del mondo reale per garantire che possa gestire cambiamenti inaspettati ed errori. Ad esempio, un bot di supporto clienti potrebbe guidare gli utenti nella reimpostazione della password, adattandosi a input errati o informazioni mancanti. Questo test garantisce che l’AI sia robusta e pronta per l’uso quotidiano.

Un esempio pratico: l’agente UFO

Per dimostrare come funziona l’AI orientata all’azione, Microsoft ha sviluppato l’agente UFO. Questo sistema è progettato per eseguire compiti del mondo reale in ambienti Windows, trasformando le richieste degli utenti in azioni completate.

Al suo nucleo, l’agente UFO utilizza un LLM per interpretare le richieste e pianificare azioni. Ad esempio, se un utente dice, “Evidenzia la parola ‘importante’ in questo documento”, l’agente interagisce con Word per completare il compito. Raccoglie informazioni di contesto, come le posizioni dei controlli dell’interfaccia utente, e le utilizza per pianificare e eseguire azioni.

L’agente UFO si affida a strumenti come l’API di automazione dell’interfaccia utente di Windows (UIA). Questa API esamina le applicazioni in cerca di elementi di controllo, come pulsanti o menu. Per un compito come “Salva il documento come PDF”, l’agente utilizza l’UIA per identificare il pulsante “File”, localizzare l’opzione “Salva come” ed eseguire i passaggi necessari. Strutturando i dati in modo coerente, il sistema garantisce un’operazione fluida dalla formazione all’applicazione nel mondo reale.

Superare le sfide

Sebbene questo sia uno sviluppo emozionante, la creazione di AI orientata all’azione presenta sfide. La scalabilità è un problema significativo. L’addestramento e la distribuzione di questi modelli su compiti diversi richiedono risorse significative. Garantire la sicurezza e l’affidabilità è altrettanto importante. I modelli devono eseguire compiti senza conseguenze inintenzionali, specialmente in ambienti sensibili. E poiché questi sistemi interagiscono con dati privati, mantenere gli standard etici sulla privacy e la sicurezza è cruciale.

La roadmap di Microsoft si concentra sull’miglioramento dell’efficienza, l’espansione dei casi d’uso e il mantenimento degli standard etici. Con questi progressi, gli LLM potrebbero ridefinire come l’AI interagisce con il mondo, rendendoli più pratici, adattabili e orientati all’azione.

Il futuro dell’AI

Trasformare gli LLM in agenti di intelligenza artificiale orientati all’azione potrebbe essere un fattore di cambiamento. Questi sistemi possono automatizzare compiti, semplificare i flussi di lavoro e rendere la tecnologia più accessibile. Il lavoro di Microsoft sull’AI orientata all’azione e su strumenti come l’agente UFO è solo l’inizio. Man mano che l’AI continua a evolversi, possiamo aspettarci sistemi più intelligenti e capaci che non solo interagiscono con noi, ma eseguono anche i compiti. un fattore di cambiamento. Questi sistemi possono automatizzare compiti, semplificare i flussi di lavoro e rendere la tecnologia più accessibile. Il lavoro di Microsoft sull’AI orientata all’azione e su strumenti come l’agente UFO è solo l’inizio. Man mano che l’AI continua a evolversi, possiamo aspettarci sistemi più intelligenti e capaci che non solo interagiscono con noi, ma eseguono anche i compiti.