Abbiamo insegnato ai robot a muoversi. Ora stiamo insegnando loro a vivere

La robotica moderna ha raggiunto un punto in cui il movimento non è più la principale sfida – le macchine possono già navigare, afferrare e operare nello spazio con precisione impressionante. Tuttavia, consentire loro di “vivere” e funzionare nel mondo reale rimane un problema irrisolto.

In questo processo, il ruolo chiave è svolto da ciò che potrebbe essere chiamato il “midollo spinale”: il sistema responsabile delle reazioni di base, del comportamento e dell’interazione con l’ambiente.

Quando si guarda all’evoluzione dei robot attraverso questa lente, diventa chiaro che questa sequenza di fasi – in cui il sistema apprende qualcosa di nuovo a ogni passo, dal semplice movimento ad azioni complesse e consapevoli del contesto – assomiglia molto all’evoluzione umana.

E proprio all’interno di questa evoluzione – da “hardware vuoto” a comportamento significativo – che il principale cambiamento nell’intelligenza artificiale fisica sta avvenendo oggi. È interessante approfondire questo argomento.

La base della robotica: una fase raramente discussa

Cosa è un robot in termini pratici? È un dispositivo fisico inizialmente creato come piattaforma universale. In sostanza, è un “vuoto” che deve poi essere adattato a compiti specifici, addestrato a operare in un ambiente dato e insegnato a eseguire le azioni richieste.

Se andiamo oltre gli scenari quotidiani e consideriamo applicazioni più realistiche nel prossimo futuro, diventa chiaro che l’adozione completa dei robot avverrà principalmente in ambienti industriali e potenzialmente pericolosi. Ciò implica requisiti significativamente più alti per il loro comportamento, la robustezza e la qualità dell’addestramento.

Il processo inizia con il passo più basilare – la costruzione del dispositivo stesso. Un robot è assemblato da多 componenti, tra cui attuatori, motori, sensori, telecamere, LiDAR. Può essere umanoide, su ruote, bipede o quadrupede – il fattore forma è secondario. Ciò che conta è che, a questo stadio, finiamo con un dispositivo funzionante ma ancora “vuoto”.

La prossima fase è l’installazione di un modello di base che serve come fondamento per il suo comportamento. In senso lato, il “modello” è l’intero strato di controllo funzionale. È responsabile delle capacità di base: mantenere l’equilibrio, stare in piedi e muoversi, navigare da un punto A a un punto B, evitare ostacoli, non danneggiare l’ambiente e interagire in modo sicuro con gli esseri umani.

È qui che entra in gioco l’apprendimento per rinforzo. In tali sistemi, vengono eseguite simulazioni miliardi. Spesso vediamo video di robot che “imparano” in ambienti complessi: la maggior parte di loro cade, perde l’equilibrio o non riesce a completare il compito. Ma quelli che riescono a stare in piedi e a continuare a muoversi sono quelli che progrediscono.

Questo è l’essenza dell’apprendimento per rinforzo: selezionare il comportamento di successo. Gli algoritmi di quelli che “sopravvivono” diventano la base per le iterazioni successive. Di conseguenza, dopo un enorme numero di esecuzioni, emerge un modello che può gestire con fiducia gli ostacoli. Questo algoritmo viene quindi trasferito sul dispositivo fisico.

È una fase fondata ma criticamente importante – spesso coinvolgendo poco o nessun riconoscimento visivo, che non è richiesto a questo punto. Ciò con cui abbiamo a che fare qui è la fisica e la meccanica fondamentali che devono essere incorporate nel sistema fin dall’inizio.

Come i robot iniziano a “sentire” il mondo

Quindi, abbiamo già l'”hardware” – un robot con un modello di base installato: può stare in piedi, camminare e mantenere l’equilibrio. Ma è sufficiente per compiti nel mondo reale, ad esempio, in ambienti industriali? Chiaramente no.

Il prossimo livello inizia qui. Integriamo sensori e addestriamo il modello ad agire in base all’input sensoriale. Emergono nuove competenze di base – già molto più complesse del semplice movimento.

Un’analogia con lo sviluppo umano è utile qui. Nella prima fase, abbiamo portato il sistema a un livello di circa un bambino di un anno: può stare in piedi, fare i primi passi e mantenere l’equilibrio senza cadere. Il passo successivo è più in linea con il livello di un bambino di otto anni.

A questa età, un bambino utilizza attivamente i suoi “sensori”: può percepire il rischio e valutare le conseguenze delle sue azioni. Capisce di non toccare qualcosa di caldo o di mettere qualcosa di molto freddo in bocca. Può salire su un tavolo, andare in bicicletta e interagire con gli oggetti. È in grado di afferrare, trasportare e manipolare oggetti e eseguire azioni di base di auto-cura.

Chiamiamo questo stadio pre-addestramento. E a questo punto, le simulazioni sole non sono più sufficienti.

Sì, alcuni scenari possono ancora essere modellati in modo efficace: come raccogliere un bicchiere, o sostituire una batteria, ad esempio, rimuovendo un componente, mettendolo in carica, prendendone un altro e reinstallandolo.

Ma nel complesso, l’equilibrio si sposta: circa l’80% dell’addestramento può ancora avvenire in simulazione, mentre circa il 20% dei dati deve provenire dal mondo reale. E questo è dove iniziamo a discutere di dati egocentrici.

I dati egocentrici come fondamento della comprensione ambientale

Oggi, i dati egocentrici vengono raccolti su larga scala in tutto il mondo – perché senza di essi, è impossibile passare dalla meccanica di base all’interazione significativa con il mondo reale. Un mio collega, che gestisce una rete di officine di riparazione auto, ha dipendenti che utilizzano telecamere montate sulla testa per registrare l’intero processo di riparazione dell’auto. Un proprietario di un edificio a New York City ha implementato un approccio simile: il personale di pulizia indossa telecamere montate sulla fronte che catturano come mantengono gli spazi puliti e le aree sanitarie.

Col tempo, queste registrazioni diventano un prodotto autonomo – vengono confezionate e vendute. Il loro valore chiave risiede nella loro idoneità per la fase di pre-addestramento, aiutando a costruire una comprensione fondamentale degli ambienti e delle sequenze di azioni.

Ad esempio, un tale servizio esisteva su Keymakr, dove il team ha creato indipendentemente intere raccolte di dati egocentrici da scenari semplici come lavare i piatti a quelli più complessi.

Perché è così importante? Perché tali dati forniscono qualcosa che la pura simulazione non può – la diversità degli ambienti del mondo reale. Uffici, officine di riparazione auto, cantieri, ristoranti e alberghi – ognuno di questi aggiunge il proprio contesto, scenari e sfumature. Insieme, formano un set di dati che consente a un sistema non solo di “vedere”, ma di iniziare a comprendere gradualmente la dinamica del mondo reale.

A questo stadio, l’obiettivo non è più insegnare a un robot a eseguire perfettamente un’azione specifica. Ciò che conta di più è consentire al robot di orientarsi all’interno del suo ambiente per prima cosa.

Oggi, quasi tutte le aziende che lavorano nella robotica – da Tesla a Unitree Robotics e Figure AI – si concentrano su questo esatto stadio. Il loro obiettivo è costruire un modello di base le cui capacità assomigliano a quelle di un “bambino di otto anni”, e poi progredire verso un “bambino di dodici anni”. Questo è anche ciò su cui ci concentriamo in Introspector – preparare i dati necessari per il pre-addestramento, la fase più critica nel “diventare adulti” della robotica moderna.

L’ultimo miglio dell’addestramento: dove finisce l’universalità e inizia la specializzazione

Immaginiamo che un robot abbia già completato il pre-addestramento e sia stato prodotto fin dall’inizio con una comprensione di base del mondo e un set di competenze paragonabile a quello di un teenager. Ma anche questo non è sufficiente per casi d’uso aziendali reali. Le aziende non hanno bisogno solo di un robot “polivalente” – hanno bisogno di uno specialista.

Prendiamo la produzione automobilistica come esempio. Alcuni compiti sono ancora eseguiti da esseri umani perché richiedono sensibilità, precisione e controllo visivo continuo. L’automazione tradizionale fatica qui. I manipolatori industriali eccellono in compiti ripetitivi e rigidi – “prendi, muovi, posa”. Ma i compiti che richiedono adattabilità, sensibilità alla pressione e regolazioni in tempo reale rimangono nel dominio umano.

È qui che emerge una nuova richiesta: addestrare un robot a eseguire un’operazione specifica esattamente come fa un lavoratore specializzato in una linea di produzione. In altre parole, dopo l’addestramento di base arriva il prossimo livello: l’addestramento per una professione e uno scenario specifici.

A questo punto, sorge una domanda pratica: cosa esattamente è richiesto per questo livello di addestramento? Se vogliamo che un robot replichi le prestazioni umane, dobbiamo catturare quel comportamento umano il più precisamente possibile. Ad esempio, lo specialista in linea di produzione dovrebbe indossare una telecamera e, nel corso di un lungo periodo, mesi o addirittura un anno, registrare come esegue il compito.

Cosa serve perché i robot “vivano” nel mondo umano

Una telecamera da sola non è sufficiente. È necessario catturare non solo la prospettiva visiva, ma anche la fisica del movimento. Ciò viene fatto utilizzando guanti speciali con sensori tattili che misurano la pressione, la forza applicata e la natura dell’interazione con gli oggetti. Ciò è particolarmente importante perché gli oggetti stessi possono variare notevolmente. Ad esempio, le strisce di sigillo possono differire per rigidità a seconda del modello di automobile, il che influisce direttamente su come viene eseguito il compito.

Viene poi la tracciatura cinematica. I marcatori – visivi o basati su sensori – vengono posizionati sui polsi, gomiti e talvolta spalle. Questi possono includere, ad esempio, braccialetti con marcatori identificabili (simili ai codici QR) che consentono al sistema di tracciare la posizione della mano nello spazio dal video. Vengono utilizzati ulteriori sensori, come giroscopi, per catturare i movimenti articolari.

L’obiettivo finale è quello di ricostruire completamente la meccanica del movimento: come si muove la spalla, come si piega il gomito, come ruota il polso. Tutto ciò diventa essenziale per la prossima fase – il post-addestramento.

Se, durante il pre-addestramento, potevamo ancora parzialmente affidarci alla simulazione, a questo stadio non funziona più. Questo “ultimo miglio” è quasi impossibile da modellare con precisione. Non si può simulare appieno, ad esempio, come un cuoco stende l’impasto – la forza applicata, come la pressione è distribuita, come il materiale è percepito.

È per questo che, durante il post-addestramento, quasi tutti i dati devono provenire dal mondo reale. E questo è dove diventa chiaro: la principale sfida si sposta nel dominio pratico – come ottenere tali dati nella realtà. La raccolta di dati egocentrici a questo livello è un processo complesso e multi-fase che coinvolge l’accesso agli ambienti, attrezzature specializzate, la partecipazione di lavoratori specializzati e la successiva preparazione dei dati.

Oltre la teoria, è qui che i robot veramente “prendono vita” – dopo che riusciamo a organizzare questo processo, superare i vincoli che le squadre affrontano in vari settori e annotare tali set di dati su larga scala. Questo verrà trattato nella prossima parte, dove esamineremo più da vicino tutte le sfide che sorgono durante l’etichettatura e la preparazione.