Vi lærte roboter å bevege seg. Nå lærer vi dem å leve

Den moderne robotikken har nådd et punkt der bevegelse ikke lenger er den største utfordringen – maskiner kan allerede navigere, gripe og operere i rommet med imponerende nøyaktighet. Likevel forblir det å enable dem til å virkelig “leve” og fungere i den virkelige verden et uløst problem.

I denne prosessen spiller det som kan kalles “ryggraden” en nøkkelrolle: systemet som er ansvarlig for grunnleggende reaksjoner, atferd og interaksjon med omgivelsene.

Når du ser på utviklingen av roboter gjennom denne linsen, blir det tydelig at denne sekvensen av stadier – hvor systemet lærer noe nytt på hvert trinn, fra enkel bevegelse til komplekse, kontekst-avhengige handlinger – ligner meget på menneskelig utvikling.

Og det er nettopp innenfor denne utviklingen – fra “tom” maskinvare til meningsfull atferd – at hovedskiftet i fysisk AI skjer i dag. Det er interessant å lære mer om dette.

Robotikkens grunnlag: et stadium som sjelden diskuteres

Hva er en robot i praksis? Det er en fysisk enhet som opprinnelig er skapt som en universell plattform. I essensen er det en “blank” som må tilpasses bestemte oppgaver, trenes til å operere i en gitt omgivelse og læres til å utføre de nødvendige handlingene.

Hvis vi går utenfor hverdagslige scenarier og ser på mer realistiske nærfremtidige anvendelser, blir det tydelig at fullstendig innføring av roboter primært vil skje i industrielle og potensielt farlige omgivelser. Dette innebærer i sin tur betydelig høyere krav til deres atferd, robusthet og treningskvalitet.

Prosessen begynner med det mest grunnleggende trinnet – å bygge enheten selv. En robot settes sammen av flere komponenter, inkludert aktuatorer, motorer, sensorer, kameraer, LiDARer. Den kan være humanoid, hjuldriven, tobeint eller firebeint – formfaktoren er sekundær. Det som betyr noe, er at vi på dette stadiet ender opp med en fungerende, men fortsatt “tom” enhet.

Dette er hvor forsterkingslæring kommer inn i bildet. I slike systemer kjøres milliarder av simuleringer. Vi ser ofte videoer av roboter som “lærer” i komplekse omgivelser: de fleste faller, mister balansen eller mislykkes i å fullføre oppgaven. Men de som klarer å holde seg oppreist og fortsette å bevege seg, er de som fremover.

Dette er essensen av forsterkingslæring: å velge suksessfull atferd. Algoritmene til de som “overlever” blir grunnlaget for de neste iterasjonene. Som resultat, etter en enorm mengde kjøringer, oppstår en modell som kan håndtere hindringer med sikkerhet. Denne algoritmen overføres deretter til den fysiske enheten.

Dette er et grunnleggende, men kritisk viktig stadium – ofte uten noen eller liten datavisualisering, som ikke er nødvendig på dette punkt. Det vi har å gjøre med her, er grunnleggende fysikk og mekanikk som må være innbygget i systemet fra begynnelsen.

Hvordan roboter begynner å “føle” verden

Så, vi har allerede “maskinvaren” – en robot med en basismodell installert: den kan stå, gå og holde balansen. Men er dette nok for virkelige oppgaver, for eksempel i industrielle omgivelser? Klart ikke.

Neste nivå begynner her. Vi integrerer sensorer og trener modellen til å handle basert på sanseinntrykk. En ny lag med grunnleggende ferdigheter oppstår – allerede mye mer komplekse enn enkel bevegelse.

En analogi med menneskelig utvikling er nyttig her. På det første stadiet, førte vi systemet til omtrent samme nivå som et ettårig barn: det kan stå, ta sine første skritt og holde balansen uten å falle. Neste skritt er mer i linje med et åtteårigs nivå.

På denne alderen bruker barnet aktivt sine “sensorer”: de kan fatte risiko og evaluere konsekvensene av sine handlinger. De forstår ikke å berøre noe varmt eller plassere noe meget kaldt i munnen. De kan klatre opp på et bord, ri sykkel og interagere med objekter. De er i stand til å gripe, bære og manipulere gjenstander og utføre grunnleggende selvomsorgshandlinger.

Vi kaller dette stadiet forutrening. Og på dette punkt er simuleringer alene ikke lenger tilstrekkelige.

Ja, noen scenarier kan fortsatt modelleres effektivt: hvordan man plukker opp et glass, eller erstatter en batteri, for eksempel, fjerner en komponent, plasserer den på lading, tar en annen og installerer den tilbake.

Men generelt sett skifter balansen: rundt 80% av treningsdata kan fortsatt skje i simulering, mens omtrent 20% av dataene må komme fra den virkelige verden. Og det er her vi begynner å diskutere egosentrisk data.

Egosentrisk data som grunnlag for miljøforståelse

I dag samles egosentrisk data inn i en massiv skala verden over – fordi uten det er det umulig å gå fra grunnleggende mekanikk til meningsfull interaksjon med den virkelige verden. En kollega av mine, som driver et nettverk av bilverksteder, har ansatte som bruker hode-monterte kameraer for å spille inn hele bilreparasjonsprosessen. En bygningseier i New York City har implementert en lignende tilnærming: rengjøringspersonale bærer pannemonterte kameraer som fanger hvordan de rengjør rom og holder sanitære områder.

Over tid blir disse opptakene en selvstendig produkt – de pakkes og selges. Deres nøkkelverdi ligger i deres egnethet for forutreningstadiet, og hjelper med å bygge en grunnleggende forståelse av miljøer og handlingsskoger.

For eksempel, eksisterte en slik tjeneste på Keymakr, hvor teamet uavhengig skapte hele samlinger av egosentrisk data fra enkle scenarier som vasking av glass til mer komplekse.

Hvorfor er dette så viktig? Fordi slike data gir noe som ren simulering ikke kan – mangfoldet av virkelige miljøer. Kontorer, bilverksteder, byggeplasser, restauranter og hoteller – hver av disse tilfører sin egen kontekst, scenarier og nyanser. Sammen danner de en datasett som tillater et system ikke bare å “se”, men gradvis å begynne å forstå dynamikken i den virkelige verden.

På dette stadiet er målet ikke lenger å lære en robot å perfekt utføre en bestemt handling. Det som betyr mer, er å enable den til å orientere seg i omgivelsene på første plass.

I dag fokuserer nesten alle selskaper som arbeider med robotikk – fra Tesla til Unitree Robotics og Figure AI – på nettopp dette stadiet. Deres mål er å bygge en basismodell hvis evner først ligner de til et “åtteårig barn”, og deretter fremover mot et “tolvårig”. Dette er også hva vi fokuserer på hos Introspector – å forberede dataene som er nødvendige for forutrening, den mest kritiske fasen i “komme til årene” for moderne robotikk.

Den siste milen av treningsfasen: hvor universalitet slutter, og spesialisering begynner

La oss forestille oss at en robot allerede har fullført forutrening og er produsert fra begynnelsen med en grunnleggende forståelse av verden og en ferdighetssammensetning som ligner den til en tenåring. Men ikke engang dette er nok for virkelige forretningsbrukstilfeller. Selskaper trenger ikke bare en “all-purpose”-robot – de trenger en spesialist.

La oss ta bilproduksjon som eksempel. Noen oppgaver utføres fortsatt av mennesker fordi de krever følsomhet, presisjon og kontinuerlig visuell kontroll. Tradisjonell automatisering sliter her. Industrielle manipulatorer utmerker seg i repetitive, stive oppgaver – “plukk, flytt, plasser”. Men oppgaver som krever tilpasning, trykksansning og sanntidsjusteringer forblir i menneskers domene.

Dette er hvor en ny etterspørsel oppstår: å trene en robot til å utføre en bestemt operasjon eksakt som en erfaren arbeider gjør på en produksjonslinje. Med andre ord, etter basis-trening kommer neste nivå: trening for en bestemt fag og scenario.

På dette punkt oppstår en praktisk spørsmål: hva er egentlig nødvendig for dette nivået av trening? Hvis vi ønsker at en robot skal replikere menneskelig prestasjon, må vi fange denne menneskelige atferden så nøyaktig som mulig. For eksempel, ville spesialisten på fabrikkgulvet måtte bære en kamera og, over en lengre periode, måneder eller til og med ett år, spille inn hvordan de utfører oppgaven.

Hva det tar for roboter å “leve” i den menneskelige verden

Et kamera alene er ikke nok. Det er nødvendig å fange ikke bare det visuelle perspektivet, men også fysikken av bevegelse. Dette gjøres ved hjelp av spesialiserte hansker med taktilsensorer som måler trykk, påvirkede krefter og naturen av interaksjon med objekter. Dette er spesielt viktig fordi objekter selv kan variere betydelig. For eksempel, kan tettestriper variere i stivhet etter bilmodell, noe som direkte påvirker hvordan oppgaven utføres.

Neste kommer kinematisk sporings. Markører – visuelle eller sensorbaserte – plasseres på handledene, albuen og noen ganger skuldrene. Disse kan inkludere, for eksempel, armbånd med identifiserbare markører (liknende QR-koder) som tillater systemet å spore håndposisjon i rommet fra video. Ekstra sensorer, som gyroskoper, brukes til å fange leddbevegelser.

Det endelige målet er å fullstendig rekonstruere mekanikken av bevegelse: hvordan skulderen beveger seg, hvordan albuen bøyer, hvordan håndleddet roterer. Alt dette blir essensielt for neste stadium – etter-trening.

Hvis, under forutrening, kunne vi fortsatt delvis stole på simulering, er det på dette stadiet ikke lenger mulig. Denne “siste milen” er nesten umulig å modellere nøyaktig. Du kan ikke fullstendig simulere, for eksempel, hvordan en sjef ruller ut deig – trykket som påføres, hvordan trykket fordeler seg, hvordan materialet føles.

Derfor, under etter-trening, må nesten alle data komme fra den virkelige verden. Og det er her det blir tydelig: den største utfordringen skifter til det praktiske domenet – hvordan å skaffe slik data i virkeligheten. Innsamling av egosentrisk data på dette nivået er en kompleks, flertrinnsprosess som involverer tilgang til omgivelser, spesialisert utstyr, deltakelse av kvalifiserte arbeidere og påfølgende datapreparering.

Bortsett fra teorien, er det her roboter virkelig “kommer til live” – etter at vi har klart å organisere denne prosessen, overvinne begrensninger teamene møter over industrier, og annotere slike datasett i skala. Dette vil bli dekket i neste del, hvor vi vil se nærmere på alle utfordringer som oppstår under etikettering og forberedelse.