Den verkliga kostnaden för att träna robotar

I den första delen diskuterade vi hur robotar utvecklas från grundläggande mekanik till att förstå sin omgivning. Vid “sista milen” – när robotar genomgår post-träning för specifika, anpassade uppgifter – uppstår ett oväntat hinder. Det är kopplat till data: insamling, organisation och skalning i verkliga förhållanden.

Det är precis vid detta stadium som gapet mellan koncept och implementering blir mest tydligt. Vilka är de viktigaste flaskhalsarna, och hur kan de övervinnas med minimal friktion?

Varför tusentals timmar av data blir till år av arbete

Så låt oss föreställa oss att vi redan har en tränad robot som har genomgått förträning. Den kan navigera i sin omgivning, flytta, undvika hinder och interagera med föremål. Det är som ett “tioårigt barn” som generellt kan agera oberoende. Nästa steg är att lära det att utföra specifika handlingar under specifika förhållanden, till exempel att installera glaspaneler och tätningsskivor på en bilproduktionslinje.

Vid första anblicken verkar uppgiften enklare. Den innebär att bemästra ett enda scenario, och volymen av data som krävs är betydligt mindre än under förträning. Medan grundläggande träning kan kräva hundratusentals timmar, kan post-träning ta bara tusentals. Men dessa siffror är vilseledande.

När de översätts till verklig tid avslöjar processen sin verkliga komplexitet. Under en standard arbets-schema arbetar en person ungefär 160 timmar per månad. Men detta betyder inte att all denna tid kan användas för inspelning.

I praktiken uppstår konstanta avbrott: batterier tar slut, kameror förskjuts, sensorer slutar fungera. Ju mer komplex utrustningen är, desto högre är sannolikheten för problem. Även ett enkelt fel som sensorer på en handsk stoppar fungerar kan stoppa processen och resultera i förlorad tid.

Som resultat är den faktiska datainsamlingshastigheten 2-3 gånger lägre. En timme av högkvalitativ inspelning kan kräva upp till tre timmar av riktigt arbete. Detta förändrar radikalt beräkningen: 5 000 timmar av data översätts till ungefär 15 000 timmar av arbete.

Lager på lager av komplexitet

Under förträning kan det räcka att ge en person en kamera och be dem spela in vardagliga aktiviteter. Men vid detta stadium krävs tillgång till en specifik miljö, till exempel en fabrik, en byggarbetsplats eller en specialiserad produktionsanläggning.

Detta introducerar omedelbart praktiska begränsningar. Till exempel på en byggarbetsplats krävs det att arbetare bär skyddshjälmar, vilket innebär att specialutrustning måste utvecklas: hjälmar med integrerade kameror som är resistenta mot damm, fukt och påverkan.

Sedan kommer tillgång till själva platsen. Avtal måste ingås med platsägare, tillstånd erhållas och villkor förhandlas. Detta innebär nästan alltid extra kostnader: företag förväntar sig kompensation, och arbetare förväntar sig att bli betalda för sitt deltagande.

Försäkring och säkerhetskrav blir också kritiska problem. Om utrustningen inte uppfyller kraven kan försäkringen bli ogiltig, vilket tvingar hela processen att omstruktureras.

Även på daglig nivå kvarstår utmaningarna. Kameror måste sättas på, övervakas och underhållas. Arbetare arbetar i handskar och tuffa förhållanden. Utrustningen blir smutsig, slits ut och går sönder. En kamera kan stängas av efter några minuter, och personen kanske inte ens märker det.

Detta skapar behovet av att deltagarna tränar sig själva – de måste förstå hur man använder utrustningen. Dessutom krävs kontinuerlig övervakning – någon måste se till att inspelningen pågår och att enheterna fungerar korrekt.

Från råvideo till träningsdata

Efter inspelning börjar nästa stadium: datainsamling, uppladdning, strukturering, validering av kvalitet och märkning.

All rådata består av video- och sensorsignaler. För att omvandla dem till träningsmaterial måste de struktureras: föremål måste identifieras, handlingar fångas, och tillstånd, rörelser och interaktioner med miljön beskrivas. Det är här märkning kommer in i bilden. En logisk fråga uppstår – vad är guldstandarden för en sådan märkningsarbetsflöde?

I vissa fall räcker enkla begränsningsrutor för att identifiera föremål i en ram. I andra fall krävs tidsmässig märkning för att beskriva sekvenser av handlingar över tid. I vissa scenarier används nyckelpunkter och skelettmallar för att fånga kroppsrörelse. I mer komplexa fall används 3D-nät eller handpose-spårning för att exakt representera interaktionsmekanik. Ytterligare sensorer, som accelerometrar, integreras ofta för att fånga rörelsedynamik och applicerad kraft.

Projekt som dessa kräver ofta också att teamet skalas upp. Märkning är en stor och komplex uppgift i sig, som kräver tid, expertis och betydande mänskliga resurser. Det är här data-lösningsspecialister med egna märknings-team kommer in i bilden. Såsom Keymakr, som har visat sig vara särskilt effektivt tack vare sin förmåga att skala team för att matcha vilken datavolym som helst, från en enda specialist till hundratals märkare.

Det finns ingen rätt tillvägagångssätt för träning ännu

Industrin är fortfarande i en utforskande fas, eftersom det inte finns någon konsensus om vilken datakombination ger de bästa resultaten. Många tillvägagångssätt valideras empiriskt eftersom de fungerar i specifika experiment. Som ett resultat fortsätter olika team att förlita sig på olika teknologier, formade av deras egen erfarenhet, uppgifter och begränsningar.

På både akademisk och tillämpad nivå leder detta till fragmentering: laboratorier och företag rör sig i olika riktningar. Situationen påminner om de tidiga dagarna av autonom körning, när Tesla satsade på en vision-baserad approach utan LiDAR, medan de flesta andra spelare valde LiDAR som en kärnsensor.

Idag tenderar LiDAR-baserade system att visa mer stabil prestanda, men Teslas tillvägagångssätt fortsätter att utvecklas. Skillnaden är att inom autonom körning har marknaden till stor del mognat: stabila arkitekturer har uppstått, begränsningar är väl förstådda och betydande expertis har ackumulerats.

I kontrast till detta har den här nivån av mognad ännu inte uppnåtts för Fysisk AI och liknande modellträning. Marknaden är fortfarande under utveckling, standarder saknas och mycket av framstegen drivs av experiment. Nya metoder för modellträning, effektivitetsförbättring och anpassning till verkliga scenarier fortsätter att dyka upp, vilket tyder på att de viktigaste genombrotten inom detta område fortfarande ligger framför.

Människan som en förstärkningsmekanism

Märkning existerar inte i isolering, inte heller för modellen ensam. Den fungerar som ett verktyg för ingenjören som bygger modellen. Genom den formaliserar de verkligheten, identifierar nyckelparametrar och definierar systemets beteenderegler.

Ingenjorens uppgift är att lära systemet att utföra handlingar korrekt i verkliga förhållanden. Till exempel kan ett grundläggande scenario bestå av fyra handlingar: plocka upp ett glas, vrida på kranen, fylla det och vrida av kranen. Men i verkligheten uppstår en avvikelse – glaset rinner över.

I det ögonblicket förväntas modellen slutföra scenariot och utföra ytterligare handlingar: stoppa vattenflödet, justera vattennivån och förhindra spill. Detta är beteendelogik baserad på kontextuell förståelse.

Ingenjören följer en cykel: märka data, träna modellen, testa den. Om systemet fungerar, bekräftas hypotesen. Om inte, börjar analysen.

På något sätt kan det bli tydligt att modellen saknar en viktig parameter, som glasets fyllnadsgrad. Tidigare kan datan ha innehållit märkningar för föremål (glas, kran, handtag) och handlingar (öppnande, fyllande, stängning), men saknat märkningar för tillstånd, som fyllnadsgraden.

En ny lager läggs sedan till i processen: märkning av fyllnadsgraden, följt av formalisering, till exempel definition av allt över 85 % som ett kritiskt tillstånd.

Det leder till nästa iteration av träning. Du kan ha hundratals sådana iterationer.

Ingen antar att systemet kommer att fungera korrekt omedelbart. Tvärtom är processen byggd kring successiva approximationer: först skapas en basversion; sedan testas den i verkliga eller nästan verkliga förhållanden; luckor identifieras; och systemet förfinas. Detta är något jag ofta diskuterar med kunder på Introspector, med vilka vi går igenom hela den fysiska AI-resan tillsammans.

På något sätt uppnås det önskade resultatet. Men dess värde ligger inte bara i att systemet börjar fungera, utan i den ackumulerade erfarenheten som gör att detta resultat kan reproduceras mer förutsägbart.

Ekonomi som alla glömmer

Under det senaste året eller så har jag märkt att det största misstaget företag gör när de arbetar med egocentrisk data har lite att göra med teknologi.

Det grundläggande problemet är faktiskt underskattning av projektets ekonomi.

Vid idéstadiet står tekniken i centrum – vilka modeller som ska användas, hur de ska tränas och vilka tillvägagångssätt som ska tillämpas. Du studerar, forskar, diskuterar arkitekturer och testar hypoteser. Detta är naturligt: tekniken känns som den mest påtagliga och uppenbara delen av problemet.

Men långt mindre ofta vid detta stadium ställer teamet en direkt och praktisk fråga: hur mycket kommer det att kosta?

När ett projekt flyttar från teori till implementering blir det klart att bakom varje modell finns tiotusentals timmar av data. Insamling av denna data kräver tid, tillgång till verkliga miljöer och involvering av specialister. Märkning lägger till ytterligare en lager av komplexitet och kostnad. Som ett resultat är de slutliga siffrorna ofta flera storleksordningar högre än vad som initialt förväntades.

Detta betyder inte att sådana projekt inte bör påbörjas. Tvärtom är de vad som driver industrin framåt.

Men vad som är viktigt är att förstå utmaningens omfattning från början. Att inse att i modellträning, bakom varje fantastisk algoritm, finns komplext, resurskrävande dataarbete.

Även starka idéer misslyckas med att nå full implementering när datakostnader börjar stiga långt över sju siffror.

Och kanske den viktigaste förändringen som sker inom robotteknik idag är kopplad till denna insikt. Framtiden för dessa system kommer att definieras av hur “intelligenta” de är och hur effektivt och exakt hela datapipelinen byggs – från datainsamling till slutlig tolkning.