Den verkliga kostnaden för att träna robotar

I den första delen diskuterade vi hur robotar utvecklas från grundläggande mekanik till att förstå sin omgivning. Vid “sista milen”-stadiet – när robotar genomgår post-träning för specifika, anpassade uppgifter – uppstår ett oväntat hinder. Det är kopplat till data: dess insamling, organisation och skalning i realistiska förhållanden.

Det är precis vid detta stadium som gapet mellan koncept och implementering blir mest uppenbart. Vilka är de viktigaste flaskhalsarna, och hur kan de övervinnas med minimal friktion?

Varför tusentals timmar av data blir till år av arbete

Så låt oss föreställa oss att vi redan har en tränad robot som har genomgått förträning. Den kan navigera i sin omgivning, röra sig, undvika hinder och interagera med föremål. Det är som ett “tioårigt barn” som i allmänhet kan agera självständigt. Nästa steg är att lära den att utföra specifika handlingar under specifika förhållanden, till exempel att installera glaspaneler och tätningsskivor på en bilproduktionslinje.

Utifrån en första anblick verkar uppgiften enklare. Den innebär att bemästra en enda scenario, och datavolymen som krävs är betydligt mindre än under förträningen. Medan grundträning kan kräva hundratusentals timmar, kan post-träning ta bara tusentals. Men dessa siffror är vilseledande.

När de översätts till verklig tid avslöjar processen sin verkliga komplexitet. Under en standardarbets-schema arbetar en person ungefär 160 timmar i månaden. Detta betyder dock inte att all denna tid kan användas för inspelning.

I praktiken uppstår ständiga avbrott: batterier tar slut, kameror förskjuts, sensorer slutar fungera. Ju mer komplex utrustningen är, desto större är sannolikheten för problem. Även ett enkelt fel som sensorer på en handsk stoppar fungerar kan stoppa processen och leda till förlorad tid.

Som ett resultat är den faktiska datainsamlingshastigheten 2-3 gånger lägre. En timme av högkvalitativ inspelning kan kräva upp till tre timmar av verkligt arbete. Detta förändrar radikalt beräkningen: 5 000 timmar av data översätts till ungefär 15 000 timmar av arbete.

Lager på lager av komplexitet

Under förträning kan det räcka att ge en person en kamera och be dem att spela in vardagliga aktiviteter. Vid detta stadium krävs dock tillgång till en specifik miljö, till exempel en fabrik, en byggarbetsplats eller en specialiserad produktionsanläggning.

Detta introducerar omedelbart praktiska begränsningar. Till exempel på en byggarbetsplats krävs det att arbetare bär skyddshjälmar, vilket innebär att specialutrustning måste utvecklas: hjälmar med integrerade kameror som är resistenta mot damm, fukt och påverkan.

Sedan kommer tillgång till platsen i sig. Avtal måste ingås med platsägare, tillstånd erhållas och villkor förhandlas. Detta innebär nästan alltid extra kostnader: företag förväntar sig ersättning, och arbetare förväntar sig att bli betalda för sitt deltagande.

Försäkring och säkerhetskrav blir också kritiska problem. Om utrustningen inte uppfyller kraven kan försäkringen bli ogiltig, vilket tvingar hela processen att omstruktureras.

Även på daglig nivå kvarstår utmaningarna. Kameror måste slås på, övervakas och underhållas. Arbetare arbetar i handskar och under tuffa förhållanden. Utrustningen blir smutsig, slits ut och går sönder. En kamera kan stängas av efter några minuter, och personen kanske inte ens märker det.

Detta skapar behovet av att deltagarna tränar sig själva – de måste förstå hur man använder utrustningen. Dessutom krävs kontinuerlig övervakning – någon måste se till att inspelningen pågår och att enheterna fungerar korrekt.

Från råvideo till träningsdata

Efter inspelning börjar nästa stadium: datainsamling, uppladdning, strukturering, validering av kvalitet och märkning.

All rådata består av video- och sensorsignaler. För att omvandla det till träningsmaterial måste det struktureras: föremål måste identifieras, handlingar fångas, och tillstånd, rörelser och interaktioner med miljön beskrivas. Här kommer märkning in i bilden. En logisk fråga uppstår – vad är den gyllene standarden för en sådan märkningsarbetsflöde?

I vissa fall räcker enkla begränsningsrutor för att identifiera föremål i en ram. I andra fall krävs tidsmässig märkning för att beskriva sekvenser av handlingar över tid. I vissa scenarier används nyckelpunkter och skelettmallar för att fånga kroppsrörelse. I mer komplexa fall behövs 3D-nät eller handpose-spårning för att exakt representera interaktionsmekanik. Ytterligare sensorer, som accelerometer, integreras ofta för att fånga rörelsedynamik och applicerad kraft.

Projekt som dessa kräver ofta också att teamet skalas upp. Märkning är en stor och komplex uppgift i sig, som kräver tid, expertis och betydande mänskliga resurser. Här kommer data-lösningsspecialister med in-house-märkningsgrupper in i bilden. Såsom Keymakr, som har visat sig vara särskilt effektivt tack vare sin förmåga att skala team för att matcha vilken datavolym som helst, från en enskild specialist till hundratals märkare.

Det finns ingen rätt approach till träning ännu

Industrin är fortfarande i en utforskande fas, eftersom det inte finns någon konsensus om vilken datakombination ger de bästa resultaten. Många tillvägagångssätt valideras empiriskt eftersom de fungerar i specifika experiment. Som ett resultat fortsätter olika team att förlita sig på olika tekniker, formade av deras egen erfarenhet, uppgifter och begränsningar.

På både akademisk och tillämpad nivå leder detta till fragmentering: laboratorier och företag rör sig i olika riktningar. Situationen påminner om de tidiga dagarna av autonom körning, när Tesla satsade på en vision-baserad approach utan LiDAR, medan de flesta andra aktörer valde LiDAR som en kärnsensor.

Idag tenderar LiDAR-baserade system att visa mer stabilt prestanda, men Teslas approach fortsätter att utvecklas. Skillnaden är att inom autonom körning har marknaden i stor utsträckning mognat: stabila arkitekturer har uppstått, begränsningar är väl förstådda och betydande expertis har ackumulerats.

I kontrast till detta har den här nivån av mognad ännu inte uppnåtts för fysisk AI och liknande modellträning. Marknaden är fortfarande under utveckling, standarder saknas och mycket av framstegen drivs av experiment. Nya metoder för modellträning, effektivitetsförbättring och anpassning till realistiska scenarier fortsätter att dyka upp, vilket tyder på att de viktigaste genombrotten inom detta område fortfarande ligger framför oss.

Människan som en förstärknings-system

Märkning existerar inte i isolering, inte heller för modellen ensam. Den fungerar som ett verktyg för ingenjören som bygger modellen. Genom den formaliserar de verkligheten, identifierar nyckelparametrar och definierar systemets beteenderegler.

Ingenjörens uppgift är att lära systemet att utföra handlingar korrekt i realistiska förhållanden. Till exempel kan en grundläggande scenario bestå av fyra handlingar: plocka upp ett glas, slå på kranen, fylla det och slå av kranen. Men i verkligheten sker en avvikelse – glaset rinner över.

I det ögonblicket förväntas modellen slutföra scenariot och utföra ytterligare handlingar: stoppa vattenflödet, justera vattennivån och förhindra spill. Detta är beteendelogik baserad på kontextuell förståelse.

Ingenjören följer en cykel: märka data, träna modellen, testa den. Om systemet fungerar bekräftas hypotesen. Om inte, börjar analysen.

Det kan bli klart att modellen saknar en viktig parameter, till exempel glasets fyllnadsnivå. Tidigare kan datan ha innehållit märkningar för föremål (glas, kran, handtag) och handlingar (öppnande, fyllande, stängning), men saknat märkningar för tillstånd, såsom graden av fyllnad.

En ny lager läggs sedan till i processen: märkning av fyllnadsnivån, följt av formalisering, till exempel definition av allt över 85% som en kritisk tillstånd.

Detta leder till nästa iteration av träning. Du kan ha hundratals sådana iterationer.

Ingen antar att systemet kommer att fungera korrekt omedelbart. Tvärtom är processen byggd kring successiva approximationer: först skapas en basversion; sedan testas den i verkliga eller nära-verkliga förhållanden; luckor identifieras; och systemet förfinas. Detta är något jag ofta diskuterar med kunder på Introspector, med vilka vi går igenom hela den fysiska AI-resan tillsammans.

Vid en viss punkt uppnås det önskade resultatet. Men dess värde ligger inte bara i att systemet börjar fungera, utan i den ackumulerade erfarenheten som möjliggör att detta resultat kan reproduceras mer förutsägbart.

Ekonomi som alla glömmer

Under det senaste året eller så har jag märkt att det största misstaget företag gör när de arbetar med egocentrisk data har lite att göra med teknologi.

Det grundläggande problemet är faktiskt att underskatta projektets ekonomi.

Vid idé-stadiet står tekniken i centrum – vilka modeller som ska användas, hur de ska tränas och vilka tillvägagångssätt som ska tillämpas. Du studerar, forskar, diskuterar arkitekturer och testar hypoteser. Detta är naturligt: tekniken känns som det mest påtagliga och uppenbara problemet.

Men betydligt mindre ofta ställer teamet en direkt och praktisk fråga vid detta stadium: hur mycket kommer det att kosta?

När ett projekt flyttar från teori till implementering blir det klart att bakom varje modell finns tiotusentals timmar av data. Insamling av denna data kräver tid, tillgång till verkliga miljöer och medverkan av specialister. Märkning lägger till ytterligare en lager av komplexitet och kostnad. Som ett resultat är de slutliga siffrorna ofta flera storleksordningar högre än vad som initialt förväntades.

Detta betyder inte att sådana projekt inte bör föras vidare. Tvärtom är de vad som driver industrin framåt.

Men vad som är viktigt är att förstå utmaningens omfattning från början. Att inse att i modellträning, bakom varje fantastisk algoritm, finns komplex och resurskrävande dataarbete.

Även starka idéer misslyckas med att nå full implementering när datakostnaderna börjar stiga långt över sju siffror.

Och kanske den viktigaste förändringen som sker inom robotik idag är kopplad till denna insikt. Framtiden för dessa system kommer att definieras av hur “intelligenta” de är och hur effektivt och exakt hela datapipelinen byggs – från datainsamling till slutlig tolkning.