Waymos selvkjørende teknologi blir smartere, gjenkjenner milliarder av objekter takket være innholdssøk

De autonome kjøretøyene utviklet av Waymo bruker datasynsteknikker og kunstig intelligens for å oppfatte omgivelsene og ta sanntidsbeslutninger om hvordan kjøretøyet skal reagere og bevege seg. Når objekter oppfattes av kameraet og sensorene inne i kjøretøyet, blir de matchet mot en stor database satt sammen av Alphabet for å bli gjenkjent.

Massive datasett er av stor betydning for opplæringen av autonome kjøretøy, da de gjør det mulig for AI i kjøretøyene å bli bedre og forbedre ytelsen. Imidlertid trenger ingeniører en måte å effektivt matche elementer i datasettet til spørringer, slik at de kan undersøke hvordan AI fungerer på bestemte typer bilder. For å løse dette problemet, som VentureBeat rapporterer, Waymo nylig utviklet et verktøy kalt "Innholdssøk", som fungerer på samme måte som Google Bildesøk og Google Foto. Disse systemene matcher spørringer med det semantiske innholdet i bilder, og genererer representasjoner av objektene som gjør bildehenting basert på naturlig språksøk enklere.

Før innkomsten av innholdssøk, hvis Waymos forskere ønsket å hente visse prøver fra loggene, måtte de beskrive objektet ved å bruke heuristikk. Waymos logger måtte søkes ved hjelp av kommandoer som søkte etter objekter basert på regler, noe som innebar å kjøre søk etter objekter som var "under X høyde" eller objekter som "reiste med y miles per time". Resultatene av disse regelbaserte søkene kan ofte være ganske brede, og forskerne må da finkjemme de returnerte resultatene manuelt.

Innholdssøk løser dette problemet ved å lage kataloger med data og utføre likhetssøk på de forskjellige katalogene for å finne de mest like kategoriene når de presenteres med et objekt. Hvis Content Search blir presentert med en lastebil eller et tre, vil det returnere andre lastebiler eller trær som Waymos autonome kjøretøy har møtt. Når et Waymo-kjøretøy kjører rundt, registrerer det bilder av objekter rundt det, så lagrer det disse objektene som innebygde/matematiske representasjoner. Dette betyr at verktøyet kan foreta en sammenligning mellom objektkategorier og rangere svar etter hvor lik det oppgitte objektet de lagrede objektbildene er. Dette ligner på hvordan innebygd tjeneste for likhetsmatching drevet av Google fungerer.

Objektene som Waymos kjøretøy møter kan komme i alle forskjellige former og størrelser, men de må alle destilleres ned til sine essensielle komponenter og kategoriseres for at innholdssøk skal fungere. For at dette skal skje, bruker Waymo flere AI-modeller som er trent på en lang rekke objekter. De ulike modellene lærer å gjenkjenne en rekke objekter, og de støttes av Content Search, som gjør at modellene kan forstå hvorvidt elementer som tilhører en bestemt kategori finnes i et gitt bilde. En ekstra optisk tegngjenkjenningsmodell brukes sammen med hovedmodellen, slik at Waymo-kjøretøyene kan legge til ekstra identifiserende informasjon til objekter i bilder, basert på tekst som finnes i bildet. For eksempel vil en lastebil utstyrt med skilting ha teksten til skiltet inkludert i innholdssøk-beskrivelsen.

Takket være de ovennevnte modellene som samarbeider, er Waymos forskere og ingeniører i stand til å søke i bildedataloggene etter svært spesifikke objekter som spesifikke træsorter og bilmerker.

I følge Waymo, sitert av VentureBeat:

«Med Content Search er vi i stand til automatisk å kommentere ... objekter i kjørehistorikken vår, noe som igjen har økt hastigheten og kvaliteten på dataene vi sender for merking eksponentielt. Evnen til å akselerere merking har bidratt til mange forbedringer på tvers av systemet vårt, fra å oppdage skolebusser med barn som skal tråkke ut på fortauet eller folk som kjører på elektriske scootere til en katt eller en hund som krysser en gate. Etter hvert som Waymo utvider seg til flere byer, vil vi fortsette å møte nye objekter og scenarier.»

Dette er ikke første gang Waymo har brukt flere maskinlæringsmodeller for å forbedre påliteligheten og nøyaktigheten til kjøretøyene deres. Waymo har samarbeidet med Alphabet/Google tidligere, som hjelper til med å utvikle en AI-teknikk sammen med DeepMind. AI-systemet henter inspirasjon fra evolusjonsbiologien. Til å begynne med lages en rekke maskinlæringsmodeller, og etter at de er trent, blir modellene som underpresterte, plukket ut og erstattet med avkomsmodeller. Denne teknikken klarte angivelig å redusere falske positiver dramatisk, samtidig som den reduserte de nødvendige beregningsressursene og treningstiden.

Waymos AI Content Search-verktøy lar ingeniører raskt finne objekter i kjørejournaler