Waymos selvkørende teknologi bliver klogere, genkender milliarder af objekter takket være indholds søgning

De selvkørende køretøjer, som er udviklet af Waymo, anvender computer vision-teknikker og kunstig intelligens til at opfatte omgivelserne og træffe beslutninger i realtid om, hvordan køretøjet skal reagere og bevæge sig. Når objekter opfattes af kameraet og sensorerne inde i køretøjet, matchas de mod en stor database, som er samlet af Alphabet (GOOG ) (GOOGL ), for at blive genkendt.

Massive datasæt er af stor betydning for træningen af selvkørende køretøjer, da de giver mulighed for, at AI’en i køretøjerne kan blive bedre og forbedre deres præstation. Dog har ingeniørerne brug for en effektiv måde at matche elementer i datasættet med forespørgsler, så de kan undersøge, hvordan AI’en fungerer på bestemte typer af billeder. For at løse dette problem har Waymo, ifølge VentureBeat, udviklet et værktøj kaldet “Indholds søgning”, som fungerer på samme måde som Google Billedsøgning og Google Fotos. Disse systemer matcher forespørgsler med den semantiske indhold i billeder, hvilket gør det lettere at generere repræsentationer af objekter og gøre billedhentning baseret på naturlige sprogforespørgsler lettere.

Før indførelsen af Indholds søgning måtte Waymos forskere, hvis de ville hente bestemte eksempler fra logfilerne, beskrive objektet ved hjælp af heuristik. Waymos logfiler måtte søges ved hjælp af kommandoer, som søgte efter objekter baseret på regler, hvilket betød, at de skulle køre søgninger efter objekter, der var “under X højde” eller objekter, der “bevægede sig med y miles i timen”. Resultaterne af disse regelbaserede søgninger kunne ofte være ret bredt, og forskerne måtte derefter gennemgå de returnerede resultater manuelt.

Indholds søgning løser dette problem ved at oprette kataloger over data og udføre lignende søgninger på de forskellige kataloger for at finde de mest lignende kategorier, når der præsenteres et objekt. Hvis Indholds søgning præsenteres med en lastbil eller et træ, returnerer den andre lastbiler eller træer, som Waymos selvkørende køretøjer har mødt. Da et Waymo-køretøj kører rundt, optager det billeder af objekter omkring det og gemmer disse objekter som indlejring/matematisk repræsentation. Dette betyder, at værktøjet kan sammenligne objekt-kategorier og rangere svar efter, hvor lignende det gemte objektbillede er til det præsenterede objekt. Dette fungerer på samme måde som Googles indlejring lignende søgnings service fungerer.

Objekterne, som Waymos køretøjer møder, kan komme i alle mulige former og størrelser, men de skal alle sammenfattes til deres essentielle komponenter og kategoriseres, så Indholds søgning kan fungere. For at dette kan ske, anvender Waymo multiple AI-modeller, som er trænet på en bred vifte af objekter. De forskellige modeller lærer at genkende en række objekter og støttes af Indholds søgning, som giver modellerne mulighed for at forstå, om objekter tilhørende en bestemt kategori findes i et givent billede. En ekstra optisk tegnkendingsmodel anvendes sammen med hovedmodellen, hvilket giver Waymo-køretøjerne mulighed for at tilføje ekstra identificerende information til objekter i billeder baseret på eventuelt tekst fundet i billedet. For eksempel vil en lastbil udstyret med skilte have teksten på skiltet inkluderet i dens Indholds søgningsbeskrivelse.

Takket være ovenstående modeller, der fungerer i koncert, kan Waymos forskere og ingeniører søge i billed-data-logfilerne efter meget specifikke objekter, såsom bestemte arter af træer og mærker af biler.

Ifølge Waymo, som citeres af VentureBeat:

“Med Indholds søgning kan vi automatisk annotere … objekter i vores kørehistorik, hvilket har øget hastigheden og kvaliteten af data, som vi sender til mærkning. Evnen til at accelerere mærkning har bidraget til mange forbedringer i vores system, fra at opdage skolebusser med børn, der er på vej ud på fortovet, eller mennesker, der kører på el-scootere, til en kat eller en hund, der krydser en vej. Da Waymo udvider til flere byer, vil vi fortsat møde nye objekter og scenarier.”

Dette er ikke første gang, Waymo har anvendt multiple maskinlæringsmodeller til at forbedre pålideligheden og nøjagtigheden af deres køretøjer. Waymo har samarbejdet med Alphabet/Google tidligere, hvilket har hjulpet med at udvikle en AI-teknik sammen med DeepMind. AI-systemet tager inspiration fra evolutionær biologi. For at starte med bliver en række maskinlæringsmodeller oprettet, og efter de er trænet, bliver de modeller, der ikke fungerer godt, fjernet og erstattet med afkom-modeller. Denne teknik har ifølge rapporten formået at reducere falske positiver dramatisk, samtidig med at den reducerer de krævede beregningsressourcer og træningstid.

https://venturebeat.com/2020/02/06/waymos-ai-content-search-tool-lets-engineers-find-objects-within-its-driving-records/