Waymos självkörande teknik blir smartare, känner igen miljarder föremål tack vare innehållssökning

De självkörande fordon som utvecklats av Waymo använder datorseende-tekniker och artificiell intelligens för att uppfatta omgivningen och fatta beslut i realtid om hur fordonet ska reagera och röra sig. När föremål uppfattas av kameran och sensorerna i fordonet matchas de mot en stor databas som sammanställts av Alphabet (GOOG ) (GOOGL ) för att kunna kännas igen.

Stora datamängder är av stor betydelse för utbildningen av självkörande fordon, eftersom de möjliggör för AI i fordonen att bli bättre och förbättra sin prestanda. Men ingenjörer behöver ett sätt att effektivt matcha objekt i datamängden till frågor så att de kan undersöka hur AI fungerar på specifika typer av bilder. För att lösa detta problem har Waymo, enligt VentureBeat, nyligen utvecklat ett verktyg som kallas “Content Search”, som fungerar på liknande sätt som Google Bildsökning och Google Fotos. Dessa system matchar frågor med den semantiska innehållet i bilderna, vilket genererar representationer av föremålen som gör det lättare att hämta bilder baserat på naturligt språk.

Innan Content Search introducerades var Waymos forskare tvungna att hämta specifika prover från loggarna genom att beskriva föremålet med hjälp av heuristiska metoder. Waymos loggar måste sökas med kommandon som sökte efter föremål baserat på regler, vilket innebar att söka efter föremål som var “under X höjd” eller föremål som “färdades i y miles i timmen”. Resultaten av dessa regelbaserade sökningar kunde ofta vara ganska breda och forskarna var då tvungna att manuellt gå igenom de returnerade resultaten.

Content Search löser detta problem genom att skapa kataloger över data och genomföra likhetsökningar på de olika katalogerna för att hitta de mest liknande kategorierna när ett föremål presenteras. Om Content Search presenteras med en lastbil eller ett träd kommer den att returnera andra lastbilar eller träd som Waymos självkörande fordon har mött. När ett Waymo-fordon kör runt spelar det in bilder av föremål runt omkring och lagrar sedan dessa föremål som inbäddningar/matematiska representationer. Detta innebär att verktyget kan göra en jämförelse mellan föremålskategorierna och rangordna svaren baserat på hur lika de lagrade föremålsbilderna är i förhållande till det angivna föremålet. Detta fungerar på liknande sätt som den inbäddningslikhetsmatchningstjänst som drivs av Google.

De föremål som Waymos fordon möter kan komma i alla möjliga former och storlekar, men de måste alla destilleras ner till sina grundläggande komponenter och kategoriseras för att Content Search ska fungera. För att detta ska ske använder Waymo flera AI-modeller som tränats på en stor mängd olika föremål. De olika modellerna lär sig att känna igen en mängd olika föremål och de stöds av Content Search, som möjliggör för modellerna att förstå om föremål som tillhör en specifik kategori finns i en given bild. En ytterligare optisk teckenigenkänningmodell används tillsammans med den primära modellen, vilket möjliggör för Waymo-fordonen att lägga till extra identifieringsinformation till föremål i bilder baserat på eventuell text som finns i bilden. Till exempel skulle en lastbil utrustad med skyltar ha texten på skyltarna inkluderad i dess Content Search-beskrivning.

Tack vare de ovan nämnda modellerna som fungerar tillsammans kan Waymos forskare och ingenjörer söka i bildloggarna efter mycket specifika föremål, som till exempel specifika arter av träd och bilmärken.

Enligt Waymo, som citeras av VentureBeat:

”Med Content Search kan vi automatiskt annotera … föremål i vår körhistorik, vilket i sin tur har exponentiellt ökat hastigheten och kvaliteten på de data vi skickar för märkning. Förmågan att accelerera märkning har bidragit till många förbättringar i hela systemet, från att upptäcka skolbussar med barn som är på väg att stiga ut på trottoaren eller människor som åker elsparkcyklar till en katt eller hund som korsar en gata. När Waymo expanderar till fler städer kommer vi att fortsätta att möta nya föremål och scenarier.”

Detta är inte första gången som Waymo har använt flera maskinlärningsmodeller för att förbättra tillförlitligheten och noggrannheten hos sina fordon. Waymo har tidigare samarbetat med Alphabet/Google, vilket hjälpte till att utveckla en AI-teknik tillsammans med DeepMind. AI-systemet tar inspiration från evolutionär biologi. Till att börja med skapas en mängd olika maskinlärningsmodeller och efter att de har tränats tas de modeller som presterade sämst bort och ersätts med avkomma-modeller. Denna teknik rapporteras ha minskat antalet falska positiva dramatiskt samtidigt som den också minskade de beräkningsresurser och utbildningstid som krävdes.

https://venturebeat.com/2020/02/06/waymos-ai-content-search-tool-lets-engineers-find-objects-within-its-driving-records/