Paden voor blinden in kaart brengen met machine learning

Nieuw onderzoek uit Duitsland biedt een nieuw, GPU-gebaseerd draagbaar systeem om mensen met een visuele beperking te helpen navigeren in de echte wereld. Het systeem lost een van de kernuitdagingen op in real-time computer vision frameworks – de identificatie van glas en andere transparante obstakels.

Het artikel, van het Karlsruhe Institute of Technology, beschrijft de constructie van een door de gebruiker gedragen systeem, genaamd Trans4Trans, bestaande uit een paar slimme bril verbonden met een draagbare GPU-behuizing, effectief een lichtgewicht laptop, die RGB- en dieptebeelden opneemt op 640×480 pixels in een continue stroom, die vervolgens wordt doorgevoerd door een semantische segmentatieframework.

De mobiele sensoren in de Trans4Trans-rig. Bron: https://arxiv.org/pdf/2107.03172.pdf

De sensorische feedbackmogelijkheden van het systeem worden versterkt door een paar botgeleidende oordopjes, die akoestische feedback geven in reactie op omgevingsobstakels.

Het Trans4Trans-systeem is ook getest op de Microsoft HoloLens 2-augmented reality-rig, waarbij complete en consistente segmentatie (d.w.z. herkenning) van potentieel gevaarlijke obstakels zoals glazen deuren werd bereikt.

Trans4Trans op de HoloLens 2.

Architectuur

Trans4Trans gebruikt een dubbele aanpak, waarbij zowel een transformator-gebaseerde encoder en decoder als een propriëtaire Transformer Pairing Module (TPM) worden gebruikt, die in staat is om functiekaarten gegenereerd door de embeddings van dichte partities te combineren, terwijl de transformator-gebaseerde decoder consistent functiekaarten van zijn gepaarde encoder kan parseren.

De architectuur van Trans4Trans.

Elk TPM bestaat uit een enkele transformator-gebaseerde laag, essentieel voor de lage bronnenafname en draagbaarheid van het systeem. De decoder bevat vier symmetrische stadia voor de encoder, met een TPM-module toegewezen aan elk. Het systeem bespaart bronnen door de functionaliteit van meerdere benaderingen te integreren in een coherent systeem, in plaats van twee afzonderlijke modellen in een lineaire workflow te implementeren.

Hardware

De bril die in het systeem wordt gebruikt, bevat een RealSense R200 RGB-D-sensor, terwijl de hostmachine een Jetson AGX Xavier NVIDIA GPU bevat, ontworpen voor ingebedde systemen, met 384 NVIDIA CUDA-cores en 48 Tensor-cores.

De R200 biedt speckle projectie en passieve stereo-matching, waardoor het geschikt is voor interne en externe omgevingen. De speckle-faciliteit is van bijzonder voordeel bij het evalueren van transparante oppervlakken, aangezien het de inkomende visuele gegevens versterkt en verduidelijkt zonder te worden verblind door extreme lichtbronnen. De infraroodmogelijkheden van de sensor helpen ook om distincte geometrie en vorm te krijgen van actiegebonden dieptekaarten, die kritiek zijn voor obstakelvermijding, in de context van de doelstellingen van het project.

Voorkoming van cognitieve overbelasting voor de gebruiker

Het systeem moet een balans vinden tussen adequate gegevensfrequentie en overmatige informatie, aangezien de drager in staat moet zijn om de omgeving coherent te onderscheiden door middel van audiofeedback en trilfeedback.

Daarom beperkt Trans4Trans kunstmatig de hoeveelheid feedbackgegevens, met een enkele standaarddrempel ingesteld op één meter, in plaats van de gebruiker te dwingen om een verscheidenheid aan trilinstellingen te leren die overeenkomen met de variabele afstanden van naderende objecten en barrières.

Testen van Trans4Trans

Het Trans4Trans-systeem is getest op twee datasets die betrekking hebben op de segmentatie van transparante objecten: Trans10K-V2, van de Universiteit van Hong Kong et al, die 10.428 afbeeldingen van transparante objecten bevat voor validatie, training en testen; en de Stanford2D3D-dataset, die 70.496 afbeeldingen van gemengde transparante objecten bevat, opgenomen op 1080×1080-resolutie.

Afbeeldingen en overeenkomstige maskers van de Trans10k-dataset. Bron: https://arxiv.org/pdf/2101.08461.pdf

Het Stanford2D3D-systeem in actie. Bron: http://buildingparser.stanford.edu/dataset.html

Bij het testen was Trans4Trans ook in staat om transparante objecten te segmenteren die door de Trans2Seg initiatief aan het begin van 2021 door dezelfde onderzoekers werden misgeclassificeerd, terwijl het minder GFLOPS nodig had om de oppervlakken te berekenen en te segmenteren.

In tegenstelling tot Trans2Seq, dat een CNN-gebaseerde encoder en transformator-gebaseerde decoder gebruikt, gebruikt Trans4Trans alleen een transformator-gebaseerde encoder-decoderarchitectuur, waarmee het de vorige benadering overtreft en ook aanzienlijk verbetert ten opzichte van PVT.

De algoritme behaalde ook state-of-the-artresultaten voor een bepaald aantal transparante klassen, waaronder pot, raam, deur, beker, doos en fles.