Sokeiden polkujen kartoittaminen koneoppimisen avulla

Saksasta tuleva uusi tutkimus tarjoaa uudenlaisen, GPU-pohjaisen kannettavan järjestelmän, joka auttaa näkövammaisia henkilöitä navigoimisessa todellisessa maailmassa. Järjestelmä vastaa yhteen keskeisistä haasteista reaaliaikaisissa tietokoneen näkökehyksissä – lasin ja muiden läpinäkyvien esteiden tunnistamisesta.

Tutkimus, Karlsruhen teknillisen korkeakoulun, kuvaa käyttäjän käyttämän järjestelmän rakentamista, joka koostuu älylasien parista, joka on yhdistetty kannettavan GPU-kotelon, joka on käytännössä kevyt kannettava tietokone, joka tallentaa RGB- ja syvyyskuvia jatkuvana virtana 640×480 pikselin resoluutiolla, joka sitten suoritetaan semanttisessa segmentointikehyksessä.

Liikkuva anturi Trans4Trans-rungossa. Lähde: https://arxiv.org/pdf/2107.03172.pdf

Järjestelmän aistinvaraista palautetta parantaa myös pari luurankoon kiinnitettävissä olevia kuulokkeita, jotka antavat akustista palautetta ympäristön esteiden mukaisesti.

Trans4Trans-järjestelmää on myös testattu Microsoft HoloLens 2 -lisättytodellisuuden rungossa, jolloin saavutettiin täydellinen ja johdonmukainen segmentointi (tunnistaminen) vaarallisista esteistä, kuten lasioven esteistä.

Trans4Trans toimii HoloLens 2:lla.

Arkkitehtuuri

Trans4Trans käyttää kaksiosaisen lähestymistapaa, jossa käytetään sekä transformer-pohjaista koodaria ja dekooderia, ja hyödyntää omalaatuista Transformer Pairing Module (TPM) -moduulia, joka pystyy kokoamaan ominaisuuskartat, jotka on generoitu tiheiden jakojen upottamisesta, kun taas transformer-pohjainen dekooderi pystyy johdonmukaisesti tulkitsemaan ominaisuuskartat parittaisesta koodarista.

Trans4Transin arkkitehtuuri.

Kunkin TPM:n koostuu yhdestä transformer-pohjaisesta kerroksesta, joka on välttämätöntä järjestelmän alhaisen resurssien kulutuksen ja kannettavuuden vuoksi. Dekooderissa on neljä symmetristä vaihetta koodarin kanssa, ja kussakin vaiheessa on TPM-moduuli. Järjestelmä säästää resursseja yhdistämällä useiden lähestymistapojen toiminnallisuuden yhtenäiseen järjestelmään, sen sijaan, että käyttäisi kahta erillistä mallia lineaarisessa työvirrassa.

Laitteisto

Laseissa käytetään Intelin RealSense R200 RGB-D -anturia, kun taas isäntäkoneessa on Jetson AGX Xavier NVIDIA GPU, joka on suunniteltu upotettuihin järjestelmiin, ja jossa on 384 NVIDIA CUDA-ydintä ja 48 Tensor-ydintä.

R200 tarjoaa pilkkujen heittämisen ja passiivisen stereomittauksen, mikä tekee siitä soveltuvan sisä- ja ulkoympäristöihin. Pilkkujen heittäminen on erityisen hyödyllistä läpinäkyvien pintojen arvioinnissa, koska se lisää ja selkiyttää saapuvaa visuaalista dataa ilman, että se häikäisee äärimmäisistä valonlähteistä. Anturin infrapunakapasiteetit myös auttavat saamaan erottuvan geometrian ja muodostamaan toimintakykyisiä syvyyskartoja, jotka ovat kriittisiä esteiden välttämiseksi hankkeen tavoitteiden kannalta.

Kognitiivisen kuormituksen estäminen käyttäjältä

Järjestelmän on löydettävä tasapaino riittävän datataajuuden ja liiallisen tiedon välillä, koska käyttäjän on kyettävä erottamaan ympäristöä johdonmukaisesti äänipalautteen ja värinän kautta.

Seurausena Trans4Trans rajoittaa keinotekoisesti palautetiedon määrää, ja yksittäinen oletusarvoinen kynnysarvo on asetettu yhteen metriin, sen sijaan, että pakottaisi käyttäjän oppimaan useita värinäasetuksia, jotka vastaavat eri etäisyyksiä ja esteitä.

Trans4Transin testaus

Trans4Trans-järjestelmää on testattu kahdella aineistolla, jotka liittyvät läpinäkyvien objektien segmentointiin: Trans10K-V2, joka on peräisin Hong Kongin yliopistosta et al, ja joka sisältää 10 428 kuvaa läpinäkyvistä objekteista validointiin, koulutukseen ja testaamiseen; ja Stanford2D3D-aineisto, joka sisältää 70 496 kuvaa sekaisin läpinäkyvistä objekteista, jotka on kuvattu 1080×1080 resoluutiolla.

Kuvia ja vastaavia maskeja Trans10k-aineistosta. Lähde: https://arxiv.org/pdf/2101.08461.pdf

Stanford2D3D-järjestelmä toiminnassa. Lähde: http://buildingparser.stanford.edu/dataset.html

Testauksessa Trans4Trans pystyi myös segmentoimaan läpinäkyviä objekteja, jotka oli luokiteltu virheellisesti Trans2Seg -aloitteessa, joka julkaistiin vuoden 2021 alussa samojen tutkijoiden toimesta, vaikka se vaati vähemmän GFLOPSia pintojen laskemiseen ja segmentointiin.

Toisin kuin Trans2Seq, joka käyttää CNN-pohjaista koodaria ja transformer-pohjaista dekooderia, Trans4Trans käyttää ainoastaan transformer-pohjaista koodari-dekooderirakennetta, joka ylittää edellisen lähestymistavan ja parantaa myös PVT:ää.

Algoritmi saavutti myös huipputulokset tietyn määrän läpinäkyvien luokkien osalta, mukaan lukien savi, ikkuna, ovi, muki, laatikko ja pullo.