Görme Engelliler için Makine Öğrenimi ile Yolları Haritalama

Almanya’dan yapılan yeni bir araştırmada, gerçek dünyada görme engelli insanların navigasyonunu sağlamak için GPU destekli taşınabilir bir sistem geliştirilmiştir. Sistem, gerçek zamanlı bilgisayar görme çerçevelerindeki temel zorluklardan biri olan cam ve diğer saydam engellerin tanımlanmasını ele alır.

Karlsruhe Teknoloji Enstitüsü’nden makale, Trans4Trans adlı bir kullanıcı tarafından giyilen bir sistemin oluşturulmasını detaylandırır. Bu sistem, bir çift akıllı gözlükten oluşur ve bunlar taşınabilir bir GPU kasasına bağlıdır. Sistem, 640×480 piksel çözünürlükte sürekli bir RGB ve derinlik görüntüsü akışı yakalar ve ardından bu görüntüleri bir anlamsal segmentasyon çerçevesi aracılığıyla işler.

Trans4Trans rigindeki mobil sensörler. Kaynak: https://arxiv.org/pdf/2107.03172.pdf

Sistemin duyusal geri bildirim yetenekleri, çevresel engellere tepki veren akustik geri bildirimler sağlayan kemik iletimli kulaklıklarla güçlendirilir.

Trans4Trans sistemi ayrıca Microsoft HoloLens 2 artırılmış gerçeklik riginde test edilmiştir ve potansiyel olarak tehlikeli engellerin, örneğin cam kapıların, tam ve tutarlı bir şekilde segmentasyonunu (yani tanınmasını) başarmıştır.

HoloLens 2’de çalışan Trans4Trans.

Mimari

Trans4Trans, hem bir transformer tabanlı kodlayıcı hem de bir dekoder kullanır ve ayrıca yoğun bölümlerin gömme dosyalarından oluşturulan özellikli haritaları birleştirebilen özel bir Transformer Pairing Module (TPM) kullanır. Transformer tabanlı dekoder, eşleştirilmiş kodlayıcının oluşturduğu özellikli haritaları tutarlı bir şekilde ayrıştırmaya da khảze sahiptir.

Trans4Trans mimarisi.

Her TPM, sistemin taşınabilirliğini ve düşük kaynak tüketimini sağlayan tek bir transformer tabanlı katmandan oluşur. Dekoder, kodlayıcı için dört simetrik aşamaya sahiptir ve her bir TPM modülü her bir aşamaya atanır. Sistem, birden fazla yaklaşımın işlevselliğini birleştirerek kaynak tasarrufu sağlar ve böylece lineer bir iş akışında iki ayrı modeli dağıtmak yerine tek bir modeli kullanır.

Donanım

Sistemdeki gözlükler, bir RealSense R200 RGB-D sensörünü içerirken, ana makine bir Jetson AGX Xavier NVIDIA GPU’sine sahiptir. Bu GPU, gömülü sistemler için tasarlanmış ve 384 NVIDIA CUDA çekirdeği ile 48 Tensor çekirdeğine sahiptir.

R200, speckle projecting ve pasif stereo eşleştirmeyi sağlar, bu da onu iç ve dış ortamlar için uygun hale getirir. Speckle özelliği, özellikle saydam yüzeyleri değerlendirmek için yararlıdır, çünkü gelen görsel veriyi aşırı ışık kaynaklarından etkilenmeden güçlendirir ve açıklar. Sensörün infrared yetenekleri, projenin amaçları bağlamında engellerden kaçınmak için kritik olan net geometri ve eyleme geçirilebilir derinlik haritalarını elde etmeye de yardımcı olur.

Kullanıcı için Bilişsel Aşırılığın Önlenmesi

Sistem, yeterli veri sıklığı ve aşırı bilgi arasında bir denge kurmalıdır, çünkü kullanıcı, sesli geri bildirim ve titreşim geri bildirimi aracılığıyla çevreyi tutarlı bir şekilde ayırt edebilmelidir.

Dolayısıyla Trans4Trans, bir metrekarelik bir varsayılan eşik değerine sahip olmak üzere geri bildirim verilerini yapay olarak sınırlar, böylece kullanıcıya çeşitli mesafelerdeki yaklaşan nesneler ve engeller için birden fazla titreşim ayarını öğrenmek zorunda kalmaz.

Trans4Trans Testi

Trans4Trans sistemi, saydam nesnelerin segmentasyonunu içeren iki veri kümesiyle test edilmiştir: Hong Kong Üniversitesi et al tarafından sağlanan Trans10K-V2, eğitim, doğrulama ve test için 10.428 saydam nesne görüntüsünü içerir; ve 70.496 mixed transparency nesnesinin 1080×1080 çözünürlükte görüntülerini içeren Stanford2D3D veri kümesi.

Trans10k veri kümesinden görüntüler ve karşılık gelen maskeler. Kaynak: https://arxiv.org/pdf/2101.08461.pdf

Stanford2D3D sistemi çalışır halde. Kaynak: http://buildingparser.stanford.edu/dataset.html

Testlerde, Trans4Trans ayrıca 2021 başlangıcında aynı araştırmacılar tarafından yayınlanan Trans2Seg girişimi tarafından yanlış sınıflandırılan saydam nesneleri segmentlemeyi başardı, ancak yüzeyleri segmentlemek için daha az GFLOPS gerektirdi.

Trans2Seq’den farklı olarak, Trans4Trans yalnızca transformer tabanlı kodlayıcı-dekoder mimarisini kullanır, önceki yaklaşımı geride bırakır ve PVT’de önemli bir iyileşme sağlar.

Algoritma, ayrıca jar, pencere, kapı, su bardağı, kutu ve şişe gibi belirli sayıda saydam sınıf için state-of-the-art sonuçlar elde etti.