Membuat Peta untuk Tunanetra dengan Pembelajaran Mesin

Penelitian baru dari Jerman menawarkan sistem portabel yang inovatif, didukung GPU, untuk membantu orang-orang tunanetra dalam navigasi di dunia nyata. Sistem ini menangani salah satu tantangan utama dalam kerangka kerja penglihatan komputer waktu nyata – identifikasi kaca dan hambatan transparan lainnya.

Makalah ini, dari Institut Teknologi Karlsruhe, merincikan konstruksi sistem yang dikenakan pengguna, yang disebut Trans4Trans, yang terdiri dari sepasang kacamata pintar yang terhubung ke casing GPU portabel, yang pada dasarnya adalah laptop ringan, yang menangkap gambar RGB dan kedalaman pada resolusi 640×480 piksel dalam aliran kontinu, yang kemudian dijalankan melalui kerangka kerja segmentasi semantik.

Sensor mobilitas di rig Trans4Trans. Sumber: https://arxiv.org/pdf/2107.03172.pdf

Kemampuan umpan balik sensorik sistem ini ditingkatkan oleh sepasang headphone yang menghantarkan suara melalui tulang, yang mengeluarkan umpan balik akustik sebagai respons terhadap hambatan lingkungan.

Sistem Trans4Trans juga telah diuji pada rig realitas tambah Microsoft HoloLens 2, mencapai segmentasi lengkap dan konsisten (yaitu pengenalan) hambatan berbahaya seperti pintu kaca.

Trans4Trans berjalan di HoloLens 2.

Arsitektur

Trans4Trans menggunakan pendekatan ganda, menggunakan baik transformer-based encoder dan decoder, serta memanfaatkan modul Transformer Pairing Module (TPM) yang dapat mengumpulkan peta fitur yang dihasilkan oleh penyematan partisi padat, sementara decoder berbasis transformer dapat secara konsisten menganalisis peta fitur dari encoder yang dipasang.

Arsitektur Trans4Trans.

Setiap TPM terdiri dari satu lapisan berbasis transformer, yang penting untuk penghematan sumber daya dan portabilitas sistem. Decoder memiliki empat tahap simetris untuk encoder, dengan modul TPM yang ditugaskan untuk masing-masing. Sistem ini melakukan penghematan sumber daya dengan mengintegrasikan fungsionalitas beberapa pendekatan menjadi sistem yang koheren, bukan dengan menerapkan dua model terpisah dalam alur kerja linier.

Perangkat Keras

Kacamata yang digunakan dalam sistem ini mencakup sensor R200 RGB-D RealSense, sementara mesin host memiliki Jetson AGX Xavier NVIDIA GPU, yang dirancang untuk sistem tertanam, dan menampilkan 384 inti CUDA NVIDIA dan 48 inti Tensor.

R200 menawarkan speckle projecting dan pencocokan stereo pasif, membuatnya cocok untuk lingkungan interior dan eksterior. Fasilitas speckling sangat bermanfaat dalam mengevaluasi permukaan transparan, karena fasilitas ini meningkatkan dan memperjelas data visual masuk tanpa terganggu oleh sumber cahaya ekstrem. Kemampuan inframerah sensor juga membantu memperoleh geometri yang jelas dan membuat peta kedalaman yang dapat digunakan, yang sangat penting untuk menghindari hambatan, dalam konteks tujuan proyek.

Menghindari Kebutuhan Kognitif Berlebihan bagi Pengguna

Sistem ini perlu menemukan keseimbangan antara frekuensi data yang memadai dan informasi yang berlebihan, karena pengguna perlu dapat membedakan lingkungan secara koheren melalui umpan balik audio dan umpan balik getaran.

Oleh karena itu, Trans4Trans secara artifisial membatasi volume data umpan balik, dengan ambang batas default yang ditetapkan ke satu meter, bukan memaksa pengguna untuk mempelajari berbagai pengaturan getaran yang sesuai dengan jarak benda dan hambatan yang mendekat.

Pengujian Trans4Trans

Sistem Trans4Trans telah diuji pada dua dataset yang berkaitan dengan segmentasi objek transparan: Trans10K-V2, dari Universitas Hong Kong et al, yang berisi 10.428 gambar objek transparan untuk validasi, pelatihan, dan pengujian; dan dataset Stanford2D3D, yang berisi 70.496 gambar objek transparan campuran, yang direkam pada resolusi 1080×1080.

Gambar dan masker yang sesuai dari dataset Trans10k. Sumber: https://arxiv.org/pdf/2101.08461.pdf

Sistem Stanford2D3D dalam aksi. Sumber: http://buildingparser.stanford.edu/dataset.html

Dalam pengujian, Trans4Trans juga dapat membagi objek transparan yang salah klasifikasi oleh Trans2Seg inisiatif yang dirilis pada awal 2021 oleh peneliti yang sama, sementara memerlukan lebih sedikit GFLOPS untuk menghitung dan membagi permukaan.

Tidak seperti Trans2Seq, yang menggunakan encoder berbasis CNN dan decoder berbasis transformer, Trans4Trans menggunakan arsitektur encoder-decoder berbasis transformer saja, yang mengungguli pendekatan sebelumnya dan juga sangat meningkatkan kinerja PVT.

Algoritma ini juga mencapai hasil state-of-the-art untuk sejumlah kelas transparan tertentu, termasuk toples, jendela, pintu, cangkir, kotak, dan botol.