Bagaimana AI Membuat Pengenalan Bahasa Isyarat Lebih Akurat Daripada Pernah

Ketika kita berpikir tentang menghancurkan hambatan komunikasi, kita sering fokus pada aplikasi terjemahan bahasa atau asisten suara. Namun, bagi jutaan orang yang menggunakan bahasa isyarat, alat-alat ini belum sepenuhnya menjembatani kesenjangan. Bahasa isyarat bukan hanya tentang gerakan tangan – itu adalah bentuk komunikasi yang kaya dan kompleks yang mencakup ekspresi wajah dan bahasa tubuh, setiap elemen membawa makna yang sangat penting.

Inilah yang membuatnya sangat menantang: tidak seperti bahasa lisan, yang sebagian besar berbeda dalam kosakata dan tata bahasa, bahasa isyarat di seluruh dunia berbeda secara fundamental dalam cara mereka menyampaikan makna. Bahasa Isyarat Amerika (ASL), misalnya, memiliki tata bahasa dan sintaksis yang unik yang tidak cocok dengan bahasa Inggris lisan.

Kesulitan ini berarti bahwa menciptakan teknologi untuk mengenali dan menerjemahkan bahasa isyarat secara real-time memerlukan pemahaman tentang sistem bahasa yang bergerak secara keseluruhan.

Pendekatan Baru untuk Pengenalan

Inilah tempat di mana tim di Universitas Florida Atlantic (FAU) Fakultas Teknik dan Ilmu Komputer memutuskan untuk mengambil pendekatan yang segar. Alih-alih mencoba menangani keseluruhan kompleksitas bahasa isyarat sekaligus, mereka fokus pada menguasai langkah pertama yang sangat penting: mengenali gerakan abjad ASL dengan akurasi yang belum pernah terjadi sebelumnya melalui AI.

Bayangkan seperti mengajar komputer untuk membaca tulisan tangan, tetapi dalam tiga dimensi dan dalam gerakan. Tim ini membangun sesuatu yang luar biasa: dataset 29.820 gambar statis yang menunjukkan gerakan tangan ASL. Namun, mereka tidak hanya mengumpulkan gambar. Mereka menandai setiap gambar dengan 21 titik kunci di tangan, membuat peta rinci tentang bagaimana tangan bergerak dan membentuk berbagai tanda.

Dr. Bader Alsharif, yang memimpin penelitian ini sebagai calon Ph.D., menjelaskan: “Metode ini belum pernah dieksplorasi dalam penelitian sebelumnya, membuatnya menjadi arah baru dan menjanjikan untuk kemajuan di masa depan.”

Menghancurkan Teknologi

Mari kita menyelami kombinasi teknologi yang membuat sistem pengenalan bahasa isyarat ini bekerja.

MediaPipe dan YOLOv8

Keajaiban terjadi melalui integrasi yang mulus dari dua alat yang sangat kuat: MediaPipe dan YOLOv8. Bayangkan MediaPipe sebagai ahli pengamat tangan – seorang penafsir bahasa isyarat yang terampil yang dapat melacak setiap gerakan jari yang halus dan posisi tangan. Tim penelitian memilih MediaPipe secara khusus karena kemampuan luar biasa untuk menyediakan pelacakan landmark tangan yang akurat, mengidentifikasi 21 titik presisi di setiap tangan, seperti yang kita sebutkan di atas.

Namun, pelacakan saja tidak cukup – kita perlu memahami apa yang dimaksud dengan gerakan-gerakan ini. Itulah tempat YOLOv8 masuk. YOLOv8 adalah ahli pengenalan pola, mengambil semua titik yang dilacak dan menentukan apa yang mereka wakili. Penelitian menunjukkan bahwa ketika YOLOv8 memproses gambar, itu membaginya menjadi grid S × S, dengan setiap sel grid bertanggung jawab untuk mendeteksi objek (dalam hal ini, gerakan tangan) dalam batasnya.

Alsharif et al., Franklin Open (2024)

Bagaimana Sistem Ini Sebenarnya Bekerja

Prosesnya lebih canggih daripada yang mungkin terlihat pada pandangan pertama.

Inilah yang terjadi di balik layar:

Tahap Deteksi Tangan

Ketika Anda membuat tanda, MediaPipe pertama kali mengidentifikasi tangan Anda dalam bingkai dan memetakan 21 titik kunci. Ini bukan hanya titik-titik acak – mereka sesuai dengan sendi dan landmark tertentu di tangan Anda, dari ujung jari ke pangkal telapak tangan.

Analisis Spasial

YOLOv8 kemudian mengambil informasi ini dan menganalisanya secara real-time. Untuk setiap sel grid dalam gambar, itu memprediksi:

• Probabilitas adanya gerakan tangan
• Koordinat presisi lokasi gerakan
• Skor kepercayaan prediksinya

Klasifikasi

Sistem ini menggunakan sesuatu yang disebut “prediksi kotak pembatas” – bayangkan menggambar persegi panjang yang sempurna di sekitar gerakan tangan Anda. YOLOv8 menghitung lima nilai kritis untuk setiap kotak: x dan y koordinat untuk pusat, lebar, tinggi, dan skor kepercayaan.

Alsharif et al., Franklin Open (2024)

Mengapa Kombinasi Ini Bekerja Sangat Baik

Tim penelitian menemukan bahwa dengan menggabungkan teknologi ini, mereka menciptakan sesuatu yang lebih besar daripada jumlah bagian-bagianannya. Pelacakan tangan yang presisi dari MediaPipe dikombinasikan dengan deteksi objek yang canggih dari YOLOv8 menghasilkan hasil yang sangat akurat – kita berbicara tentang tingkat presisi 98% dan skor F1 99%.

Apa yang membuat ini sangat mengesankan adalah bagaimana sistem ini menangani kompleksitas bahasa isyarat. Beberapa tanda mungkin terlihat sangat mirip dengan mata yang tidak terlatih, tetapi sistem ini dapat membedakan perbedaan yang halus.

Hasil yang Memecahkan Rekor

Ketika peneliti mengembangkan teknologi baru, pertanyaan besar selalu: “Bagaimana sebenarnya teknologi ini bekerja?” Untuk sistem pengenalan bahasa isyarat ini, hasilnya sangat mengesankan.

Tim di FAU menguji sistem mereka secara ketat, dan inilah yang mereka temukan:

• Sistem ini mengidentifikasi tanda dengan benar 98% dari waktu
• Ini menangkap 98% dari semua tanda yang dibuat di depannya
• Skor kinerja keseluruhan mencapai 99%

“Hasil dari penelitian kami menunjukkan kemampuan model kami untuk mendeteksi dan mengklasifikasikan gerakan tangan ASL dengan sangat sedikit kesalahan,” jelas Alsharif.

Sistem ini bekerja dengan baik dalam situasi sehari-hari – pencahayaan yang berbeda, posisi tangan yang berbeda, dan bahkan dengan orang yang berbeda yang menggunakan bahasa isyarat.

Pemecahan ini mendorong batas-batas apa yang mungkin dalam pengenalan bahasa isyarat. Sistem sebelumnya telah berjuang dengan akurasi, tetapi dengan menggabungkan pelacakan tangan MediaPipe dengan kemampuan deteksi YOLOv8, tim penelitian menciptakan sesuatu yang istimewa.

“Keberhasilan model ini sebagian besar karena integrasi transfer learning yang hati-hati, pembuatan dataset yang teliti, dan penyetelan yang presisi,” kata Mohammad Ilyas, salah satu co-penulis studi ini. Perhatian terhadap detail ini membuahkan hasil dalam kinerja sistem yang luar biasa.

Apa yang Ini Berarti untuk Komunikasi

Keberhasilan sistem ini membuka kemungkinan yang menarik untuk membuat komunikasi lebih dapat diakses dan inklusif.

Tim ini tidak berhenti hanya pada mengenali huruf. Tantangan besar berikutnya adalah mengajar sistem untuk memahami berbagai bentuk tangan dan gerakan yang lebih luas. Bayangkan saat-saat ketika tanda-tanda terlihat hampir identik – seperti huruf ‘M’ dan ‘N’ dalam bahasa isyarat. Peneliti sedang bekerja untuk membantu sistem mereka menangkap perbedaan yang halus bahkan lebih baik. Seperti yang dikatakan Dr. Alsharif: “Pentingnya, temuan dari studi ini menekankan tidak hanya kekuatan sistem ini tetapi juga potensinya untuk digunakan dalam aplikasi waktu nyata yang praktis.”

Tim ini sekarang fokus pada:

• Menggunakan sistem ini untuk bekerja dengan lancar pada perangkat biasa
• Membuatnya cukup cepat untuk percakapan dunia nyata
• Memastikan itu bekerja dengan andal dalam lingkungan apa pun

Dekan Stella Batalama dari Fakultas Teknik dan Ilmu Komputer FAU berbagi visi yang lebih besar: “Dengan memperbaiki pengenalan Bahasa Isyarat Amerika, pekerjaan ini berkontribusi pada menciptakan alat yang dapat meningkatkan komunikasi untuk komunitas tuli dan tuna rungu.”

Bayangkan berjalan ke kantor dokter atau menghadiri kelas di mana teknologi ini menjembatani kesenjangan komunikasi secara instan. Itulah tujuan sebenarnya di sini – membuat interaksi sehari-hari lebih lancar dan lebih alami untuk semua orang yang terlibat. Ini adalah tentang menciptakan teknologi yang benar-benar membantu orang terhubung. Apakah dalam pendidikan, perawatan kesehatan, atau percakapan sehari-hari, sistem ini mewakili langkah menuju dunia di mana hambatan komunikasi terus mengecil.