Apa itu NLU (Natural Language Understanding)?

Pemahaman bahasa alami (NLU) adalah konsep teknis dalam topik yang lebih luas dari pemrosesan bahasa alami. NLU adalah proses yang bertanggung jawab untuk menerjemahkan kata-kata alami manusia ke dalam format yang dapat dipahami komputer. Pada dasarnya, sebelum komputer dapat memproses data bahasa, komputer harus memahami data tersebut.

Teknik untuk NLU termasuk penggunaan sintaks dan aturan tata bahasa yang umum untuk memungkinkan komputer memahami makna dan konteks bahasa alami manusia. Tujuan akhir dari teknik-teknik ini adalah bahwa komputer akan memiliki “pemahaman intuitif” bahasa, dapat menulis dan memahami bahasa seperti manusia, tanpa harus terus-menerus merujuk pada definisi kata-kata.

Mengdefinisikan NLU (Natural Language Understanding)

Terdapat banyak teknik yang digunakan oleh ilmuwan komputer dan ahli NLP untuk memungkinkan komputer memahami bahasa manusia. Sebagian besar teknik tersebut termasuk dalam kategori “analisis sintaksis”. Teknik analisis sintaksis termasuk:

• lemmatisasi
• stemming
• segmentasi kata
• parsing
• segmentasi morfologi
• pemisahan kalimat
• penandaan part of speech

Teknik analisis sintaksis ini menerapkan aturan tata bahasa pada kelompok kata-kata dan mencoba menggunakan aturan-aturan tersebut untuk menurunkan makna. Di sisi lain, NLU bekerja dengan menggunakan teknik “analisis semantik”.

Analisis semantik menerapkan algoritma komputer pada teks, mencoba memahami makna kata-kata dalam konteks alami, bukan hanya mengandalkan pendekatan berbasis aturan. Kesalahan tata bahasa suatu frasa tidak selalu berkorelasi dengan validitas frasa. Ada frasa yang secara tata bahasa benar tetapi tidak bermakna, dan frasa yang secara tata bahasa salah tetapi memiliki makna. Untuk membedakan aspek-aspek paling bermakna dari kata-kata, NLU menerapkan berbagai teknik yang bertujuan untuk menangkap makna suatu kelompok kata-kata dengan ketergantungan yang lebih rendah pada struktur tata bahasa dan aturan.

NLU adalah bidang yang terus berkembang dan berubah, dan dianggap sebagai salah satu masalah yang sulit dalam AI. Berbagai teknik dan alat sedang dikembangkan untuk memberikan mesin pemahaman bahasa manusia. Sebagian besar sistem NLU memiliki komponen inti yang sama. Lexicon untuk bahasa diperlukan, serta parser teks dan aturan tata bahasa untuk memandu pembuatan representasi teks. Sistem juga memerlukan teori semantik untuk memungkinkan pemahaman representasi. Terdapat berbagai teori semantik yang digunakan untuk menafsirkan bahasa, seperti analisis semantik stokastik atau semantik naif.

Teknik NLU yang umum termasuk:

• Pengenalan Entitas Bernama
• Disambiguasi Makna Kata

Pengenalan Entitas Bernama adalah proses mengenali “entitas bernama”, yang merupakan orang, tempat, dan hal-hal penting. Pengenalan Entitas Bernama bekerja dengan membedakan konsep-konsep dasar dan referensi dalam teks, mengidentifikasi entitas bernama dan menempatkannya dalam kategori seperti lokasi, tanggal, organisasi, orang, karya, dll. Model yang diawasi berdasarkan aturan tata bahasa biasanya digunakan untuk melakukan tugas Pengenalan Entitas Bernama.

Disambiguasi Makna Kata adalah proses menentukan makna atau arti suatu kata berdasarkan konteks di mana kata tersebut muncul. Disambiguasi makna kata sering menggunakan penanda part of speech untuk mengkontekstualisasi kata target. Metode yang diawasi untuk disambiguasi makna kata termasuk penggunaan mesin vektor dukungan dan pembelajaran berbasis memori. Namun, sebagian besar model disambiguasi makna kata adalah model semi-diawasi yang menggunakan data yang dilabeli dan tidak dilabeli.

Contoh NLU (Natural Language Understanding)

Contoh umum NLU termasuk Penalaran Otomatis, Pengaturan Tiket Otomatis, Terjemahan Mesin, dan Jawaban Pertanyaan.

Penalaran Otomatis

Penalaran otomatis adalah disiplin yang bertujuan memberikan mesin jenis logika atau penalaran. Ini adalah cabang ilmu kognitif yang berusaha membuat deduksi berdasarkan diagnosis medis atau memecahkan teorema matematika secara otomatis. NLU digunakan untuk membantu mengumpulkan dan menganalisis informasi serta menghasilkan kesimpulan berdasarkan informasi tersebut.

Pengaturan Tiket Otomatis

NLU sering digunakan untuk mengotomatisasi tugas layanan pelanggan. Ketika tiket layanan pelanggan dibuat, chatbot dan mesin lain dapat menafsirkan sifat dasar kebutuhan pelanggan dan mengarahkannya ke departemen yang tepat. Perusahaan menerima ribuan permintaan dukungan setiap hari, sehingga algoritma NLU berguna dalam memprioritaskan tiket dan memungkinkan agen dukungan menangani mereka dengan cara yang lebih efisien.

Terjemahan Mesin

Sulit untuk menerjemahkan ucapan atau teks dari satu bahasa ke bahasa lain dengan akurat. Faktanya, terjemahan mesin adalah salah satu masalah paling sulit dalam NLP dan NLU. Banyak sistem terjemahan mesin mengandalkan aturan linguistik untuk menerjemahkan antar bahasa, tetapi peneliti sedang mengembangkan metode yang lebih canggih untuk menerjemahkan antar bahasa. NLU terjemahan mesin mencoba memungkinkan terjemahan yang lebih akurat dengan melestarikan konteks dan informasi semantik yang terkait dengan teks target. Sistem terjemahan mesin yang paling akurat menggabungkan aturan linguistik dengan algoritma yang mengekstrak makna semantik.

Jawaban Pertanyaan

Pengenalan ucapan menggunakan teknik NLU untuk memungkinkan komputer memahami pertanyaan yang diajukan dengan bahasa alami. NLU digunakan untuk memberikan pengguna perangkat jawaban dalam bahasa alami mereka, bukan hanya memberikan daftar jawaban yang mungkin. Ketika Anda mengajukan pertanyaan kepada asisten digital, NLU digunakan untuk membantu mesin memahami pertanyaan, memilih jawaban yang paling sesuai berdasarkan fitur seperti entitas yang dikenali dan konteks pernyataan sebelumnya.