AI 101
Apa itu NLU (Pengertian Bahasa Alami)?
Pemahaman bahasa alami (NLU) adalah konsep teknis dalam topik pemrosesan bahasa alami yang lebih besar. NLU adalah proses yang bertanggung jawab untuk menerjemahkan kata-kata alami dan manusiawi ke dalam format yang dapat diinterpretasikan oleh komputer. Intinya, sebelum komputer dapat memproses data bahasa, ia harus memahami data tersebut.
Teknik untuk NLU termasuk penggunaan sintaks umum dan aturan tata bahasa untuk memungkinkan komputer memahami arti dan konteks bahasa alami manusia. Tujuan akhir dari teknik ini adalah bahwa komputer akan memiliki pemahaman bahasa yang "intuitif", mampu menulis dan memahami bahasa seperti yang dilakukan manusia, tanpa terus-menerus mengacu pada definisi kata.
Mendefinisikan NLU (Pengertian Bahasa Alami)
Ada banyak teknik yang digunakan ilmuwan komputer dan ahli NLP untuk memungkinkan komputer memahami bahasa manusia. Sebagian besar teknik termasuk dalam kategori "analisis sintaksis". Teknik analitik sintaksis meliputi:
- lemmatisasi
- suasana hati
- segmentasi kata
- menguraikan
- segmentasi morfologi
- pemutusan kalimat
- bagian dari penandaan ucapan
Teknik analitik sintaksis ini menerapkan aturan gramatikal pada kelompok kata dan mencoba menggunakan aturan ini untuk memperoleh makna. Sebaliknya, NLU beroperasi dengan menggunakan teknik "analisis semantik".
Analisis semantik menerapkan algoritme komputer ke teks, mencoba memahami arti kata dalam konteks alaminya, alih-alih mengandalkan pendekatan berbasis aturan. Kebenaran/ketidaktepatan tata bahasa dari sebuah frase tidak selalu berkorelasi dengan validitas sebuah frase. Mungkin ada frasa yang tata bahasanya benar namun tidak berarti, dan frasa yang tata bahasanya salah namun memiliki makna. Untuk membedakan aspek kata yang paling bermakna, NLU menerapkan berbagai teknik yang dimaksudkan untuk menangkap makna sekelompok kata dengan sedikit ketergantungan pada struktur dan aturan gramatikal.
NLU adalah bidang yang berkembang dan berubah, dan dianggap sebagai salah satu masalah sulit AI. Berbagai teknik dan alat sedang dikembangkan untuk memberi mesin pemahaman tentang bahasa manusia. Sebagian besar sistem NLU memiliki komponen inti tertentu yang sama. Diperlukan leksikon untuk bahasa tersebut, seperti beberapa jenis parser teks dan aturan tata bahasa untuk memandu pembuatan representasi teks. Sistem ini juga membutuhkan teori semantik untuk memungkinkan pemahaman representasi. Ada berbagai teori semantik yang digunakan untuk menafsirkan bahasa, seperti analisis semantik stokastik atau semantik naif.
Teknik NLU umum meliputi:
Pengenalan Entitas Bernama adalah proses mengenali “entitas bernama”, yaitu orang, dan tempat/benda penting. Pengenalan Entitas Bernama beroperasi dengan membedakan konsep dasar dan referensi dalam tubuh teks, mengidentifikasi entitas bernama dan menempatkannya dalam kategori seperti lokasi, tanggal, organisasi, orang, pekerjaan, dll. Model yang diawasi berdasarkan aturan tata bahasa biasanya digunakan untuk melaksanakan NER tugas.
Disambiguasi Arti Kata adalah proses menentukan makna, atau arti, sebuah kata berdasarkan konteks kemunculan kata tersebut. Disambiguasi arti kata sering kali menggunakan penanda bagian ucapan untuk mengontekstualisasikan kata target. Metode disambiguasi makna kata yang diawasi mencakup penggunaan mesin vektor dukungan dan pembelajaran berbasis memori. Namun, sebagian besar model disambiguasi pengertian kata adalah model semi-supervisi yang menggunakan data berlabel dan tidak berlabel.
Contoh NLU (Pengertian Bahasa Alami)
Contoh umum NLU termasuk Automated Reasoning, Automatic Ticket Routing, Machine Translation, dan Question Answering.
Penalaran Otomatis
Penalaran otomatis adalah suatu disiplin yang bertujuan untuk memberikan mesin diberi jenis logika atau penalaran. Ini adalah cabang ilmu kognitif yang berupaya membuat deduksi berdasarkan diagnosis medis atau memecahkan teorema matematika secara terprogram/otomatis. NLU digunakan untuk membantu mengumpulkan dan menganalisis informasi dan menghasilkan kesimpulan berdasarkan informasi tersebut.
Perutean Tiket Otomatis
NLU sering digunakan untuk mengotomatiskan tugas layanan pelanggan. Ketika tiket layanan pelanggan dibuat, chatbots dan mesin lain dapat menafsirkan sifat dasar kebutuhan pelanggan dan mengarahkan mereka ke departemen yang tepat. Perusahaan menerima ribuan permintaan dukungan setiap hari, sehingga algoritme NLU berguna dalam memprioritaskan tiket dan memungkinkan agen dukungan menanganinya dengan cara yang lebih efisien.
Mesin penerjemah
Sulit untuk menerjemahkan ucapan atau teks secara akurat dari satu bahasa ke bahasa lain. Nyatanya, mesin penerjemah adalah salah satu masalah yang paling sulit di NLP dan NLU. Banyak sistem terjemahan mesin bergantung pada aturan linguistik untuk menerjemahkan antar bahasa, tetapi para peneliti mencari cara yang lebih canggih untuk menerjemahkan antar bahasa. Terjemahan mesin NLU mencoba mengaktifkan terjemahan yang lebih akurat dengan mempertahankan konteks dan informasi semantik yang terkait dengan teks target. Sistem terjemahan mesin paling akurat menggabungkan aturan linguistik dengan algoritme yang mengekstraksi makna semantik.
Menjawab pertanyaan
Pengenalan ucapan menggunakan teknik NLU untuk memungkinkan komputer memahami pertanyaan berpose dengan bahasa alami. NLU digunakan untuk memberi pengguna perangkat respons dalam bahasa alami mereka, alih-alih memberi mereka daftar kemungkinan jawaban. Saat Anda mengajukan pertanyaan kepada asisten digital, NLU digunakan untuk membantu mesin memahami pertanyaan, memilih jawaban yang paling tepat berdasarkan fitur seperti entitas yang dikenali dan konteks pernyataan sebelumnya.
