Apa itu NLP (Pengolahan Bahasa Alami)?

Pengolahan Bahasa Alami (NLP) adalah studi dan aplikasi teknik dan alat yang memungkinkan komputer untuk memproses, menganalisis, menafsirkan, dan berpikir tentang bahasa manusia. NLP adalah bidang antardisiplin dan menggabungkan teknik yang telah ditetapkan dalam bidang seperti linguistik dan ilmu komputer. Teknik-teknik ini digunakan bersama dengan AI untuk menciptakan chatbot dan asisten digital seperti Google Assistant dan Amazon’s (AMZN ) Alexa.

Mari kita ambil waktu untuk mengeksplorasi rasional di balik Pengolahan Bahasa Alami, beberapa teknik yang digunakan dalam NLP, dan beberapa kasus penggunaan umum untuk NLP.

Mengapa Pengolahan Bahasa Alami (NLP) Penting

Agar komputer dapat menafsirkan bahasa manusia, mereka harus diubah menjadi bentuk yang dapat dimanipulasi oleh komputer. Namun, ini tidak semudah mengubah data teks menjadi angka. Untuk mendapatkan makna dari bahasa manusia, pola harus diekstrak dari ratusan atau ribuan kata yang membuat dokumen teks. Ini bukan tugas yang mudah. Ada beberapa aturan yang keras dan cepat yang dapat diterapkan pada interpretasi bahasa manusia. Misalnya, set yang sama kata dapat memiliki arti yang berbeda tergantung pada konteks. Bahasa manusia adalah sesuatu yang kompleks dan sering ambigu, dan pernyataan dapat diucapkan dengan kesungguhan atau sarkasme.

Meskipun demikian, ada beberapa pedoman umum yang dapat digunakan ketika menafsirkan kata dan karakter, seperti karakter “s” yang digunakan untuk menunjukkan bahwa suatu item adalah jamak. Pedoman umum ini harus digunakan bersama-sama untuk mengekstrak makna dari teks, untuk menciptakan fitur yang dapat ditafsirkan oleh algoritma pembelajaran mesin.

Pengolahan Bahasa Alami melibatkan penerapan berbagai algoritma yang dapat mengambil data yang tidak terstruktur dan mengubahnya menjadi data yang terstruktur. Jika algoritma ini diterapkan dengan cara yang salah, komputer sering gagal untuk mendapatkan makna yang benar dari teks. Ini sering terlihat dalam terjemahan teks antara bahasa, di mana makna yang tepat dari kalimat sering hilang. Sementara terjemahan mesin telah meningkat secara signifikan selama beberapa tahun terakhir, kesalahan terjemahan mesin masih terjadi secara teratur.

Teknik Pengolahan Bahasa Alami (NLP)

Foto: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Banyak teknik yang digunakan dalam pengolahan bahasa alami dapat dikelompokkan menjadi dua kategori: sintaksis atau semantik. Teknik sintaksis adalah teknik yang berkaitan dengan pengaturan kata, sedangkan teknik semantik adalah teknik yang berkaitan dengan makna kata.

Teknik NLP Sintaksis

Contoh sintaksis termasuk:

• Pengurangan Kata
• Segmentasi Morfologi
• Penandaan Part-of-Speech
• Penguraian
• Pemisahan Kalimat
• Pengurangan Akar Kata
• Segmentasi Kata

Pengurangan kata mengacu pada penyederhanaan bentuk kata yang berbeda menjadi satu bentuk. Pengurangan kata mengambil tenses dan jamak dan menyederhanakannya, misalnya, “kaki” menjadi “kak” dan “garis-garis” menjadi “garis”. Bentuk kata yang disederhanakan ini membuatnya lebih mudah bagi algoritma untuk menafsirkan kata dalam dokumen.

Segmentasi morfologi adalah proses membagi kata menjadi morfem atau unit dasar kata. Unit-unit ini adalah hal-hal seperti morfem bebas (yang dapat berdiri sendiri sebagai kata) dan awalan atau akhiran.

Penandaan Part-of-Speech adalah proses mengidentifikasi bagian mana dari kata yang digunakan dalam dokumen input.

Penguraian mengacu pada menganalisis semua kata dalam kalimat dan menghubungkannya dengan label gramatika formal atau melakukan analisis gramatika untuk semua kata.

Pemisahan kalimat, atau pemisahan batas kalimat, mengacu pada menentukan di mana kalimat dimulai dan diakhiri.

Pengurangan Akar Kata adalah proses mengurangi kata menjadi bentuk akar kata. Misalnya, “terhubung”, “koneksi”, dan “koneks” semua akan dikurangi menjadi “hubung”.

Segmentasi Kata adalah proses membagi teks besar menjadi unit kecil, yang dapat berupa kata atau unit yang disederhanakan.

Teknik NLP Semantik

Teknik NLP semantik termasuk:

• Pengenalan Entitas Nama
• Generasi Bahasa Alami
• Disambiguasi Makna Kata

Pengenalan entitas nama melibatkan menandai bagian teks tertentu yang dapat dikelompokkan ke dalam kategori yang telah ditentukan sebelumnya. Kategori yang telah ditentukan sebelumnya termasuk hal-hal seperti tanggal, kota, tempat, perusahaan, dan individu.

Generasi Bahasa Alami adalah proses menggunakan basis data untuk mengubah data terstruktur menjadi bahasa alami. Misalnya, statistik tentang cuaca, seperti suhu dan kecepatan angin, dapat diringkas dengan bahasa alami.

Disambiguasi makna kata adalah proses memberikan makna pada kata dalam teks berdasarkan konteks kata tersebut muncul.

Model Pembelajaran Dalam untuk NLP

Multilayer perceptron biasa tidak dapat menangani interpretasi data berurutan, di mana urutan informasi penting. Untuk menangani pentingnya urutan dalam data berurutan, jenis jaringan saraf yang digunakan adalah yang mempertahankan informasi dari waktu sebelumnya dalam pelatihan.

Jaringan Saraf Berulang adalah jenis jaringan saraf yang mengulangi data dari waktu sebelumnya, mengambilnya ke dalam pertimbangan saat menghitung bobot waktu sebelumnya. Secara esensial, RNN memiliki tiga parameter yang digunakan selama pelatihan maju: matriks berdasarkan Keadaan Tersembunyi Sebelumnya, matriks berdasarkan Input Saat Ini, dan matriks yang berada di antara keadaan tersembunyi dan output. Karena RNN dapat mengambil informasi dari waktu sebelumnya, mereka dapat mengekstrak pola yang relevan dari data teks dengan mengambil kata-kata sebelumnya dalam kalimat saat menafsirkan makna kata.

Jenis arsitektur pembelajaran dalam lain yang digunakan untuk memproses data teks adalah Jaringan Memori Jangka Pendek (LSTM). Jaringan LSTM mirip dengan RNN dalam struktur, tetapi karena perbedaan dalam arsitektur mereka, mereka cenderung berkinerja lebih baik daripada RNN. Mereka menghindari masalah tertentu yang sering terjadi saat menggunakan RNN yang disebut masalah gradien meledak.

Jaringan saraf dalam ini dapat berupa unidireksional atau bidireksional. Jaringan bidireksional dapat mengambil tidak hanya kata-kata yang mendahuluinya, tetapi juga kata-kata yang mengikutinya. Sementara ini menghasilkan akurasi yang lebih tinggi, ini lebih mahal secara komputasi.

Kasus Penggunaan untuk Pengolahan Bahasa Alami (NLP)

Foto: mohammed_hassan via Pixabay, Lisensi Pixabay (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Karena Pengolahan Bahasa Alami melibatkan analisis dan manipulasi bahasa manusia, ini memiliki aplikasi yang sangat luas. Aplikasi yang mungkin untuk NLP termasuk chatbot, asisten digital, analisis sentimen, organisasi dokumen, rekrutmen talenta, dan perawatan kesehatan.

Chatbot dan asisten digital seperti Amazon’s Alexa dan Google Assistant adalah contoh platform pengenalan dan sintesis suara yang menggunakan NLP untuk menafsirkan dan merespons perintah suara. Asisten digital ini membantu orang dengan berbagai tugas, memungkinkan mereka untuk mengalihkan beberapa tugas kognitif mereka ke perangkat lain dan membebaskan beberapa kekuatan otak mereka untuk hal-hal lain. Sebagai gantinya mencari rute terbaik ke bank pada pagi hari yang sibuk, kita dapat memiliki asisten digital kita melakukan itu.

Analisis sentimen adalah penggunaan teknik NLP untuk mempelajari reaksi dan perasaan orang terhadap fenomena, seperti yang dikomunikasikan oleh penggunaan bahasa mereka. Menangkap sentimen pernyataan, seperti menafsirkan apakah tinjauan produk baik atau buruk, dapat memberikan perusahaan dengan informasi yang signifikan tentang bagaimana produk mereka diterima.

Mengatur dokumen teks secara otomatis adalah aplikasi lain dari NLP. Perusahaan seperti Google dan Yahoo menggunakan algoritma NLP untuk mengklasifikasikan dokumen email, memasukkannya ke dalam kategori seperti “sosial” atau “promosi”. Mereka juga menggunakan teknik ini untuk mengidentifikasi spam dan mencegahnya mencapai kotak masuk Anda.

Kelompok telah mengembangkan teknik NLP yang digunakan untuk mengidentifikasi potensi pekerja, menemukannya berdasarkan keterampilan yang relevan. Manajer perekrutan juga menggunakan teknik NLP untuk membantu mereka menyortir daftar pelamar.

Teknik NLP juga digunakan untuk meningkatkan perawatan kesehatan. NLP dapat digunakan untuk meningkatkan deteksi penyakit. Catatan kesehatan dapat dianalisis dan gejala diekstrak oleh algoritma NLP, yang kemudian dapat digunakan untuk menyarankan diagnosis yang mungkin. Salah satu contoh adalah platform Comprehend Medical dari Amazon, yang menganalisis catatan kesehatan dan mengekstrak penyakit dan pengobatan. Aplikasi perawatan kesehatan NLP juga mencakup kesehatan mental. Ada aplikasi seperti WoeBot, yang membantu pengguna melalui berbagai teknik manajemen kecemasan berbasis Terapi Perilaku Kognitif.