Apa itu NLP (Pemrosesan Bahasa Alami)?

Pemrosesan Bahasa Alami (NLP) adalah studi dan penerapan teknik dan alat yang memungkinkan komputer memproses, menganalisis, menafsirkan, dan menalar tentang bahasa manusia. NLP adalah bidang interdisipliner dan menggabungkan teknik-teknik yang ditetapkan dalam bidang-bidang seperti linguistik dan ilmu komputer. Teknik ini digunakan bersamaan dengan AI untuk membuat chatbot dan asisten digital seperti Google Assistant dan Alexa dari Amazon.

Mari luangkan waktu untuk mengeksplorasi alasan di balik Natural Language Processing, beberapa teknik yang digunakan dalam NLP, dan beberapa kasus penggunaan umum NLP.

Mengapa Pemrosesan Bahasa Alami (NLP) Penting

Agar komputer dapat menginterpretasikan bahasa manusia, mereka harus diubah menjadi bentuk yang dapat dimanipulasi oleh komputer. Namun, ini tidak sesederhana mengubah data teks menjadi angka. Untuk mendapatkan makna dari bahasa manusia, pola harus diekstraksi dari ratusan atau ribuan kata yang membentuk dokumen teks. Ini bukanlah tugas yang mudah. Ada beberapa aturan keras dan cepat yang dapat diterapkan pada interpretasi bahasa manusia. Misalnya, kumpulan kata yang persis sama dapat berarti hal yang berbeda tergantung pada konteksnya. Bahasa manusia adalah hal yang kompleks dan seringkali ambigu, dan sebuah pernyataan dapat diucapkan dengan ketulusan atau sarkasme.

Meskipun demikian, ada beberapa pedoman umum yang dapat digunakan ketika menafsirkan kata dan karakter, seperti karakter “s” yang digunakan untuk menunjukkan bahwa suatu benda bersifat jamak. Pedoman umum ini harus digunakan bersama-sama untuk mengekstrak makna dari teks, untuk membuat fitur yang dapat diinterpretasikan oleh algoritma pembelajaran mesin.

Pemrosesan Bahasa Alami melibatkan penerapan berbagai algoritma yang mampu mengambil data tidak terstruktur dan mengubahnya menjadi data terstruktur. Jika algoritma ini diterapkan dengan cara yang salah, komputer sering kali gagal mendapatkan arti yang benar dari teks. Hal ini sering terlihat pada penerjemahan teks antarbahasa, yang seringkali kehilangan makna sebenarnya dari kalimat tersebut. Meskipun terjemahan mesin telah mengalami kemajuan pesat dalam beberapa tahun terakhir, kesalahan terjemahan mesin masih sering terjadi.

Teknik Pemrosesan Bahasa Alami (NLP).

Foto: Tamur melalui WikiMedia Commons, Domain Publik (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Banyak teknik yang digunakan dalam pemrosesan bahasa alami dapat ditempatkan di salah satu dari dua kategori: sintaksis atau semantik. Teknik sintaksis adalah teknik yang berhubungan dengan urutan kata, sedangkan teknik semantik adalah teknik yang melibatkan makna kata.

Teknik Sintaks NLP

Contoh sintaks meliputi:

• Lemmatisasi
• Segmentasi Morfologi
• Penandaan Part-of-Speech
• Penguraian
• Kalimat Melanggar
• Suasana hati
• Segmentasi Kata

Lemmatisasi mengacu pada penyulingan infleksi yang berbeda dari sebuah kata menjadi satu bentuk. Lemmatisasi mengambil hal-hal seperti tenses dan jamak dan menyederhanakannya, misalnya, "feet" bisa menjadi "foot" dan "stripes" bisa menjadi "stripe". Bentuk kata yang disederhanakan ini memudahkan algoritme untuk menafsirkan kata-kata dalam dokumen.

Segmentasi morfologi adalah proses membagi kata menjadi morfem atau satuan dasar kata. Unit-unit ini seperti gratis morfem (yang dapat berdiri sendiri sebagai kata) dan prefiks atau sufiks.

Penandaan sebagian ucapan hanyalah proses mengidentifikasi bagian mana dari ucapan setiap kata dalam dokumen masukan.

Penguraian mengacu pada menganalisis semua kata dalam sebuah kalimat dan menghubungkannya dengan label tata bahasa formal mereka atau melakukan analisis tata bahasa untuk semua kata.

Pelanggaran kalimat, atau segmentasi batas kalimat, mengacu pada memutuskan di mana kalimat dimulai dan berakhir.

Suasana hati adalah proses mereduksi kata menjadi bentuk akar kata. Misalnya, terhubung, koneksi, dan koneksi semuanya akan berasal dari "menghubungkan".

Segmentasi Kata adalah proses membagi potongan-potongan besar teks menjadi unit-unit kecil, yang dapat berupa kata-kata atau unit-unit stemmed/lemmatized.

Teknik NLP semantik

Teknik NLP semantik meliputi teknik seperti:

• Pengakuan Entitas Bernama
• Generasi Bahasa Alami
• Disambiguasi Word-Sense

Pengakuan entitas yang dinamai melibatkan penandaan bagian teks tertentu yang dapat ditempatkan ke dalam salah satu dari sejumlah grup prasetel yang berbeda. Kategori yang ditentukan sebelumnya mencakup hal-hal seperti tanggal, kota, tempat, perusahaan, dan individu.

Generasi bahasa alami adalah proses menggunakan database untuk mengubah data terstruktur menjadi bahasa alami. Misalnya, statistik tentang cuaca, seperti suhu dan kecepatan angin dapat diringkas dengan bahasa alami.

Disambiguasi kata-kata adalah proses pemberian makna pada kata-kata di dalam teks berdasarkan konteks di mana kata-kata itu muncul.

Model Pembelajaran Mendalam Untuk NLP

Perceptron multilayer reguler tidak dapat menangani interpretasi data berurutan, di mana urutan informasinya penting. Untuk mengatasi pentingnya keteraturan dalam data sekuensial, digunakan jenis jaringan saraf yang menyimpan informasi dari langkah waktu sebelumnya dalam pelatihan.

Jaringan Neural Berulang adalah jenis jaringan saraf yang mengulang data dari langkah waktu sebelumnya, dengan mempertimbangkannya saat menghitung bobot rentang waktu saat ini. Pada dasarnya, RNN memiliki tiga parameter yang digunakan selama pelatihan maju: matriks berdasarkan Status Tersembunyi Sebelumnya, matriks berdasarkan Input Saat Ini, dan matriks antara status tersembunyi dan output. Karena RNN dapat memperhitungkan informasi dari langkah waktu sebelumnya, mereka dapat mengekstrak pola yang relevan dari data teks dengan mempertimbangkan kata-kata awal dalam kalimat saat menafsirkan arti sebuah kata.

Tipe lain dari arsitektur deep learning yang digunakan untuk memproses data teks adalah jaringan Memori Jangka Pendek Panjang (LSTM).. Jaringan LSTM mirip dengan RNN dalam struktur, tetapi karena beberapa perbedaan dalam arsitekturnya, mereka cenderung berkinerja lebih baik daripada RNN. Mereka menghindari masalah khusus yang sering terjadi saat menggunakan RNN yang disebut meledak masalah gradien.

Jaringan saraf dalam ini dapat berupa searah atau dua arah. Jaringan dua arah mampu memperhitungkan tidak hanya kata-kata yang muncul sebelum kata saat ini, tetapi juga kata-kata yang muncul setelahnya. Meskipun ini mengarah pada akurasi yang lebih tinggi, ini lebih mahal secara komputasi.

Gunakan Kasus Untuk Pemrosesan Bahasa Alami (NLP)

Foto: mohammed_hassan via Pixabay, Lisensi Pixabay (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Karena Pemrosesan Bahasa Alami melibatkan analisis dan manipulasi bahasa manusia, ia memiliki jangkauan aplikasi yang sangat luas. Aplikasi yang mungkin untuk NLP termasuk chatbots, asisten digital, analisis sentimen, organisasi dokumen, rekrutmen bakat, dan perawatan kesehatan.

Chatbots dan asisten digital seperti Amazon's Alexa dan Google Assistant adalah contoh platform pengenalan suara dan sintesis yang menggunakan NLP untuk menafsirkan dan merespons perintah vokal. Asisten digital ini membantu orang dengan berbagai macam tugas, membiarkan mereka memindahkan beberapa tugas kognitif mereka ke perangkat lain dan membebaskan sebagian kekuatan otak mereka untuk hal lain yang lebih penting. Alih-alih mencari rute terbaik ke bank pada pagi yang sibuk, kita bisa meminta asisten digital kita melakukannya.

Analisis sentimen adalah penggunaan teknik NLP untuk mempelajari reaksi dan perasaan orang terhadap suatu fenomena, seperti yang dikomunikasikan oleh penggunaan bahasa mereka. Menangkap sentimen pernyataan, seperti menafsirkan apakah ulasan suatu produk itu baik atau buruk, dapat memberi perusahaan informasi substansial tentang bagaimana produk mereka diterima.

Mengatur dokumen teks secara otomatis adalah aplikasi lain dari NLP. Perusahaan seperti Google dan Yahoo menggunakan algoritme NLP untuk mengklasifikasikan dokumen email, menempatkannya di tempat yang sesuai seperti "sosial" atau "promosi". Mereka juga menggunakan teknik ini untuk mengidentifikasi spam dan mencegahnya mencapai kotak masuk Anda.

Grup juga telah mengembangkan teknik NLP yang digunakan untuk mengidentifikasi potensi perekrutan pekerjaan, menemukannya berdasarkan keterampilan yang relevan. Mempekerjakan manajer juga menggunakan teknik NLP untuk membantu mereka memilah-milah daftar pelamar.

Teknik NLP juga digunakan untuk meningkatkan layanan kesehatan. NLP dapat digunakan untuk meningkatkan deteksi penyakit. Catatan kesehatan dapat dianalisis dan gejala diekstraksi oleh algoritme NLP, yang kemudian dapat digunakan untuk menyarankan kemungkinan diagnosis. Salah satu contohnya adalah platform Comprehend Medical Amazon, yang menganalisis catatan kesehatan dan mengekstrak penyakit dan perawatan. Aplikasi perawatan kesehatan NLP juga meluas ke kesehatan mental. Ada aplikasi seperti Wobot, yang berbicara kepada pengguna melalui berbagai teknik manajemen kecemasan berdasarkan Terapi Perilaku Kognitif.