อะไรคือ NLP (การประมวลผลภาษาธรรมชาติ)

การประมวลผลภาษาธรรมชาติ (NLP) เป็นการศึกษาและประยุกต์ใช้เทคนิคและเครื่องมือที่ทำให้คอมพิวเตอร์สามารถประมวลผล วิเคราะห์ ตีความ และให้เหตุผลเกี่ยวกับภาษาของมนุษย์ NLP เป็นสาขาวิชาที่ผสมผสานเทคนิคจากสาขาวิชาเช่น ภาษาศาสตร์และวิทยาการคอมพิวเตอร์ เทคนิคเหล่านี้ถูกใช้ร่วมกับ AI เพื่อสร้างแชทบอทและผู้ช่วยดิจิทัล เช่น Google Assistant และ Amazon’s (AMZN ) Alexa

มาทำความรู้จักกับเหตุผลเบื้องหลังของการประมวลผลภาษาธรรมชาติ เทคนิคที่ใช้ใน NLP และกรณีการใช้งานทั่วไปของ NLP

ทำไมการประมวลผลภาษาธรรมชาติ (NLP) จึงมีความสำคัญ

เพื่อให้คอมพิวเตอร์สามารถตีความภาษาของมนุษย์ได้ ภาษาต้องถูกแปลงเป็นรูปแบบที่คอมพิวเตอร์สามารถจัดการได้ แต่นี่ไม่ใช่เรื่องง่ายๆ เช่น การแปลงข้อมูลข้อความเป็นตัวเลข เพื่อให้ได้ความหมายจากภาษาของมนุษย์ รูปแบบต่างๆ ต้องถูกถอดรหัสจากคำพูดหลายร้อยหรือหลายพันที่ประกอบเป็นเอกสารข้อความ สิ่งนี้ไม่ใช่เรื่องง่าย มีกฎที่แน่นอนไม่มากที่สามารถใช้ในการตีความภาษาของมนุษย์ได้ ตัวอย่างเช่น ชุดคำเดียวกันสามารถมีความหมายต่างกันขึ้นอยู่กับบริบท ภาษาของมนุษย์เป็นสิ่งที่ซับซ้อนและไม่ชัดเจน และคำพูดสามารถถูกกล่าวด้วยความจริงใจหรือการดูถูก

尽管如此 มีแนวทางทั่วไปที่สามารถใช้ได้เมื่อตีความคำและตัวอักษร เช่น การใช้ตัวอักษร “s” เพื่อแสดงว่าสิ่งของเป็นพหูพจน์ แนวทางทั่วไปเหล่านี้ต้องถูกใช้ร่วมกันเพื่อถอดรหัสความหมายจากข้อความ เพื่อสร้างคุณลักษณะที่อัลกอริทึมการเรียนรู้ของเครื่องสามารถตีความได้

การประมวลผลภาษาธรรมชาติเกี่ยวข้องกับการประยุกต์ใช้อัลกอริทึมที่สามารถรับข้อมูลที่ไม่มีโครงสร้างและแปลงเป็นข้อมูลที่มีโครงสร้าง หากอัลกอริทึมเหล่านี้ถูกใช้ในลักษณะที่ไม่ถูกต้อง คอมพิวเตอร์จะไม่สามารถตีความความหมายที่ถูกต้องจากข้อความได้ สิ่งนี้สามารถเห็นได้ในการแปลข้อความระหว่างภาษา โดยที่ความหมายที่แน่นอนของประโยคมักจะสูญหายไป แม้ว่าการแปลภาษาโดยเครื่องจะดีขึ้นอย่างมากในช่วงไม่กี่ปีที่ผ่านมา แต่ข้อผิดพลาดในการแปลภาษาโดยเครื่องยังคงเกิดขึ้นบ่อยๆ

เทคนิคการประมวลผลภาษาธรรมชาติ (NLP)

ภาพ: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

เทคนิคหลายอย่างที่ใช้ในการประมวลผลภาษาธรรมชาติสามารถแบ่งออกเป็นสองประเภท: ไวยากรณ์หรือความหมาย ไวยากรณ์เป็นเทคนิคที่เกี่ยวข้องกับการจัดเรียงคำ ในขณะที่เทคนิคความหมายเป็นเทคนิคที่เกี่ยวข้องกับความหมายของคำ

เทคนิค NLP ไวยากรณ์

ตัวอย่างของไวยากรณ์รวมถึง:

• การลดรูปคำ
• การแบ่งส่วนรูปวิทยา
• การระบุชนิดของคำ
• การวิเคราะห์
• การแบ่งประโยค
• การลดรูปคำ
• การแบ่งคำ

การลดรูปคำหมายถึงการทำให้คำที่มีหลายรูปเป็นคำเดียว การลดรูปคำใช้เวลาที่ผ่านมาและพหูพจน์ และทำให้คำง่ายขึ้น ตัวอย่างเช่น “feet” อาจกลายเป็น “foot” และ “stripes” อาจกลายเป็น “stripe” รูปแบบคำที่ง่ายขึ้นนี้ทำให้อัลกอริทึมสามารถตีความคำในเอกสารได้ง่ายขึ้น

การแบ่งส่วนรูปวิทยาเป็นกระบวนการแบ่งคำออกเป็นมอร์เฟมหรือหน่วยพื้นฐานของคำ หน่วยเหล่านี้รวมถึงมอร์เฟมที่สามารถใช้ได้โดยลำพัง (เช่น คำที่สามารถใช้ได้โดยลำพัง) และคำต่อท้ายหรือคำนำหน้า

การระบุชนิดของคำ เป็นกระบวนการระบุชนิดของคำทุกคำในเอกสารที่รับเข้ามา

การวิเคราะห์ หมายถึงการวิเคราะห์คำทั้งหมดในประโยคและเชื่อมโยงกับฉลากไวยากรณ์อย่างเป็นทางการหรือการวิเคราะห์ไวยากรณ์สำหรับคำทั้งหมด

การแบ่งประโยคหรือการแบ่งขอบเขตประโยคหมายถึงการตัดสินว่าประโยคเริ่มต้นและลงที่ไหน

การลดรูปคำ เป็นกระบวนการลดคำให้เหลือรูปที่เป็นรากของคำ ตัวอย่างเช่น connected, connection และ connections จะถูกลดรูปเป็น “connect”

การแบ่งคำ เป็นกระบวนการแบ่งข้อความขนาดใหญ่ลงเป็นหน่วยเล็กๆ ที่สามารถเป็นคำหรือคำที่ลดรูป/ลดรูปได้

เทคนิค NLP ความหมาย

เทคนิคความหมายรวมถึงเทคนิคดังต่อไปนี้:

• การระบุหน่วยความหมาย
• การสร้างภาษาธรรมชาติ
• การแยกความหมายของคำ

การระบุหน่วยความหมายเกี่ยวข้องกับการระบุชิ้นส่วนของข้อความที่สามารถจัดกลุ่มเป็นหมวดหมู่ที่กำหนดไว้ล่วงหน้า หมวดหมู่ที่กำหนดไว้ล่วงหน้ารวมถึงสิ่งต่างๆ เช่น วันที่ เมือง สถานที่ บริษัท และบุคคล

การสร้างภาษาธรรมชาติ เป็นกระบวนการของการใช้ฐานข้อมูลในการแปลงข้อมูลที่มีโครงสร้างเป็นภาษาธรรมชาติ ตัวอย่างเช่น สถิติเกี่ยวกับสภาพอากาศ เช่น อุณหภูมิและความเร็วลม สามารถสรุปเป็นภาษาธรรมชาติได้

การแยกความหมายของคำเป็นกระบวนการของการกำหนดความหมายของคำในข้อความตามบริบทที่คำปรากฏ

โมเดลการเรียนรู้ลึกสำหรับ NLP

การเรียนรู้แบบหลายชั้นที่ปกติไม่สามารถจัดการกับการตีความข้อมูลที่มีลำดับได้ โดยที่ลำดับของข้อมูลมีความสำคัญ ในการรับมือกับความสำคัญของลำดับในข้อมูลที่มีลำดับ ชนิดของเครือข่ายประสาทที่เก็บข้อมูลจากช่วงเวลาก่อนหน้าไว้ในระหว่างการฝึกอบรมถูกใช้

เครือข่ายประสาทที่เกิดซ้ำ (RNN) เป็นชนิดของเครือข่ายประสาทที่วนซ้ำข้อมูลจากช่วงเวลาก่อนหน้า โดยนำข้อมูลเหล่านั้นมาใช้ในการคำนวณน้ำหนักของช่วงเวลาปัจจุบัน RNN มีพารามิเตอร์สามตัวที่ใช้ระหว่างการฝึกอบรม: เมทริกซ์ที่อิงจากสถานะซ่อนเร้นที่แล้ว เมทริกซ์ที่อิงจากข้อมูลปัจจุบัน และเมทริกซ์ที่อยู่ระหว่างสถานะซ่อนเร้นและเอาต์พุต เนื่องจาก RNN สามารถนำข้อมูลจากช่วงเวลาก่อนหน้ามาใช้ได้ จึงสามารถถอดรหัสรูปแบบที่เกี่ยวข้องจากข้อความได้โดยการนำคำก่อนหน้ามาใช้ในการตีความความหมายของคำ

อีกชนิดหนึ่งของสถาปัตยกรรมการเรียนรู้ลึกที่ใช้ในการประมวลผลข้อมูลข้อความคือ เครือข่ายความจำระยะยาวสั้น (LSTM) เครือข่าย LSTM มีโครงสร้างคล้ายกับ RNN แต่เนื่องจากความแตกต่างในโครงสร้าง จึงมีประสิทธิภาพมากกว่า RNN พวกมันหลีกเลี่ยงปัญหาที่เรียกว่า การเพิ่มขึ้นของอนุพันธ์

เครือข่ายประสาทลึกเหล่านี้สามารถเป็นแบบเดี่ยวหรือแบบสองทิศทาง เครือข่ายสองทิศทางสามารถนำคำที่อยู่หลังคำปัจจุบันมาใช้ในการตีความได้ นอกเหนือจากคำที่อยู่ก่อนหน้า ซึ่งนำไปสู่ความแม่นยำที่สูงกว่า แต่ก็ใช้เวลาคำนวณมากกว่า

กรณีการใช้งานสำหรับการประมวลผลภาษาธรรมชาติ (NLP)

ภาพ: mohammed_hassan via Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

เนื่องจากการประมวลผลภาษาธรรมชาติเกี่ยวข้องกับการวิเคราะห์และจัดการภาษาของมนุษย์ จึงมีการใช้งานที่หลากหลายมาก ตัวอย่างการใช้งาน NLP รวมถึงแชทบอท ผู้ช่วยดิจิทัล การวิเคราะห์ความรู้สึก การจัดระเบียบเอกสาร การสรรหาบุคลากร และการดูแลสุขภาพ

แชทบอทและผู้ช่วยดิจิทัล เช่น Amazon’s Alexa และ Google Assistant เป็นตัวอย่างของแพลตฟอร์มการรู้จำเสียงและ合成เสียงที่ใช้ NLP เพื่อตีความและตอบสนองต่อคำสั่งเสียง พวกเขาช่วยให้ผู้คนสามารถทำภารกิจต่างๆ ได้ เช่น ค้นหาเส้นทางที่ดีที่สุดไปที่ธนาคารในตอนเช้าที่ยุ่ง

การวิเคราะห์ความรู้สึกเป็นการใช้เทคนิค NLP เพื่อศึกษาปฏิกิริยาและความรู้สึกของผู้คนต่อปรากฏการณ์ตามที่สื่อผ่านภาษา การจับความรู้สึกของคำพูด เช่น การตีความว่าการรีวิวผลิตภัณฑ์ดีหรือไม่ดี สามารถให้ข้อมูลที่มีคุณค่าแก่บริษัทเกี่ยวกับว่าผลิตภัณฑ์ของตนได้รับการตอบรับอย่างไร

การจัดระเบียบเอกสารข้อความอัตโนมัติเป็นอีกกรณีการใช้งานหนึ่งของ NLP บริษัท เช่น Google และ Yahoo ใช้อัลกอริทึม NLP เพื่อจัดประเภทเอกสารอีเมล โดยวางเอกสารเหล่านั้นในกล่องที่เหมาะสม เช่น “สังคม” หรือ “โปรโมชั่น” พวกเขายังใช้เทคนิคเหล่านี้เพื่อระบุและป้องกันสแปม

กลุ่มต่างๆ ได้พัฒนาเทคนิค NLP เพื่อระบุผู้สมัครงานที่มีศักยภาพ โดยค้นหาผู้สมัครตามทักษะที่เกี่ยวข้อง ผู้จัดการฝ่ายบุคคลยังใช้เทคนิค NLP เพื่อช่วยในการคัดเลือกผู้สมัครจากกลุ่มผู้สมัคร

เทคนิค NLP ยังถูกนำมาใช้เพื่อปรับปรุงการดูแลสุขภาพ NLP สามารถใช้เพื่อปรับปรุงการตรวจพบโรค บันทึกสุขภาพสามารถถูกวิเคราะห์และอาการสามารถถูกถอดรหัสโดยอัลกอริทึม NLP ซึ่งสามารถใช้เพื่อแนะนำการวินิจฉัยที่เป็นไปได้ ตัวอย่างหนึ่งคือแพลตฟอร์ม Comprehend Medical ของ Amazon ซึ่งวิเคราะห์บันทึกสุขภาพและถอดรหัสโรคและการรักษา การใช้งาน NLP ในด้านสุขภาพยังขยายไปสู่สุขภาพจิต มีแอปพลิเคชัน เช่น WoeBot ซึ่งพูดคุยกับผู้ใช้โดยใช้เทคนิคการจัดการความวิตกกังวลที่อิงจากทฤษฎีทางจิตวิทยา