NLU (Natural Language Understanding) คืออะไร?

การเข้าใจภาษาธรรมชาติ (NLU) เป็นแนวคิดทางเทคนิคภายในหัวข้อการประมวลผลภาษาธรรมชาติ (NLP) ที่กว้างขึ้น NLU เป็นกระบวนการที่รับผิดชอบในการแปลภาษาธรรมชาติและคำพูดของมนุษย์ให้อยู่ในรูปแบบที่คอมพิวเตอร์สามารถตีความได้ โดยพื้นฐานแล้ว ก่อนที่คอมพิวเตอร์จะประมวลผลข้อมูลภาษา มันจะต้องเข้าใจข้อมูลก่อน

เทคนิคสำหรับ NLU รวมถึงการใช้ไวยกรณ์และกฎการเขียนทั่วไปเพื่อให้คอมพิวเตอร์เข้าใจความหมายและบริบทของภาษาธรรมชาติของมนุษย์ เป้าหมายสูงสุดของเทคนิคเหล่านี้คือให้คอมพิวเตอร์มีความเข้าใจภาษา “โดยธรรมชาติ” เช่นเดียวกับมนุษย์ โดยสามารถเขียนและเข้าใจภาษาได้โดยไม่ต้องอ้างอิงคำจำกัดความของคำอยู่เสมอ

การกำหนด NLU (Natural Language Understanding)

มีเทคนิคมากมายที่นักวิทยาศาสตร์คอมพิวเตอร์และผู้เชี่ยวชาญ NLP ใช้เพื่อให้คอมพิวเตอร์เข้าใจภาษาของมนุษย์ เทคนิคส่วนใหญ่属于หมวด “การวิเคราะห์ไวยกรณ์” เทคนิคการวิเคราะห์ไวยกรณ์รวมถึง:

• การลดรูปคำ (lemmatization)
• การทำให้คำง่าย (stemming)
• การแบ่งคำ (word segmentation)
• การวิเคราะห์ประโยค (parsing)
• การแบ่งคำตามรูปวิภาค (morphological segmentation)
• การแบ่งประโยค (sentence breaking)
• การระบุชนิดของคำ (part of speech tagging)

เทคนิคการวิเคราะห์ไวยกรณ์เหล่านี้ใช้กฎไวยกรณ์กับกลุ่มคำและพยายามใช้กฎเหล่านี้เพื่ออนุมานความหมาย ในทางกลับกัน NLU ใช้เทคนิค “การวิเคราะห์ความหมาย” (semantic analysis)

การวิเคราะห์ความหมายใช้แอลกอริทึมคอมพิวเตอร์กับข้อความ โดยพยายามเข้าใจความหมายของคำในบริบทที่เป็นธรรมชาติ แทนที่จะพึ่งพาแนวทางที่อิงกฎ การถูกต้องหรือไม่ถูกต้องทางไวยกรณ์ของประโยคไม่จำเป็นต้องสอดคล้องกับความถูกต้องของประโยคเสมอไป มีประโยคที่ถูกต้องตามไวยกรณ์แต่ไม่มีความหมาย และมีประโยคที่ผิดไวยกรณ์แต่มีความหมาย เพื่อที่จะแยกแยะด้านที่มีความหมายที่สุดของคำ NLU ใช้เทคนิคต่างๆ ที่มีจุดมุ่งหมายเพื่อจับความหมายของกลุ่มคำโดยมีการพึ่งพากฎและโครงสร้างน้อยลง

NLU เป็นสาขาที่กำลังพัฒนาและเปลี่ยนแปลงอยู่ และถือเป็นหนึ่งในปัญหาที่ยากที่สุดของ AI มีการพัฒนาเทคนิคและเครื่องมือต่างๆ เพื่อให้เครื่องจักรเข้าใจภาษาของมนุษย์ ระบบ NLU ส่วนใหญ่มีส่วนประกอบหลักเหมือนกัน ซึ่งรวมถึงพจนานุกรมภาษา ตัววิเคราะห์ข้อความ และกฎไวยกรณ์สำหรับการสร้างการแสดงข้อความ ระบบยังต้องมีทฤษฎีเชิงความหมายเพื่อให้เข้าใจการแสดงข้อความเหล่านั้น มีทฤษฎีเชิงความหมายหลายแบบที่ใช้ในการตีความภาษา เช่น การวิเคราะห์เชิงความหมายแบบสุ่ม (stochastic semantic analysis) หรือการวิเคราะห์เชิงความหมายแบบง่าย (naive semantics)

เทคนิคทั่วไปของ NLU รวมถึง:

• การรู้จำหน่วยที่มีชื่อ (Named Entity Recognition)
• การแยกความหมายของคำ (Word-Sense Disambiguation)

การรู้จำหน่วยที่มีชื่อเป็นกระบวนการในการรู้จำ “หน่วยที่มีชื่อ” ซึ่งหมายถึงบุคคล สิ่งสำคัญ และสถานที่ การรู้จำหน่วยที่มีชื่อทำงานโดยการแยกแนวคิดพื้นฐานและอ้างอิงในเนื้อหาข้อความ โดยการระบุหน่วยที่มีชื่อและจัดพวกให้เข้ากับหมวดหมู่ต่างๆ เช่น สถานที่ วันที่ องค์กร บุคคล ผลงาน ฯลฯ โมเดลแบบมีคำสั่งซึ่งอาศัยกฎไวยกรณ์โดยทั่วไปจะถูกใช้ในการทำงานการรู้จำหน่วยที่มีชื่อ

การแยกความหมายของคำเป็นกระบวนการในการกำหนดความหมายหรือความหมายของคำตามบริบทที่คำนั้นปรากฏ การแยกความหมายของคำมักใช้ตัวระบุชนิดของคำ (part of speech tagger) เพื่อทำให้คำเป้าหมายมีบริบท โมเดลแบบมีคำสั่งในการแยกความหมายของคำรวมถึงการใช้เครื่องจักรสนับสนุนเวกเตอร์และการเรียนรู้แบบพื้นฐาน อย่างไรก็ตาม โมเดลการแยกความหมายของคำส่วนใหญ่เป็นแบบกึ่งแบบมีคำสั่ง ซึ่งใช้ทั้ง데이터ที่มีฉลากและไม่มีฉลาก

ตัวอย่างของ NLU (Natural Language Understanding)

ตัวอย่างทั่วไปของ NLU รวมถึงการให้เหตุผลอัตโนมัติ การกำหนดเส้นทางตั๋วอัตโนมัติ การแปลภาษาโดยเครื่อง และการตอบคำถาม

การให้เหตุผลอัตโนมัติ

การให้เหตุผลอัตโนมัติ เป็นสาขาที่มุ่งหมายให้เครื่องจักรมีการให้เหตุผลหรือตรรกะ มันเป็นสาขาย่อยของวิทยาศาสตร์认知ที่พยายามสรุปผลตามการวินิจฉัยทางการแพทย์หรือการแก้สมมติฐานทางคณิตศาสตร์โดยอัตโนมัติ NLU ถูกใช้เพื่อช่วยในการรวบรวมและวิเคราะห์ข้อมูล และสร้างข้อสรุปตามข้อมูล

การกำหนดเส้นทางตั๋วอัตโนมัติ

NLU มักถูกใช้ในการอัตโนมัติงานบริการลูกค้า เมื่อมีการสร้างตั๋วบริการลูกค้า โรบอทและเครื่องจักรอื่นๆ สามารถตีความลักษณะพื้นฐานของความต้องการลูกค้าและกำหนดเส้นทางให้ไปยังแผนกที่ถูกต้อง บริษัทต่างๆ ได้รับการขอความช่วยเหลือหลายพันครั้งทุกวัน ดังนั้นจึงมีการใช้อัลกอริทึม NLU ในการจัดลำดับความสำคัญของตั๋วและช่วยให้ตัวแทนการสนับสนุนสามารถจัดการตั๋วเหล่านั้นได้อย่างมีประสิทธิภาพมากขึ้น

การแปลภาษาโดยเครื่อง

การแปลภาษาพูดหรือข้อความจากภาษาหนึ่งไปเป็นอีกภาษาหนึ่งเป็นเรื่องที่ยากจริงๆ การแปลภาษาโดยเครื่องเป็นหนึ่งในปัญหาที่ยากที่สุดใน NLP และ NLU ระบบการแปลภาษาโดยเครื่องส่วนใหญ่พึ่งพากฎภาษาในการแปลระหว่างภาษา แต่นักวิจัยกำลังพัฒนาวิธีการแปลที่ซับซ้อนมากขึ้น การแปลภาษาโดย NLU พยายามที่จะทำให้การแปลมีความแม่นยำมากขึ้นโดยการรักษาบริบทและข้อมูลเชิงความหมายที่เกี่ยวข้องกับข้อความเป้าหมาย ระบบการแปลภาษาที่แม่นยำที่สุดรวมกฎภาษาด้วยอัลกอริทึมที่ดึงความหมายเชิงความหมายออกมา

การตอบคำถาม

การรู้จำเสียงพูดใช้เทคนิค NLU เพื่อให้คอมพิวเตอร์เข้าใจคำถามที่ถามด้วยภาษาธรรมชาติ NLU ถูกใช้เพื่อให้ผู้ใช้เครื่องมือได้รับคำตอบในภาษาธรรมชาติของตนเอง แทนที่จะให้คำตอบที่เป็นไปได้หลายคำตอบ เมื่อคุณถามคำถามกับอาสาสมัครดิจิทัล NLU จะถูกใช้เพื่อช่วยให้เครื่องจักรเข้าใจคำถาม โดยเลือกคำตอบที่เหมาะสมที่สุดตามคุณลักษณะ เช่น สิ่งที่รู้จักและบริบทของคำสั่งก่อนหน้า