AI 101
NLU (Hiểu ngôn ngữ tự nhiên) là gì?
Hiểu ngôn ngữ tự nhiên (NLU) là một khái niệm kỹ thuật trong chủ đề lớn hơn về xử lý ngôn ngữ tự nhiên. NLU là quá trình chịu trách nhiệm dịch các từ ngữ tự nhiên, con người thành một định dạng mà một máy tính có thể giải thích. Về cơ bản, trước khi máy tính có thể xử lý dữ liệu ngôn ngữ, nó phải hiểu dữ liệu.
Các kỹ thuật dành cho NLU bao gồm việc sử dụng các quy tắc ngữ pháp và cú pháp phổ biến để giúp máy tính hiểu được ý nghĩa và ngữ cảnh của ngôn ngữ tự nhiên của con người. Mục tiêu cuối cùng của những kỹ thuật này là máy tính sẽ có được sự hiểu biết “trực quan” về ngôn ngữ, có thể viết và hiểu ngôn ngữ giống như cách con người làm mà không cần liên tục tham khảo các định nghĩa của từ.
Xác định NLU (Hiểu ngôn ngữ tự nhiên)
Có rất nhiều kỹ thuật mà các nhà khoa học máy tính và chuyên gia NLP sử dụng để giúp máy tính hiểu ngôn ngữ của con người. Hầu hết các kỹ thuật thuộc loại “phân tích cú pháp”. Các kỹ thuật phân tích cú pháp bao gồm:
- bổ đề
- tâm trạng
- phân đoạn từ
- phân tích cú pháp
- phân đoạn hình thái
- phá án
- một phần của gắn thẻ giọng nói
Những kỹ thuật phân tích cú pháp này áp dụng các quy tắc ngữ pháp cho các nhóm từ và cố gắng sử dụng các quy tắc này để rút ra ý nghĩa. Ngược lại, NLU hoạt động bằng cách sử dụng kỹ thuật “phân tích ngữ nghĩa”.
Phân tích ngữ nghĩa áp dụng thuật toán máy tính cho văn bản, cố gắng hiểu nghĩa của từ trong ngữ cảnh tự nhiên của chúng, thay vì dựa vào các phương pháp tiếp cận dựa trên quy tắc. Tính đúng/sai ngữ pháp của một cụm từ không nhất thiết tương quan với tính hợp lệ của một cụm từ. Có thể có những cụm từ đúng ngữ pháp nhưng vô nghĩa, và những cụm từ sai ngữ pháp nhưng vẫn có nghĩa. Để phân biệt các khía cạnh có ý nghĩa nhất của từ, NLU áp dụng nhiều kỹ thuật nhằm thu thập ý nghĩa của một nhóm từ ít phụ thuộc vào cấu trúc và quy tắc ngữ pháp.
ĐHNL là một lĩnh vực đang phát triển và thay đổi, được coi là một trong những bài toán khó của AI. Nhiều kỹ thuật và công cụ khác nhau đang được phát triển để giúp máy móc hiểu được ngôn ngữ của con người. Hầu hết các hệ thống NLU đều có một số thành phần cốt lõi chung. Cần có từ vựng cho ngôn ngữ, cũng như một số loại trình phân tích cú pháp văn bản và quy tắc ngữ pháp để hướng dẫn việc tạo các biểu diễn văn bản. Hệ thống cũng yêu cầu một lý thuyết về ngữ nghĩa để cho phép hiểu các biểu diễn. Có nhiều lý thuyết ngữ nghĩa khác nhau được sử dụng để giải thích ngôn ngữ, như phân tích ngữ nghĩa ngẫu nhiên hoặc ngữ nghĩa ngây thơ.
Các kỹ thuật NLU phổ biến bao gồm:
Nhận dạng thực thể được đặt tên là quá trình nhận dạng “thực thể được đặt tên”, là con người và địa điểm/đồ vật quan trọng. Nhận dạng thực thể được đặt tên hoạt động bằng cách phân biệt các khái niệm cơ bản và tham chiếu trong một phần văn bản, xác định các thực thể được đặt tên và đặt chúng vào các danh mục như địa điểm, ngày tháng, tổ chức, con người, tác phẩm, v.v. Các mô hình được giám sát dựa trên các quy tắc ngữ pháp thường được sử dụng để thực hiện NER nhiệm vụ.
Định hướng nghĩa của từ là quá trình xác định nghĩa hoặc ý nghĩa của một từ dựa trên ngữ cảnh mà từ đó xuất hiện. Định hướng nghĩa của từ thường sử dụng một phần của thẻ gắn thẻ lời nói để ngữ cảnh hóa từ mục tiêu. Các phương pháp phân biệt nghĩa từ được giám sát bao gồm người sử dụng máy vectơ hỗ trợ và học tập dựa trên trí nhớ. Tuy nhiên, hầu hết các mô hình phân biệt nghĩa của từ là các mô hình bán giám sát sử dụng cả dữ liệu được dán nhãn và không được gắn nhãn.
Ví dụ về NLU (Hiểu ngôn ngữ tự nhiên)
Các ví dụ phổ biến của NLU bao gồm Suy luận tự động, Định tuyến yêu cầu tự động, Dịch máy và Trả lời câu hỏi.
suy luận tự động
Suy luận tự động là một môn học nhằm cung cấp cho máy móc một loại logic hoặc lý luận. Đó là một nhánh của khoa học nhận thức nỗ lực đưa ra các suy luận dựa trên các chẩn đoán y tế hoặc giải các định lý toán học theo chương trình/tự động. NLU được sử dụng để giúp thu thập và phân tích thông tin và đưa ra kết luận dựa trên thông tin.
Định tuyến vé tự động
NLU thường được sử dụng để tự động hóa các nhiệm vụ dịch vụ khách hàng. Khi phiếu dịch vụ khách hàng được tạo, chatbot và các máy khác có thể diễn giải bản chất cơ bản về nhu cầu của khách hàng và chuyển họ đến đúng bộ phận. Các công ty nhận được hàng nghìn yêu cầu hỗ trợ mỗi ngày, vì vậy thuật toán NLU rất hữu ích trong việc ưu tiên các yêu cầu và cho phép các đại lý hỗ trợ xử lý chúng theo những cách hiệu quả hơn.
Dịch máy
Rất khó để dịch chính xác lời nói hoặc văn bản từ ngôn ngữ này sang ngôn ngữ khác. Trong thực tế, dịch máy là một trong những vấn đề nan giải nhất trong NLP và NLU. Nhiều hệ thống dịch máy dựa vào các quy tắc ngôn ngữ để dịch giữa các ngôn ngữ, nhưng các nhà nghiên cứu đang theo đuổi các cách dịch phức tạp hơn giữa các ngôn ngữ. Dịch máy NLU cố gắng cho phép dịch chính xác hơn bằng cách bảo toàn ngữ cảnh và thông tin ngữ nghĩa liên quan đến văn bản đích. Các hệ thống dịch máy chính xác nhất kết hợp các quy tắc ngôn ngữ với các thuật toán trích xuất ý nghĩa ngữ nghĩa.
Trả lời câu hỏi
Nhận dạng giọng nói sử dụng kỹ thuật NLU để cho phép máy tính hiểu câu hỏi đặt ra với ngôn ngữ tự nhiên. NLU được sử dụng để cung cấp cho người dùng thiết bị phản hồi bằng ngôn ngữ tự nhiên của họ, thay vì cung cấp cho họ danh sách các câu trả lời có thể có. Khi bạn đặt câu hỏi cho trợ lý kỹ thuật số, NLU được sử dụng để giúp máy hiểu câu hỏi, chọn câu trả lời phù hợp nhất dựa trên các tính năng như thực thể được nhận dạng và ngữ cảnh của các câu lệnh trước đó.
