NLP (Xử lý Ngôn ngữ Tự nhiên) là gì?

Xử lý Ngôn ngữ Tự nhiên (NLP) là nghiên cứu và ứng dụng các kỹ thuật và công cụ cho phép máy tính xử lý, phân tích, giải thích và suy luận về ngôn ngữ của con người. NLP là một lĩnh vực liên ngành và nó kết hợp các kỹ thuật được thiết lập trong các lĩnh vực như ngôn ngữ học và khoa học máy tính. Các kỹ thuật này được sử dụng cùng với trí tuệ nhân tạo để tạo ra các chương trình trò chuyện và trợ lý kỹ thuật như Google Assistant và Amazon’s (AMZN ) Alexa.

Hãy dành thời gian để khám phá lý do đằng sau Xử lý Ngôn ngữ Tự nhiên, một số kỹ thuật được sử dụng trong NLP và một số trường hợp sử dụng phổ biến cho NLP.

Tại sao Xử lý Ngôn ngữ Tự nhiên (NLP) lại quan trọng

Để máy tính có thể giải thích ngôn ngữ của con người, chúng phải được chuyển đổi thành một dạng mà máy tính có thể thao tác. Tuy nhiên, điều này không đơn giản như chuyển đổi dữ liệu văn bản thành số. Để suy luận ý nghĩa từ ngôn ngữ của con người, các mẫu phải được trích xuất từ hàng trăm hoặc hàng nghìn từ tạo nên một tài liệu văn bản. Đây không phải là một nhiệm vụ dễ dàng. Có rất ít quy tắc cứng và nhanh có thể được áp dụng để giải thích ngôn ngữ của con người. Ví dụ, cùng một tập hợp từ có thể có nghĩa khác nhau tùy thuộc vào ngữ cảnh. Ngôn ngữ của con người là một thứ phức tạp và thường mơ hồ, và một câu lệnh có thể được phát biểu với sự chân thành hoặc sự讽刺.

Mặc dù vậy, có một số hướng dẫn chung có thể được sử dụng khi giải thích từ và ký tự, chẳng hạn như ký tự “s” được sử dụng để chỉ rằng một mục là số nhiều. Những hướng dẫn chung này phải được sử dụng cùng nhau để trích xuất ý nghĩa từ văn bản, để tạo ra các tính năng mà một thuật toán học máy có thể giải thích.

Xử lý Ngôn ngữ Tự nhiên liên quan đến việc áp dụng các thuật toán có khả năng lấy dữ liệu không có cấu trúc và chuyển đổi nó thành dữ liệu có cấu trúc. Nếu các thuật toán này được áp dụng sai cách, máy tính thường không thể suy luận ý nghĩa chính xác từ văn bản. Điều này thường được thấy trong việc dịch văn bản giữa các ngôn ngữ, nơi ý nghĩa chính xác của câu thường bị mất. Mặc dù dịch máy đã cải thiện đáng kể trong những năm qua, nhưng lỗi dịch máy vẫn xảy ra thường xuyên.

Kỹ thuật Xử lý Ngôn ngữ Tự nhiên (NLP)

Ảnh: Tamur qua WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

Nhiều kỹ thuật được sử dụng trong xử lý ngôn ngữ tự nhiên có thể được phân loại vào một trong hai loại: cú pháp hoặc ngữ nghĩa. Kỹ thuật cú pháp là những kỹ thuật liên quan đến việc sắp xếp từ, trong khi kỹ thuật ngữ nghĩa là những kỹ thuật liên quan đến ý nghĩa của từ.

Kỹ thuật NLP Cú pháp

Ví dụ về cú pháp bao gồm:

• Làm giảm
• Phân đoạn hình thái
• Gán nhãn phần của câu
• Phân tích
• Chia câu
• Cắt giảm
• Phân đoạn từ

Làm giảm liên quan đến việc cô đặc các biến thể khác nhau của một từ xuống một dạng duy nhất. Làm giảm lấy những thứ như thì và số nhiều và đơn giản hóa chúng, ví dụ, “feet” có thể trở thành “foot” và “stripes” có thể trở thành “stripe”. Dạng từ đơn giản hóa này làm cho nó dễ dàng hơn cho một thuật toán để giải thích các từ trong một tài liệu.

Phân đoạn hình thái là quá trình chia từ thành các đơn vị cơ bản của từ, được gọi là hình thái. Những đơn vị này là những thứ như hình thái tự do (có thể đứng một mình như từ) và tiền tố hoặc hậu tố.

Gán nhãn phần của câu đơn giản là quá trình xác định phần của câu mà mỗi từ trong tài liệu đầu vào thuộc về.

Phân tích liên quan đến việc phân tích tất cả các từ trong một câu và liên kết chúng với các nhãn cú pháp chính thức hoặc thực hiện phân tích ngữ pháp cho tất cả các từ.

Chia câu, hoặc phân đoạn ranh giới câu, liên quan đến việc quyết định nơi bắt đầu và kết thúc một câu.

Cắt giảm là quá trình giảm từ xuống dạng gốc của từ. Ví dụ, “connected”, “connection” và “connections” đều sẽ được cắt giảm xuống “connect”.

Phân đoạn từ là quá trình chia các đoạn văn bản lớn thành các đơn vị nhỏ, có thể là từ hoặc các đơn vị đã được cắt giảm.

Kỹ thuật NLP Ngữ nghĩa

Kỹ thuật NLP ngữ nghĩa bao gồm:

• Nhận dạng thực thể tên
• Sinh ngôn ngữ tự nhiên
• Định nghĩa ý nghĩa từ

Nhận dạng thực thể tên liên quan đến việc gắn thẻ các phần của văn bản có thể được đặt vào một trong số các nhóm được xác định trước. Các danh mục được xác định trước bao gồm những thứ như ngày, thành phố, địa điểm, công ty và cá nhân.

Sinh ngôn ngữ tự nhiên là quá trình sử dụng cơ sở dữ liệu để chuyển đổi dữ liệu có cấu trúc thành ngôn ngữ tự nhiên. Ví dụ, thống kê về thời tiết, như nhiệt độ và tốc độ gió, có thể được tóm tắt bằng ngôn ngữ tự nhiên.

Định nghĩa ý nghĩa từ là quá trình gán ý nghĩa cho từ trong một văn bản dựa trên ngữ cảnh mà chúng xuất hiện.

Mô hình Học sâu cho NLP

Các mạng nơ-ron đa lớp thông thường không thể xử lý việc giải thích dữ liệu tuần tự, nơi thứ tự của thông tin là quan trọng. Để giải quyết vấn đề về thứ tự trong dữ liệu tuần tự, một loại mạng nơ-ron được sử dụng để bảo tồn thông tin từ các bước thời gian trước trong quá trình đào tạo.

Mạng nơ-ron hồi quy là loại mạng nơ-ron mà lặp lại dữ liệu từ các bước thời gian trước, tính đến chúng khi tính toán trọng số của bước thời gian hiện tại. Về cơ bản, mạng nơ-ron hồi quy có ba tham số được sử dụng trong quá trình đào tạo: một ma trận dựa trên trạng thái ẩn trước, một ma trận dựa trên đầu vào hiện tại và một ma trận giữa trạng thái ẩn và đầu ra. Vì mạng nơ-ron hồi quy có thể tính đến thông tin từ các bước thời gian trước, chúng có thể trích xuất các mẫu liên quan từ dữ liệu văn bản bằng cách tính đến các từ trước đó trong câu khi giải thích ý nghĩa của một từ.

Loại kiến trúc học sâu khác được sử dụng để xử lý dữ liệu văn bản là mạng nơ-ron nhớ ngắn hạn dài (LSTM). Mạng nơ-ron LSTM tương tự như mạng nơ-ron hồi quy về cấu trúc, nhưng do một số khác biệt trong kiến trúc của chúng, chúng thường hoạt động tốt hơn mạng nơ-ron hồi quy. Chúng tránh được một vấn đề cụ thể thường xảy ra khi sử dụng mạng nơ-ron hồi quy gọi là vấn đề gradient nổ.

Những mạng nơ-ron sâu này có thể là một chiều hoặc hai chiều. Mạng nơ-ron hai chiều có thể tính đến không chỉ các từ trước từ hiện tại mà còn các từ sau từ hiện tại. Mặc dù điều này dẫn đến độ chính xác cao hơn, nhưng nó tốn kém hơn về mặt tính toán.

Trường hợp sử dụng cho Xử lý Ngôn ngữ Tự nhiên (NLP)

Ảnh: mohammed_hassan qua Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

Vì Xử lý Ngôn ngữ Tự nhiên liên quan đến việc phân tích và thao tác ngôn ngữ của con người, nó có một loạt ứng dụng rộng lớn. Các ứng dụng có thể cho NLP bao gồm chương trình trò chuyện, trợ lý kỹ thuật, phân tích cảm xúc, tổ chức tài liệu, tuyển dụng nhân tài và chăm sóc sức khỏe.

Chương trình trò chuyện và trợ lý kỹ thuật như Amazon’s Alexa và Google Assistant là những ví dụ về các nền tảng nhận dạng và tổng hợp giọng nói sử dụng NLP để giải thích và phản hồi các lệnh giọng nói. Những trợ lý kỹ thuật này giúp mọi người với nhiều nhiệm vụ khác nhau, cho phép họ offload một số nhiệm vụ nhận thức của mình sang một thiết bị khác và giải phóng một số năng lực não của họ cho những việc quan trọng hơn. Thay vì tìm kiếm đường đi đến ngân hàng vào một buổi sáng bận rộn, chúng ta có thể yêu cầu trợ lý kỹ thuật của mình thực hiện việc đó.

Phân tích cảm xúc là việc sử dụng các kỹ thuật NLP để nghiên cứu phản ứng và cảm xúc của mọi người đối với một hiện tượng, như được truyền đạt bởi việc sử dụng ngôn ngữ của họ. Việc nắm bắt cảm xúc của một câu lệnh, như giải thích xem một đánh giá sản phẩm là tốt hay xấu, có thể cung cấp cho các công ty thông tin đáng kể về cách sản phẩm của họ được đón nhận.

Tự động tổ chức các tài liệu văn bản là một ứng dụng khác của NLP. Các công ty như Google và Yahoo sử dụng các thuật toán NLP để phân loại tài liệu email, đặt chúng vào các hộp thích hợp như “xã hội” hoặc “quảng cáo”. Họ cũng sử dụng các kỹ thuật này để xác định thư rác và ngăn chặn nó đến hộp thư đến của bạn.

Các nhóm cũng đã phát triển các kỹ thuật NLP để xác định các ứng viên tiềm năng, tìm kiếm họ dựa trên các kỹ năng liên quan. Các nhà quản lý tuyển dụng cũng đang sử dụng các kỹ thuật NLP để giúp họ phân loại danh sách các ứng viên.

Các kỹ thuật NLP cũng đang được sử dụng để cải thiện chăm sóc sức khỏe. NLP có thể được sử dụng để cải thiện việc phát hiện bệnh. Hồ sơ sức khỏe có thể được phân tích và các triệu chứng được trích xuất bởi các thuật toán NLP, sau đó có thể được sử dụng để đề xuất các chẩn đoán có thể. Một ví dụ về điều này là nền tảng Comprehend Medical của Amazon, phân tích hồ sơ sức khỏe và trích xuất bệnh và điều trị. Các ứng dụng chăm sóc sức khỏe của NLP cũng mở rộng đến sức khỏe tâm thần. Có các ứng dụng như WoeBot, giúp người dùng thông qua các kỹ thuật quản lý lo lắng dựa trên liệu pháp hành vi nhận thức.