RNNs và LSTMs trong Học sâu là gì?

Nhiều tiến bộ ấn tượng nhất trong xử lý ngôn ngữ tự nhiên và trò chuyện AI được thúc đẩy bởi Mạng nơ-ron hồi quy (RNNs) và mạng nhớ ngắn hạn dài (LSTM). RNNs và LSTMs là kiến trúc mạng nơ-ron đặc biệt có thể xử lý dữ liệu tuần tự, dữ liệu mà thứ tự thời gian quan trọng. LSTMs基本上 là phiên bản cải tiến của RNNs, có khả năng giải thích các chuỗi dữ liệu dài hơn. Hãy cùng xem xét cách RNNs và LSTMS được cấu trúc và cách chúng cho phép tạo ra các hệ thống xử lý ngôn ngữ tự nhiên tinh vi.

Feed-Forward Neural Networks là gì?

Trước khi chúng ta thảo luận về cách Long Short-Term Memory (LSTM) và Mạng nơ-ron tích hợp (CNN) hoạt động, chúng ta nên thảo luận về định dạng của một mạng nơ-ron nói chung.

Một mạng nơ-ron được thiết kế để kiểm tra dữ liệu và học các mẫu liên quan, để các mẫu này có thể được áp dụng cho các dữ liệu khác và dữ liệu mới có thể được phân loại. Mạng nơ-ron được chia thành ba phần: lớp đầu vào, lớp ẩn (hoặc nhiều lớp ẩn) và lớp đầu ra.

Lớp đầu vào là phần nhận dữ liệu vào mạng nơ-ron, trong khi các lớp ẩn là những phần học các mẫu trong dữ liệu. Các lớp ẩn trong tập dữ liệu được kết nối với các lớp đầu vào và đầu ra bằng “trọng số” và “偏差” mà chỉ là những giả định về cách các điểm dữ liệu liên quan đến nhau. Những trọng số này được điều chỉnh trong quá trình đào tạo. Khi mạng được đào tạo, các giá trị dự đoán của mô hình về dữ liệu đào tạo (các giá trị đầu ra) được so sánh với các nhãn đào tạo thực tế. Trong quá trình đào tạo, mạng nên (hy vọng) trở nên chính xác hơn trong việc dự đoán mối quan hệ giữa các điểm dữ liệu, để nó có thể phân loại chính xác các điểm dữ liệu mới. Mạng nơ-ron sâu là mạng có nhiều lớp ở giữa/nhiều lớp ẩn. Càng nhiều lớp ẩn và càng nhiều nơ-ron/mô-đun, mô hình càng tốt trong việc nhận ra các mẫu trong dữ liệu.

Mạng nơ-ron hồi tiếp thông thường, như những mạng tôi đã mô tả ở trên, thường được gọi là “mạng nơ-ron dày đặc”. Những mạng nơ-ron dày đặc này được kết hợp với các kiến trúc mạng khác chuyên về giải thích các loại dữ liệu khác nhau.

RNNs (Mạng nơ-ron hồi quy) là gì?

Mạng nơ-ron hồi quy lấy nguyên tắc chung của mạng nơ-ron hồi tiếp và cho phép chúng xử lý dữ liệu tuần tự bằng cách cho mô hình một bộ nhớ nội bộ. Phần “hồi quy” trong tên RNN đến từ thực tế rằng đầu vào và đầu ra của mạng lặp lại. Một khi đầu ra của mạng được tạo ra, đầu ra được sao chép và trả lại cho mạng như đầu vào. Khi đưa ra quyết định, không chỉ đầu vào và đầu ra hiện tại được phân tích, mà đầu vào trước đó cũng được xem xét. Để nói một cách khác, nếu đầu vào ban đầu cho mạng là X và đầu ra là H, cả H và X1 (đầu vào tiếp theo trong chuỗi dữ liệu) đều được đưa vào mạng cho vòng học tiếp theo. Theo cách này, ngữ cảnh của dữ liệu (các đầu vào trước đó) được bảo tồn khi mạng được đào tạo.

Kết quả của kiến trúc này là RNNs có khả năng xử lý dữ liệu tuần tự. Tuy nhiên, RNNs gặp phải một số vấn đề. RNNs gặp phải vấn đề gradient biến mất và gradient nổ.

Chiều dài của các chuỗi mà một RNN có thể giải thích khá hạn chế, đặc biệt là khi so sánh với LSTMs.

LSTMs (Mạng nhớ ngắn hạn dài) là gì?

Mạng nhớ ngắn hạn dài có thể được coi là các phiên bản mở rộng của RNNs, một lần nữa áp dụng khái niệm bảo tồn ngữ cảnh của các đầu vào. Tuy nhiên, LSTMs đã được sửa đổi theo một số cách quan trọng cho phép chúng giải thích dữ liệu trong quá khứ với các phương pháp vượt trội. Những thay đổi được thực hiện đối với LSTMs liên quan đến vấn đề gradient biến mất và cho phép LSTMs xem xét các chuỗi đầu vào dài hơn nhiều.

Mô hình LSTM bao gồm ba thành phần khác nhau, hoặc cổng. Có một cổng đầu vào, cổng đầu ra và cổng quên. Tương tự như RNNs, LSTMs lấy đầu vào từ bước thời gian trước vào tài khoản khi sửa đổi trạng thái bộ nhớ và trọng số đầu vào của mô hình. Cổng đầu vào đưa ra quyết định về những giá trị nào quan trọng và nên được phép đi qua mô hình. Một hàm sigmoid được sử dụng trong cổng đầu vào, quyết định những giá trị nào nên được truyền qua mạng hồi quy. Zero làm giảm giá trị, trong khi 1 bảo tồn nó. Một hàm TanH cũng được sử dụng ở đây, quyết định mức độ quan trọng của các giá trị đầu vào đối với mô hình, dao động từ -1 đến 1.

Sau khi đầu vào hiện tại và trạng thái bộ nhớ được tính đến, cổng đầu ra quyết định những giá trị nào nên được đẩy đến bước thời gian tiếp theo. Trong cổng đầu ra, các giá trị được phân tích và được gán mức độ quan trọng từ -1 đến 1. Điều này điều chỉnh dữ liệu trước khi nó được chuyển đến bước tính toán tiếp theo. Cuối cùng, công việc của cổng quên là loại bỏ thông tin mà mô hình coi là không cần thiết để đưa ra quyết định về bản chất của các giá trị đầu vào. Cổng quên sử dụng một hàm sigmoid trên các giá trị, tạo ra các số từ 0 (quên điều này) đến 1 (giữ điều này).

Một mạng nơ-ron LSTM được tạo thành từ cả các lớp LSTM đặc biệt có thể giải thích dữ liệu từ tuần tự và các lớp kết nối dày đặc như những lớp được mô tả ở trên. Một khi dữ liệu đi qua các lớp LSTM, nó đi vào các lớp kết nối dày đặc.