Machine Learning và Học Sâu: Những Khái Niệm Cơ Bản

Học sâu là một trong những lĩnh vực có ảnh hưởng và phát triển nhanh nhất trong trí tuệ nhân tạo. Tuy nhiên, việc hiểu rõ về học sâu có thể khó khăn vì thuật ngữ này bao gồm nhiều thuật toán và kỹ thuật khác nhau. Học sâu cũng là một phân ngành của học máy nói chung, vì vậy việc hiểu học máy là rất quan trọng để hiểu học sâu.

Machine Learning Là Gì?

Học sâu là một phần mở rộng của một số khái niệm xuất phát từ học máy, vì vậy chúng ta hãy dành một phút để giải thích học máy là gì.

Nói một cách đơn giản, học máy là một phương pháp cho phép máy tính thực hiện các nhiệm vụ cụ thể mà không cần mã hóa rõ ràng từng dòng mã cho các thuật toán được sử dụng để thực hiện các nhiệm vụ đó. Có nhiều thuật toán học máy khác nhau, nhưng một trong những thuật toán được sử dụng phổ biến nhất là multilayer perceptron. Multilayer perceptron cũng được gọi là mạng nơ-ron, và nó bao gồm một loạt các nốt/neuron liên kết với nhau. Có ba lớp khác nhau trong multilayer perceptron: lớp nhập, lớp ẩn và lớp xuất.

Lớp nhập đưa dữ liệu vào mạng, nơi nó được xử lý bởi các nốt ở lớp giữa/lớp ẩn. Các nốt ở lớp ẩn là các hàm toán học có thể xử lý dữ liệu từ lớp nhập, trích xuất các mẫu liên quan từ dữ liệu nhập. Đây là cách mạng nơ-ron “học”. Mạng nơ-ron được đặt tên như vậy vì chúng được lấy cảm hứng từ cấu trúc và chức năng của não bộ con người.

Các kết nối giữa các nốt trong mạng có giá trị được gọi là trọng số. Những giá trị này về cơ bản là các giả định về cách dữ liệu trong một lớp liên quan đến dữ liệu trong lớp tiếp theo. Khi mạng được đào tạo, các trọng số được điều chỉnh, và mục tiêu là các trọng số/giả định về dữ liệu sẽ cuối cùng hội tụ đến các giá trị chính xác đại diện cho các mẫu có ý nghĩa trong dữ liệu.

Các hàm kích hoạt có mặt trong các nốt của mạng, và các hàm kích hoạt này biến đổi dữ liệu theo cách phi tuyến tính, cho phép mạng học các biểu diễn phức tạp của dữ liệu. Các hàm kích hoạt nhân các giá trị nhập với các giá trị trọng số và thêm một thuật ngữ偏差.

Học Sâu Là Gì?

Học sâu là thuật ngữ được đặt cho các kiến trúc học máy kết hợp nhiều multilayer perceptron lại với nhau, vì vậy không chỉ có một lớp ẩn mà có nhiều lớp ẩn. “Sâu” hơn mạng nơ-ron sâu, mạng càng có thể học các mẫu phức tạp hơn.

Các mạng lớp sâu gồm các nơ-ron đôi khi được gọi là mạng kết nối đầy đủ hoặc lớp kết nối đầy đủ, ám chỉ việc một nơ-ron nhất định duy trì kết nối với tất cả các nơ-ron xung quanh nó. Các mạng kết nối đầy đủ có thể được kết hợp với các hàm học máy khác để tạo ra các kiến trúc học sâu khác nhau.

Các Loại Học Sâu Khác Nhau

Có nhiều kiến trúc học sâu được các nhà nghiên cứu và kỹ sư sử dụng, và mỗi kiến trúc có trường hợp sử dụng riêng.

Mạng Nơ-Ron Tần Số

Mạng nơ-ron tần số, hoặc CNN, là kiến trúc mạng nơ-ron thường được sử dụng trong việc tạo ra các hệ thống tầm nhìn máy tính. Cấu trúc của mạng nơ-ron tần số cho phép chúng giải thích dữ liệu hình ảnh, chuyển đổi chúng thành số mà một mạng kết nối đầy đủ có thể giải thích. Một CNN có bốn thành phần chính:

• Các lớp tần số
• Các lớp lấy mẫu/giảm kích thước
• Các hàm kích hoạt
• Các lớp kết nối đầy đủ

Các lớp tần số là những gì đưa hình ảnh vào mạng dưới dạng nhập, phân tích hình ảnh và lấy giá trị của các pixel. Lấy mẫu hoặc giảm kích thước là nơi các giá trị hình ảnh được chuyển đổi/giảm để đơn giản hóa việc đại diện cho hình ảnh và giảm độ nhạy của các bộ lọc hình ảnh với nhiễu. Các hàm kích hoạt kiểm soát cách dữ liệu chảy từ lớp này sang lớp khác, và các lớp kết nối đầy đủ là những gì phân tích các giá trị đại diện cho hình ảnh và học các mẫu trong những giá trị đó.

RNNs/LSTMs

Mạng nơ-ron hồi quy, hoặc RNN, phổ biến cho các nhiệm vụ mà thứ tự của dữ liệu quan trọng, nơi mạng phải học về một chuỗi dữ liệu. RNN thường được áp dụng cho các vấn đề như xử lý ngôn ngữ tự nhiên, vì thứ tự của các từ quan trọng khi giải mã ý nghĩa của một câu. Phần “hồi quy” trong thuật ngữ Mạng nơ-ron Hồi quy đến từ việc đầu ra cho một yếu tố nhất định trong một chuỗi phụ thuộc vào tính toán trước đó cũng như tính toán hiện tại. Không giống như các dạng mạng nơ-ron sâu khác, RNN có “bộ nhớ”, và thông tin được tính toán tại các bước thời gian khác nhau trong chuỗi được sử dụng để tính toán các giá trị cuối cùng.

Có nhiều loại RNN, bao gồm RNN hai chiều, lấy cả các mục tương lai trong chuỗi vào tài khoản, ngoài các mục trước đó, khi tính toán giá trị của một mục. Một loại RNN khác là Mạng nơ-ron nhớ ngắn hạn dài, hoặc LSTM. LSTMs là loại RNN có thể xử lý các chuỗi dữ liệu dài. RNN thông thường có thể gặp phải vấn đề gọi là “vấn đề gradient nổ”. Vấn đề này xảy ra khi chuỗi dữ liệu nhập trở nên cực kỳ dài, nhưng LSTMs có các kỹ thuật để chống lại vấn đề này.

Autoencoder

Hầu hết các kiến trúc học sâu được đề cập cho đến nay đều được áp dụng cho các vấn đề học có giám sát, chứ không phải các nhiệm vụ học không có giám sát. Autoencoder có thể biến đổi dữ liệu không có giám sát thành định dạng có giám sát, cho phép mạng nơ-ron được sử dụng cho vấn đề.

Autoencoder thường được sử dụng để phát hiện các異 thường trong tập dữ liệu, ví dụ về học không có giám sát vì bản chất của dị thường không được biết. Ví dụ về phát hiện dị thường bao gồm phát hiện gian lận cho các tổ chức tài chính. Trong trường hợp này, mục đích của autoencoder là xác định một baseline của các mẫu thường xuyên trong dữ liệu và xác định các dị thường hoặc ngoại lệ.

Cấu trúc của autoencoder thường đối xứng, với các lớp ẩn được sắp xếp sao cho đầu ra của mạng giống với đầu vào. Bốn loại autoencoder được sử dụng thường xuyên là:

• Autoencoder thường/đơn giản
• Autoencoder đa lớp
• Autoencoder tần số
• Autoencoder điều chỉnh

Autoencoder thường/đơn giản chỉ là mạng nơ-ron với một lớp ẩn, trong khi autoencoder đa lớp là mạng sâu với nhiều lớp ẩn. Autoencoder tần số sử dụng các lớp tần số thay vì, hoặc ngoài, các lớp kết nối đầy đủ. Autoencoder điều chỉnh sử dụng một loại hàm mất mát cụ thể cho phép mạng nơ-ron thực hiện các chức năng phức tạp hơn, chức năng ngoài việc chỉ sao chép đầu vào sang đầu ra.

Mạng Đối Thủ Generative

Mạng đối thủ generative (GAN) thực sự là nhiều mạng nơ-ron sâu thay vì chỉ một mạng. Hai mô hình học sâu được đào tạo cùng một lúc, và đầu ra của chúng được cung cấp cho mạng khác. Các mạng đang cạnh tranh với nhau, và vì chúng có quyền truy cập vào dữ liệu đầu ra của nhau, chúng đều học từ dữ liệu đó và cải thiện. Các mạng cơ bản đang chơi một trò chơi giả mạo và phát hiện, nơi mô hình generative cố gắng tạo ra các thể hiện mới sẽ lừa được mô hình phát hiện/mô hình phân biệt. GAN đã trở nên phổ biến trong lĩnh vực tầm nhìn máy tính.

Tổng Kết Học Sâu

Học sâu mở rộng các nguyên tắc của mạng nơ-ron để tạo ra các mô hình tinh vi có thể học các mẫu phức tạp và khái quát hóa các mẫu đó sang các tập dữ liệu trong tương lai. Mạng nơ-ron tần số được sử dụng để giải thích hình ảnh, trong khi RNN/LSTM được sử dụng để giải thích dữ liệu tuần tự. Autoencoder có thể biến đổi các nhiệm vụ học không có giám sát thành nhiệm vụ học có giám sát. Cuối cùng, GAN là nhiều mạng được đào tạo cùng nhau, đặc biệt hữu ích cho các nhiệm vụ tầm nhìn máy tính.