Nền tảng AI
Học máy là gì?
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Machine learning (ML) là một nhánh của trí tuệ nhân tạo, trong đó một hệ thống học các mẫu từ dữ liệu để có thể đưa ra dự đoán, phân loại, đề xuất hoặc quyết định mà không cần nhà phát triển viết quy tắc riêng cho từng trường hợp có thể. Kết quả không phải là một máy “suy nghĩ” như con người. Đó là một mô hình thống kê ánh xạ đầu vào sang đầu ra hữu ích và có thể được đánh giá trên dữ liệu mà nó chưa từng thấy trong quá trình huấn luyện.
Machine learning nằm trong lĩnh vực rộng hơn của AI, trong khi deep learning là một họ các phương pháp học máy được xây dựng dựa trên mạng nơ-ron đa lớp. Sự khác biệt này quan trọng: không phải mọi hệ thống AI đều sử dụng ML, và không phải mọi vấn đề ML đều cần mạng nơ-ron.
Những điểm chính
- ML học một mối quan hệ từ các ví dụ thay vì chỉ dựa vào các quy tắc được viết tay.
- Một mô hình hữu ích phải tổng quát hoá được với dữ liệu mới, không chỉ ghi nhớ bộ dữ liệu huấn luyện.
- Học có giám sát, không giám sát, bán giám sát, tự giám sát và học tăng cường giải quyết các loại vấn đề khác nhau.
- Chất lượng dữ liệu, thiết kế đánh giá và giám sát quan trọng không kém so với thuật toán.
Cách hoạt động của học máy
Hầu hết các dự án ML có thể được hiểu như một chuỗi sáu giai đoạn:
- Xác định nhiệm vụ. Quyết định hệ thống nên dự đoán hoặc khám phá gì và tiêu chí thành công trong ứng dụng thực tế là gì.
- Thu thập và chuẩn bị dữ liệu. Làm sạch bản ghi, xử lý giá trị thiếu, tạo các đặc trưng hữu ích và ghi lại nguồn gốc dữ liệu.
- Chia dữ liệu. Bộ dữ liệu huấn luyện dùng để điều chỉnh mô hình, bộ dữ liệu xác thực giúp chọn các thiết lập, và bộ dữ liệu kiểm tra cung cấp ước lượng cuối cùng trên dữ liệu chưa được dùng.
- Huấn luyện mô hình. Thuật toán điều chỉnh các tham số của mô hình để giảm hàm mất mát hoặc đáp ứng mục tiêu học khác.
- Đánh giá khả năng tổng quát hoá. Các chỉ số phải phản ánh nhiệm vụ, cân bằng lớp, chi phí lỗi và quần thể mà mô hình sẽ hoạt động.
- Triển khai và giám sát. Dữ liệu thực tế có thể thay đổi, vì vậy các nhóm cần theo dõi sự trượt, suy giảm hiệu năng, thiên lệch và các lỗi vận hành.
Các biến được cung cấp cho mô hình thường được gọi là đặc trưng. Trong học có giám sát, câu trả lời mong muốn được gọi là nhãn hoặc đích. Các tham số mà mô hình học được mã hoá một mối quan hệ giữa các đặc trưng và đầu ra; chúng không phải là một cơ sở dữ liệu các quy tắc rõ ràng.
Các mô hình học chính
Học có giám sát
Trong học có giám sát, các ví dụ bao gồm cả đầu vào và các đích đã biết. Một mô hình phân loại dự đoán các danh mục, chẳng hạn như giao dịch có phải gian lận hay không. Một mô hình hồi quy dự đoán một giá trị liên tục, như nhu cầu năng lượng dự kiến.
Các thuật toán học có giám sát phổ biến bao gồm cây quyết định, máy vectơ hỗ trợ, K-nearest neighbors, hồi quy tuyến tính và logistic, cây tăng cường gradient, và mạng nơ-ron. Ngưỡng phân loại như 0.5 là một quyết định được chọn sau khi mô hình tạo ra điểm số hoặc xác suất; nó không phải là một thuộc tính bất biến của hồi quy logistic.
Học không giám sát
Học không giám sát làm việc với dữ liệu không có nhãn mục tiêu. Mục tiêu có thể là tìm cụm, phát hiện các quan sát bất thường, ước lượng một phân phối, hoặc tạo ra biểu diễn có chiều thấp hơn. Một cụm là một nhóm được gợi ý bởi quy tắc tương đồng; nó không tự động là một lớp thực tế có ý nghĩa.
Ví dụ bao gồm phân cụm K-means, phân tích thành phần chính, ước lượng mật độ, và một số dạng của autoencoder. Autoencoder học cách tái tạo đầu vào thông qua một biểu diễn nén. Nó không tự động tạo ra nhãn thực tế.
Học bán giám sát và tự giám sát
Học bán giám sát kết hợp một tập dữ liệu có nhãn nhỏ với một tập dữ liệu không nhãn lớn hơn. Học tự giám sát tạo ra tín hiệu huấn luyện từ chính dữ liệu—ví dụ, dự đoán các từ bị che hoặc ghép hai góc nhìn đã biến đổi của cùng một hình ảnh. Tự giám sát là trung tâm của nhiều pipeline transformer và mô hình nền tảng hiện đại vì nó có thể sử dụng các bộ sưu tập lớn văn bản, hình ảnh, âm thanh hoặc video mà không cần người gán nhãn cho mỗi ví dụ.
Học tăng cường
Trong học tăng cường, một tác nhân thực hiện các hành động trong môi trường và nhận phần thưởng hoặc chi phí. Mục tiêu là học một chính sách tối đa hoá phần thưởng tích lũy kỳ vọng. Điều này khác với học có giám sát vì hành động đúng không được cung cấp cho mọi trạng thái, và một hành động có thể ảnh hưởng đến dữ liệu mà tác nhân sẽ gặp tiếp theo.
Huấn luyện, xác thực và tổng quát hoá
Một mô hình hoạt động tốt trên các ví dụ huấn luyện vẫn có thể thất bại trên dữ liệu mới. Sự thất bại này được gọi là overfitting. Các nhóm giảm thiểu nó bằng cách điều chỉnh khả năng của mô hình, regularization, cross‑validation, tăng cường dữ liệu, ngăn ngừa rò rỉ, và một bộ dữ liệu kiểm tra thực sự độc lập.
Không có một chỉ số duy nhất cho mọi nhiệm vụ ML. Phân loại có thể yêu cầu precision, recall, F1, calibration, hoặc một thước đo có trọng số chi phí thay vì độ chính xác thô. Hồi quy có thể sử dụng mean absolute error, root mean squared error, hoặc một hàm mất mát đặc thù cho lĩnh vực. Phân cụm cần các dạng đánh giá nội bộ hoặc được xác thực bên ngoài khác nhau. Chỉ số nên phản ánh ý nghĩa của lỗi đối với người dùng hoặc tổ chức.
Thuật toán học máy là công cụ, không phải bảo đảm
Một thuật toán mang theo các giả định. Các mô hình tuyến tính giả định một dạng quan hệ nhất định. K‑nearest neighbors giả định khoảng cách được chọn đại diện cho sự tương đồng có ý nghĩa. Naive Bayes giả định các đặc trưng độc lập có điều kiện khi đã biết lớp. Cây quyết định chia không gian đặc trưng bằng các quy tắc chia học được; các lá của chúng chứa các dự đoán dựa trên các nhóm quan sát huấn luyện thay vì nhất thiết một quan sát mỗi lá.
Do đó, việc lựa chọn mô hình phụ thuộc vào kích thước dữ liệu, loại đặc trưng, yêu cầu độ trễ, nhu cầu giải thích, và chi phí của các sai lầm. Một mô hình đơn giản có thể vượt trội hơn mô hình lớn hơn khi dữ liệu hạn chế hoặc các ràng buộc vận hành ưu tiên tốc độ và tính trong suốt.
Nơi áp dụng học máy
ML hỗ trợ xếp hạng tìm kiếm, đề xuất, dự báo, phát hiện bất thường, dịch thuật, nhận dạng giọng nói, computer vision, bảo trì dự đoán, phát hiện gian lận và phân tích khoa học. Các kỹ thuật tương tự cũng có thể khuếch đại thiên lệch lịch sử, lộ thông tin nhạy cảm, hoặc hành xử không đoán trước được khi có sự thay đổi phân phối. Triển khai có trách nhiệm đòi hỏi tài liệu, giám sát con người khi cần, kiểm tra bảo mật và giám sát liên tục.
Từ định nghĩa vấn đề đến một thí nghiệm học máy hợp lệ
Một dự án học máy nên bắt đầu bằng một quyết định và một kết quả có thể đo lường, không phải một thuật toán. Xác định đơn vị dự đoán, mục tiêu, thời gian quan sát, thời gian quyết định, các đặc trưng có sẵn, và chi phí của mỗi lỗi. Ví dụ, với mô hình churn, việc sử dụng các sự kiện ghi lại sau khi hủy sẽ làm rò rỉ câu trả lời. Thiết lập một quy tắc đơn giản hoặc tiêu chuẩn thống kê, sau đó chia dữ liệu theo thời gian, khách hàng, vị trí, hoặc ranh giới khác phản ánh việc triển khai. Việc chia ngẫu nhiên các hàng có thể đặt các quan sát gần như giống nhau vào bộ huấn luyện và kiểm tra, gây ra điểm số sai lệch.
Kỹ thuật đặc trưng chuyển đổi các bản ghi thô thành các biểu diễn mà mô hình có thể sử dụng, nhưng mỗi đặc trưng đều cần nguồn gốc và đảm bảo khả năng sẵn có. Chuẩn hoá, từ vựng, imputation và giảm chiều chỉ được thực hiện trên dữ liệu huấn luyện, sau đó áp dụng biến đổi đã học cho dữ liệu xác thực và kiểm tra. Cross‑validation ước tính sự biến thiên giữa các mẫu; một bộ dữ liệu kiểm tra cuối cùng chưa được chạm tới hỗ trợ quyết định phát hành. Chọn các chỉ số dựa trên hậu quả: precision và recall cho các lỗi phân loại không đồng đều, calibration khi xác suất dẫn đến hành động, và các thước đo có trọng số chi phí hoặc tiện ích khi các sai lầm có ảnh hưởng vận hành khác nhau.
Triển khai, giám sát và vận hành có trách nhiệm
Việc suy luận trong môi trường sản xuất lặp lại toàn bộ quá trình biến đổi thời gian huấn luyện và trả về dự đoán dưới các ràng buộc về độ trễ, thông lượng và khả dụng. Đóng gói tiền xử lý cùng mô hình, xác thực schema đầu vào, phiên bản các artefact, và so sánh kết quả giữa triển khai offline và online. Chọn ngưỡng dựa trên năng lực vận hành và cân bằng lỗi thay vì mặc định 0.5. Triển khai qua đánh giá bóng, một nhóm giới hạn, hoặc một thí nghiệm với các chỉ số bảo vệ. Duy trì một fallback xác định và một đường quay lại cho trường hợp phụ thuộc thất bại hoặc hành vi không chấp nhận được.
Giám sát chất lượng đầu vào, drift của đặc trưng, phân phối dự đoán, calibration, kết quả theo nhóm phụ, độ trễ, chi phí, và các nhãn đã xác nhận khi chúng cuối cùng xuất hiện. Drift là một tín hiệu để điều tra, không phải bằng chứng tự động rằng việc huấn luyện lại sẽ hữu ích. Việc huấn luyện lại cần dữ liệu đã được xem xét, các kiểm thử có thể lặp lại, phê duyệt, và so sánh với mô hình hiện tại. Ghi lại các mục đích sử dụng hợp lệ và không hợp lệ, quyền dữ liệu, quyền riêng tư, bảo mật, can thiệp của con người, và kháng cáo khi con người bị ảnh hưởng. Học máy là một hệ thống quyết định được duy trì; tệp mô hình chỉ là một thành phần có thể thay thế.
Ví dụ thực tế: dự đoán hỏng hóc thiết bị
Một nhà sản xuất định nghĩa một dự đoán cho mỗi máy‑ngày: liệu một sự cố đã được xác nhận sẽ xảy ra trong vòng bảy ngày, chỉ sử dụng dữ liệu telemetry có sẵn vào đầu ngày đó. Dữ liệu được chia theo máy và thời gian, so sánh với các quy tắc dựa trên tuổi thọ và ngưỡng, thực hiện tiền xử lý trên dữ liệu huấn luyện, và đánh giá recall sự kiện, cảnh báo sai, thời gian cảnh báo trước, calibration, và khả năng bảo trì. Thay thế cảm biến và tắt máy theo kế hoạch được mô hình hoá như bối cảnh vận hành thay vì được coi là các quan sát thông thường.
Mô hình ban đầu chạy ở chế độ bóng. Các cảnh báo hiển thị telemetry đóng góp và độ không chắc, nhưng người bảo trì quyết định có nên kiểm tra hay không. Các phát hiện và nguyên nhân đã xác nhận trở thành nhãn được quản lý; việc không có lệnh công việc không được giả định là không có sự cố. Triển khai theo giai đoạn sử dụng giới hạn cảnh báo và fallback thủ công, trong khi giám sát theo dõi tình trạng cảm biến, drift đầu vào, precision đã xem xét, thời gian ngừng hoạt động, và bảo trì không cần thiết. Việc huấn luyện lại chỉ diễn ra sau khi xem xét dữ liệu và ngưỡng cho thấy khả năng cải thiện so với hệ thống đang triển khai.
Bằng chứng triển khai và sẵn sàng vận hành
Một quyết định triển khai cần nhiều hơn một buổi trình diễn thành công. Xác định người dùng dự kiến, môi trường vận hành, đầu vào, đầu ra, các phụ thuộc, người sở hữu, và hậu quả của mỗi lỗi quan trọng. Thiết lập một baseline có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm tra các trường hợp thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, sự thay đổi phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị bỏ quên. Đo lường chất lượng nhiệm vụ cùng với calibration hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi biến đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.
Trước khi ra mắt, chỉ định quyền chịu trách nhiệm cho việc phát hành, ngoại lệ, thay đổi, rollback và ngừng sử dụng. Sử dụng triển khai theo giai đoạn, duy trì fallback an toàn, và xác minh giám sát bằng cách đưa vào các lỗi cố ý. Telemetry vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, tình trạng phụ thuộc, can thiệp của con người, và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Xác định ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau triển khai thay vì giả định hiệu năng offline sẽ duy trì. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có quy trình khôi phục được ghi chép, học từ sự cố, xóa và lưu trữ, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.
Tài liệu tham khảo chính
