Nền tảng AI
Mô hình Học máy Sinh và Phân biệt
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Sinh và Phân biệt mô tả những gì một mô hình học được về dữ liệu và mục tiêu. Trong phân loại giám sát cổ điển, mô hình sinh học học một phân phối chung như P(x, y) hoặc phân phối có điều kiện theo lớp P(x|y), trong khi mô hình phân biệt học P(y|x) hoặc một ranh giới quyết định trực tiếp.
Sự phân biệt này hữu ích, nhưng các hệ thống hiện đại thường kết hợp các mục tiêu. Một mô hình có thể học các biểu diễn sinh và sau đó được tinh chỉnh cho dự đoán phân biệt, hoặc chia sẻ một khung nền chung giữa việc sinh và phân loại.
Những điểm chính
- Bộ phân loại sinh mô hình cách đầu vào và nhãn xuất hiện; bộ phân loại phân biệt mô hình nhãn dựa trên đầu vào hoặc một ranh giới.
- Các giả định sinh có thể giúp khi dữ liệu có nhãn hạn chế nhưng cũng có thể sai.
- Các phương pháp phân biệt thường tập trung khả năng vào nhiệm vụ dự đoán và có thể đạt lỗi phân loại tiệm cận tốt hơn.
- GAN, VAE và các mô hình ngôn ngữ là các hệ thống sinh, nhưng “sinh” không có nghĩa là mọi thành phần đều là bộ phân loại sinh.
Phân tích xác suất
Một bộ phân loại sinh có thể ước tính P(x|y) và P(y), sau đó sử dụng định lý Bayes để suy ra P(y|x). Naive Bayes là một ví dụ cổ điển. Một bộ phân loại phân biệt như hồi quy logistic ước tính P(y|x) trực tiếp; một SVM học một ranh giới tách.
Mô hình hóa P(x,y) là một nhiệm vụ rộng hơn so với việc dự đoán y từ x. Cấu trúc bổ sung này có thể hỗ trợ việc sinh mẫu hoặc suy luận dữ liệu thiếu, nhưng đồng thời yêu cầu các giả định về phân phối đầu vào.
Hiệu quả dữ liệu và hành vi tiệm cận
So sánh của Ng và Jordan giữa Naive Bayes và hồi quy logistic cho thấy một sự đánh đổi hữu ích: dưới các giả định của họ, mô hình sinh có thể đạt hiệu suất giới hạn với ít ví dụ hơn, trong khi mô hình phân biệt có thể đạt lỗi tiệm cận thấp hơn.
Đây không phải là một bảng xếp hạng toàn diện. Kết quả phụ thuộc vào việc họa gia đình mô hình có phù hợp với dữ liệu hay không, kích thước, regularization, tối ưu hoá và chất lượng nhãn. So sánh thực nghiệm trên một thiết kế xác thực đại diện vẫn là cần thiết.
Các họ mô hình đại diện
Các mô hình sinh bao gồm các phân phối có điều kiện theo lớp, mô hình Markov ẩn, mô hình hỗn hợp, variational autoencoders, các mô hình ngôn ngữ tự hồi quy, mô hình khuếch tán và GAN.
Các mô hình phân biệt bao gồm hồi quy logistic, cây quyết định, trường ngẫu nhiên có điều kiện, support vector machines và các bộ phân loại thần kinh. Cùng một khung nền thần kinh có thể tham gia vào bất kỳ danh mục nào tùy thuộc vào mục tiêu đào tạo và đầu ra.
Hệ thống lai và tự giám sát
Một mô hình ngôn ngữ hoặc thị giác đã được tiền huấn luyện có thể học từ dữ liệu không nhãn với mục tiêu sinh hoặc tự giám sát, sau đó nhận một đầu ra phân biệt cho nhiệm vụ mục tiêu. Các phương pháp bán giám sát có thể tối ưu đồng thời mục tiêu phân loại có nhãn và mục tiêu dữ liệu không nhãn.
Việc lai tạo làm cho nhãn kiến trúc ít thông tin hơn so với toàn bộ quy trình đào tạo. Tài liệu nên nêu rõ mục tiêu, dữ liệu, đầu ra và suy luận dự định — không chỉ gọi một mô hình là sinh.
Lựa chọn giữa các cách tiếp cận
Hãy dựa vào nhiệm vụ để quyết định. Nếu mục tiêu là một ranh giới được hiệu chuẩn với nhãn phong phú, mô hình phân biệt là nền tảng tự nhiên. Nếu việc sinh mẫu, ước lượng mật độ, cấu trúc dữ liệu thiếu hoặc dữ liệu không nhãn là trọng tâm, một thành phần sinh có thể hữu ích.
So sánh độ bền, hiệu quả mẫu, tính toán, khả năng likelihood hoặc hiệu chuẩn tùy trường hợp. Một mẫu sinh tốt không chứng minh một bộ phân loại tốt, và một bộ phân loại độ chính xác cao không đồng nghĩa với một mô hình thực tế của phân phối đầu vào.
Hướng xác suất và mục tiêu mô hình
Một mô hình phân biệt học một ranh giới hoặc phân phối có điều kiện P(y|x): dựa trên các đặc trưng x, dự đoán nhãn y. Hồi quy logistic, support vector machines, trường ngẫu nhiên có điều kiện và nhiều bộ phân loại khác là phân biệt. Một mô hình sinh học học một phân phối chung P(x,y), một phân phối có điều kiện theo lớp P(x|y), hoặc một phân phối dữ liệu không có điều kiện, cho phép sinh mẫu hoặc các nhiệm vụ liên quan đến likelihood. Naive Bayes và phân tích phân biệt tuyến tính là các bộ phân loại sinh; GAN, variational autoencoders, mô hình khuếch tán và mô hình tự hồi quy sinh dữ liệu thông qua các mục tiêu khác nhau.
Sự phân biệt liên quan đến việc mô hình hoá phân phối hay quy tắc quyết định nào, không phải việc sử dụng mạng thần kinh hay không. Một mô hình ngôn ngữ sinh có thể được gợi ý để phân loại, trong khi một bộ sắp xếp lại phân biệt có thể hướng dẫn việc sinh. Các giả định sinh có thể cải thiện hiệu quả dữ liệu hoặc xử lý biến thiếu nhưng cũng tạo ra rủi ro sai mô hình. Các phương pháp phân biệt thường vượt trội khi có dữ liệu nhãn phong phú vì chúng tập trung trực tiếp vào ranh giới dự đoán. So sánh các họ mô hình dưới các điều kiện đồng nhất về đặc trưng, dữ liệu, tinh chỉnh và tính toán thay vì xem một danh mục là luôn ưu việt.
Đào tạo và đánh giá theo trường hợp sử dụng
Đánh giá phân loại sử dụng độ chính xác, độ thu hồi, hiệu chuẩn, độ bền và chi phí lỗi. Đánh giá sinh cần xem xét độ trung thực, đa dạng, độ phủ, likelihood hoặc tiện ích nhiệm vụ, việc ghi nhớ và an toàn. Một mô hình có thể tạo ra các mẫu hấp dẫn nhưng bỏ sót các mode, hoặc đạt likelihood tốt nhưng đầu ra không thỏa đáng. Tiện ích dữ liệu tổng hợp nên được kiểm tra bằng cách đào tạo và đánh giá các mô hình hạ lưu trên dữ liệu thực độc lập, bao gồm các nhóm hiếm. Giữ dữ liệu kiểm tra ra khỏi các lời nhắc và lựa chọn sinh.
Trong học bán giám sát, một mô hình sinh có thể khai thác cấu trúc dữ liệu không nhãn; trong phát hiện bất thường, likelihood có thể thất bại khi dữ liệu ngoài phân phối nhận mật độ cao vì lý do không liên quan. Trong sinh kết hợp truy xuất, một mô hình trả lời sinh và một bộ truy xuất hoặc sắp xếp lại phân biệt tạo thành một hệ thống lai. Hãy chẩn đoán các giai đoạn riêng biệt để đầu ra trôi chảy không che giấu thất bại truy xuất. Chọn cách phân chia sao cho bằng chứng và kiểm soát có thể quan sát được.
Triển khai và quản trị
Các hệ thống sinh thêm rủi ro về nguồn gốc nội dung, sở hữu trí tuệ, mạo danh, tiêm lời nhắc và kiểm duyệt đầu ra; các hệ thống phân biệt thêm rủi ro về ngưỡng, từ chối và lỗi không đồng đều. Cả hai đều yêu cầu quyền dữ liệu, bảo mật tài sản, quản lý phiên bản, kiểm thử đại diện, giám sát và quyền con người tỷ lệ với hậu quả. Ghi lại mục tiêu chính xác và ngữ nghĩa đầu ra trong tài liệu. Sự phân biệt sinh và phân biệt là một điểm thống kê hữu ích, nhưng các hệ thống thực tế thường kết hợp chúng, và độ tin cậy phụ thuộc vào toàn bộ quy trình dữ liệu và quyết định.
Ví dụ thực tế: phân loại và sinh phản hồi hỗ trợ
Một nền tảng hỗ trợ sử dụng bộ phân loại phân biệt để xác định loại vấn đề và mức độ khẩn cấp, và một mô hình sinh để soạn thảo phản hồi dựa trên các chính sách đã được phê duyệt. Bộ phân loại được đánh giá bằng độ thu hồi riêng lớp và hiệu chuẩn; bộ truy xuất bằng độ thu hồi bằng chứng; bộ sinh bằng tính nền tảng, độ chính xác và khả năng từ chối. Mỗi giai đoạn có kết quả không xác định, và mô hình sinh không thể thay đổi phân loại hoặc quyền lợi khách hàng bằng văn bản thuyết phục.
Các đại lý nhìn thấy lộ trình dự đoán, nguồn dữ liệu, và bản thảo, sau đó phê duyệt hoặc chỉnh sửa trước khi gửi. Bộ lọc quyền áp dụng trước khi truy xuất, và tiêm lời nhắc trong văn bản khách hàng không thể ủy quyền công cụ. Giám sát tách biệt lỗi định tuyến, khoảng trống truy xuất, tuyên bố không được hỗ trợ và chỉnh sửa của đại lý. Thay đổi chính sách cập nhật nguồn ngay lập tức và kích hoạt các kiểm thử hồi quy; việc tinh chỉnh được dành cho hành vi ổn định. Thiết kế lai sử dụng các ưu điểm của phân biệt và sinh đồng thời bảo toàn bằng chứng và quyền con người.
Bằng chứng triển khai và sẵn sàng vận hành
Một quyết định sản xuất cần nhiều hơn một buổi trình diễn thành công. Xác định người dùng mục tiêu, môi trường hoạt động, đầu vào, đầu ra, phụ thuộc, người sở hữu và hậu quả của mỗi lỗi quan trọng. Thiết lập một chuẩn cơ bản có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm tra các trường hợp thông thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, sự dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị bỏ sót. Đo lường chất lượng nhiệm vụ cùng với hiệu chuẩn hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi biến đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.
Trước khi ra mắt, chỉ định quyền cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng hoạt động. Sử dụng triển khai theo giai đoạn, giữ lại dự phòng an toàn, và xác minh giám sát bằng các lỗi được tiêm cố ý. Dữ liệu đo lường vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, sức khỏe phụ thuộc, can thiệp của con người và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Định nghĩa ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu năng ngoại tuyến sẽ kéo dài. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần tài liệu về khôi phục, học hỏi từ sự cố, quy trình xóa và lưu trữ, và một điểm rõ ràng khi nó nên bị tắt hoặc thay thế.
Câu hỏi thường gặp
Có phải bộ phân biệt của GAN là mô hình phân biệt không?
Nó thực hiện việc phân biệt trong quá trình đào tạo, nhưng toàn bộ GAN là một khung sinh mà đầu ra được tạo ra bởi bộ sinh.
Học phân biệt luôn luôn là học có giám sát không?
Không. Thuật ngữ mô tả mối quan hệ hoặc ranh giới được mô hình hoá, trong khi giám sát mô tả tín hiệu đào tạo. Các mục tiêu hiện đại có thể làm mờ ranh giới giữa các loại.
Tài liệu tham khảo chính
