SEER: Một bước tiến trong các mô hình học máy tự giám sát

Trong thập kỷ qua, Trí tuệ nhân tạo (AI) và Học máy (ML) đã đạt được tiến bộ đáng kể. Hiện nay, chúng chính xác, hiệu quả và mạnh mẽ hơn bao giờ hết. Các mô hình AI và ML hiện đại có thể nhận dạng đối tượng trong hình ảnh hoặc tệp video một cách chính xác và mượt mà. Ngoài ra, chúng có thể tạo ra văn bản và giọng nói song song với trí thông minh của con người.

Các mô hình AI và ML hiện nay phụ thuộc nặng vào việc đào tạo trên tập dữ liệu đã được gắn nhãn, giúp chúng học cách giải thích một khối văn bản, xác định đối tượng trong hình ảnh hoặc khung hình video và nhiều nhiệm vụ khác.

Mặc dù có khả năng, các mô hình AI và ML không hoàn hảo, và các nhà khoa học đang làm việc để xây dựng các mô hình có thể học từ thông tin được cung cấp mà không cần dựa vào dữ liệu đã được gắn nhãn hoặc chú thích. Phương pháp này được gọi là học máy tự giám sát, và nó là một trong những phương pháp hiệu quả nhất để xây dựng các mô hình ML và AI có “trí thông minh chung” hoặc kiến thức nền tảng để giải quyết các vấn đề vượt quá khả năng của các mô hình AI hiện nay.

Học máy tự giám sát đã cho thấy kết quả trong Xử lý Ngôn ngữ Tự nhiên vì nó đã cho phép các nhà phát triển đào tạo các mô hình lớn có thể làm việc với một lượng lớn dữ liệu và đã dẫn đến nhiều đột phá trong các lĩnh vực giả định ngôn ngữ, dịch máy và trả lời câu hỏi.

Mô hình SEER của Facebook (META ) AI nhằm mục đích tối đa hóa khả năng của học máy tự giám sát trong lĩnh vực thị giác máy tính. SEER hoặc SElf-supERvised là một mô hình học máy tự giám sát trong thị giác máy tính có hơn một tỷ tham số và có khả năng tìm kiếm mẫu hoặc học hỏi từ một nhóm hình ảnh ngẫu nhiên trên internet mà không cần chú thích hoặc nhãn thích hợp.

Cần thiết của Học máy Tự giám sát trong Thị giác Máy tính

Gắn nhãn dữ liệu hoặc chú thích dữ liệu là một giai đoạn tiền xử lý trong quá trình phát triển các mô hình học máy và trí tuệ nhân tạo. Quá trình gắn nhãn dữ liệu xác định dữ liệu thô như hình ảnh hoặc khung hình video và sau đó thêm nhãn vào dữ liệu để chỉ định ngữ cảnh của dữ liệu cho mô hình.

Một trong những thách thức lớn nhất mà các nhà phát triển gặp phải khi làm việc trên các mô hình thị giác máy tính là tìm kiếm dữ liệu gắn nhãn chất lượng cao. Các mô hình Thị giác Máy tính hiện nay phụ thuộc vào các tập dữ liệu đã được gắn nhãn để học các mẫu cho phép chúng nhận dạng đối tượng trong hình ảnh.

Gắn nhãn dữ liệu và sử dụng nó trong mô hình thị giác máy tính tạo ra các thách thức sau:

Quản lý Chất lượng Tập dữ liệu Nhất quán

Có thể là thách thức lớn nhất đối với các nhà phát triển là có được quyền truy cập vào tập dữ liệu chất lượng cao một cách nhất quán vì tập dữ liệu chất lượng cao với nhãn và hình ảnh rõ ràng dẫn đến mô hình học hỏi và chính xác hơn.

Quản lý Nhân sự

Gắn nhãn dữ liệu thường đi kèm với các vấn đề quản lý nhân sự, chủ yếu là vì một số lượng lớn công nhân được yêu cầu để xử lý và gắn nhãn một lượng lớn dữ liệu không có cấu trúc và không được gắn nhãn trong khi đảm bảo chất lượng.

Giới hạn Tài chính

Có thể là thách thức lớn nhất là giới hạn tài chính đi kèm với quá trình gắn nhãn dữ liệu và hầu hết thời gian, chi phí gắn nhãn dữ liệu là một phần trăm đáng kể của chi phí dự án tổng thể.

Như bạn có thể thấy, gắn nhãn dữ liệu là một chướng ngại vật lớn trong việc phát triển các mô hình thị giác máy tính tiên tiến, đặc biệt là khi nói đến việc phát triển các mô hình phức tạp xử lý một lượng lớn dữ liệu đào tạo.

SEER hoặc Mô hình SElf-supERvised: Giới thiệu

Các xu hướng gần đây trong ngành AI và ML cho thấy rằng các phương pháp đào tạo trước như bán giám sát, yếu giám sát và học máy tự giám sát có thể cải thiện đáng kể hiệu suất của hầu hết các mô hình học sâu cho các nhiệm vụ hạ nguồn.

Đào tạo Trước trên Tập dữ liệu Lớn

Đào tạo trước trên tập dữ liệu lớn thường dẫn đến độ chính xác và hiệu suất tốt hơn vì nó giúp mô hình tiếp xúc với nhiều loại dữ liệu.

Mô hình có Khả năng Lớn

Mô hình có số lượng tham số lớn thường cho kết quả chính xác hơn vì số lượng tham số lớn hơn cho phép mô hình tập trung vào các đối tượng cần thiết trong dữ liệu thay vì tập trung vào nhiễu trong dữ liệu.

Khung SEER và RegNet: Kết nối là gì?

Để phân tích mô hình SEER, nó tập trung vào kiến trúc RegNet với hơn 700 triệu tham số, phù hợp với mục tiêu học máy tự giám sát của SEER trên dữ liệu không được chú thích.

Khung SEER: Công việc Trước từ các Lĩnh vực Khác nhau

Khung SEER nhằm mục đích khám phá các giới hạn của việc đào tạo các kiến trúc mô hình lớn trong tập dữ liệu không được chú thích hoặc không được gắn nhãn bằng cách sử dụng học máy tự giám sát và mô hình tìm kiếm cảm hứng từ công việc trước trong lĩnh vực.

Đào tạo Trước không Giám sát của Các Tính năng Thị giác

Học máy tự giám sát đã được thực hiện trong thị giác máy tính trong một thời gian với các phương pháp sử dụng máy tự mã hóa, phân biệt cấp độ instance, hoặc phân cụm. Gần đây, các phương pháp sử dụng học tương phản đã chỉ ra rằng đào tạo trước mô hình bằng cách sử dụng học không giám sát cho các nhiệm vụ hạ nguồn có thể hoạt động tốt hơn so với phương pháp giám sát.

Học Tính năng Thị giác ở Quy mô Lớn

Các mô hình trước đây đã được hưởng lợi từ việc đào tạo trước trên tập dữ liệu lớn có gắn nhãn yếu, giám sát hoặc bán giám sát trên hàng triệu hình ảnh được lọc.

Tăng quy mô Kiến trúc cho Nhận dạng Hình ảnh

Mô hình thường được hưởng lợi từ việc đào tạo kiến trúc lớn trên các tính năng thị giác chất lượng tốt hơn.

SEER: Phương pháp và Thành phần được Sử dụng

Khung SEER sử dụng nhiều phương pháp và thành phần để đào tạo trước mô hình để học các biểu diễn thị giác.

Đào tạo Trước Tự giám sát với SwAV

Khung SEER được đào tạo trước với SwAV, một phương pháp học máy tự giám sát trực tuyến.

RegNetY: Gia đình Mô hình Hiệu quả về Quy mô

Tăng khả năng của mô hình và dữ liệu yêu cầu kiến trúc hiệu quả không chỉ về mặt bộ nhớ mà còn về mặt thời gian chạy và RegNets là một gia đình mô hình được thiết kế đặc biệt cho mục đích này.

Tối ưu hóa và Đào tạo ở Quy mô Lớn

Mô hình SEER đề xuất một số điều chỉnh để đào tạo các phương pháp tự giám sát để áp dụng và thích nghi với quy mô lớn.

Lịch Trình Học

Mô hình SEER khám phá khả năng sử dụng hai lịch trình học: lịch trình học sóng cosine và lịch trình học cố định.

Giảm Tiêu thụ Bộ nhớ trên Mỗi GPU

Mô hình cũng nhằm mục đích giảm lượng GPU cần thiết trong quá trình đào tạo bằng cách sử dụng độ chính xác hỗn hợp và kiểm tra điểm gradient.

Tối ưu hóa Tốc độ Đào tạo

Sử dụng độ chính xác hỗn hợp để tối ưu hóa việc sử dụng bộ nhớ có lợi ích bổ sung khi tăng tốc độ đào tạo.

Đào tạo Trước ở Quy mô Lớn

Mô hình SEER sử dụng hơn một tỷ hình ảnh trong quá trình đào tạo trước và xem xét một bộ tải dữ liệu lấy mẫu hình ảnh ngẫu nhiên trực tiếp từ internet và Instagram.

Triển khai Mô hình SEER

Mô hình SEER đào tạo trước một RegNetY 256GF với SwAV bằng cách sử dụng sáu vụ mùa trên mỗi hình ảnh, với mỗi hình ảnh có độ phân giải 2×224 + 4×96.

Kết quả của Khung SEER

Chất lượng của các tính năng được tạo ra bởi phương pháp đào tạo trước tự giám sát được nghiên cứu và phân tích trên nhiều chuẩn mực và nhiệm vụ hạ nguồn.

Đào tạo lại Mô hình Đã Đào tạo Trước Lớn

Nó đo lường chất lượng của các mô hình được đào tạo trước trên dữ liệu ngẫu nhiên bằng cách chuyển chúng sang chuẩn mực ImageNet để phân loại đối tượng.

Học với Số lượng Shot Thấp

Học với số lượng shot thấp đề cập đến việc đánh giá hiệu suất của mô hình SEER trong một cài đặt shot thấp, tức là sử dụng chỉ một phần nhỏ của dữ liệu tổng thể khi thực hiện các nhiệm vụ hạ nguồn.

Cài đặt Thử nghiệm

Khung SEER sử dụng hai tập dữ liệu cho việc học với số lượng shot thấp, cụ thể là Places205 và ImageNet.

Kết quả trên Tập dữ liệu Place205

Hình dưới đây cho thấy tác động của việc đào tạo trước mô hình trên các phần khác nhau của tập dữ liệu Place205.

Kết quả trên ImageNet

Bảng dưới đây so sánh phương pháp của mô hình SEER với các phương pháp đào tạo trước tự giám sát và bán giám sát trên việc học với số lượng shot thấp.

Chuyển sang Các Chuẩn mực Khác

Để đánh giá mô hình SEER thêm nữa và phân tích hiệu suất của nó, các tính năng đã được đào tạo trước được chuyển sang các nhiệm vụ hạ nguồn khác.

Đánh giá Linear của Phân loại Hình ảnh

Bảng dưới đây so sánh các tính năng từ mô hình RegNetY-256GF đã được đào tạo trước của SEER và mô hình RegNetY-128GF đã được đào tạo trước trên tập dữ liệu ImageNet với cùng kiến trúc.

Phát hiện và Phân đoạn

Hình dưới đây so sánh các tính năng đã được đào tạo trước trên phát hiện và phân đoạn và đánh giá chúng.

So sánh với Đào tạo Trước có Giám sát Yếu

Hầu hết các hình ảnh có sẵn trên internet thường có mô tả meta hoặc văn bản thay thế, hoặc mô tả, hoặc địa điểm, có thể cung cấp lợi thế trong quá trình đào tạo trước.

Các Nghiên cứu Ablation

Nghiên cứu ablation được thực hiện để phân tích tác động của một thành phần cụ thể đối với hiệu suất tổng thể của mô hình.

Tác động của Kiến trúc Mô hình

Kiến trúc mô hình có tác động đáng kể đến hiệu suất của mô hình, đặc biệt là khi mô hình được tăng quy mô hoặc các thông số của dữ liệu đào tạo trước được sửa đổi.

Tăng quy mô Dữ liệu Đào tạo Trước

Có hai lý do chính tại sao đào tạo mô hình trên một tập dữ liệu lớn hơn có thể cải thiện chất lượng của các tính năng thị giác mà mô hình học được:

Tăng Số lượng Hình ảnh Độc nhất

Hình dưới đây so sánh hai kiến trúc khác nhau, RegNet8 và RegNet16, có cùng số lượng tham số nhưng được đào tạo trên số lượng hình ảnh độc nhất khác nhau.

Nhiều Tham số Hơn

Hình dưới đây chỉ ra hiệu suất của mô hình khi được đào tạo trên một tỷ hình ảnh bằng cách sử dụng kiến trúc RegNet-128GF.

Thị giác Máy tính Tự giám sát trong Thế giới Thực

Cho đến nay, chúng ta đã thảo luận về cách học máy tự giám sát và mô hình SEER cho thị giác máy tính hoạt động trong lý thuyết.

Kết luận: Một Tương lai Tự giám sát

Học máy tự giám sát đã là một chủ đề được thảo luận nhiều trong ngành AI và ML vì nó cho phép các mô hình AI học thông tin trực tiếp từ một lượng lớn dữ liệu có sẵn ngẫu nhiên trên internet thay vì dựa vào các tập dữ liệu được chú thích và gắn nhãn cẩn thận.

Học máy tự giám sát là một khái niệm quan trọng cho tương lai của AI và ML vì nó có tiềm năng cho phép các nhà phát triển tạo ra các mô hình AI thích nghi tốt với các tình huống thực tế và có nhiều trường hợp sử dụng thay vì có một mục đích cụ thể, và SEER là một cột mốc trong việc triển khai học máy tự giám sát trong ngành thị giác máy tính.

Mô hình SEER thực hiện bước đầu tiên trong việc chuyển đổi ngành công nghiệp thị giác máy tính và giảm sự phụ thuộc vào dữ liệu đã được gắn nhãn.

Triển khai SEER đặc biệt hữu ích cho các nhà phát triển đang làm việc trên các mô hình liên quan đến các lĩnh vực có số lượng hình ảnh hoặc siêu dữ liệu hạn chế như ngành y tế.

Hơn nữa, loại bỏ chú thích của con người sẽ cho phép các nhà phát triển phát triển và triển khai mô hình nhanh hơn, điều này sẽ cho phép họ phản ứng với các tình huống đang thay đổi nhanh chóng một cách nhanh hơn và chính xác hơn.