data2vec: Một cột mốc trong học tự giám sát

Mô hình học máy đã phụ thuộc rất nhiều vào dữ liệu được gắn nhãn để đào tạo, và truyền thống là đào tạo mô hình trên dữ liệu được gắn nhãn cho kết quả chính xác. Tuy nhiên, nhược điểm chính của việc sử dụng dữ liệu được gắn nhãn là chi phí gắn nhãn cao, tăng lên khi kích thước của dữ liệu đào tạo tăng lên. Chi phí gắn nhãn cao là một rào cản lớn đối với các nhà phát triển, đặc biệt là khi làm việc trên một dự án lớn với lượng dữ liệu đào tạo đáng kể.

Để giải quyết vấn đề gắn nhãn, các nhà phát triển đã đưa ra khái niệm về SSL hoặc Học tự giám sát. Học tự giám sát là một quá trình học máy trong đó mô hình tự đào tạo để học một phần của đầu vào từ một phần khác của đầu vào. Mô hình Học tự giám sát nhằm khai thác mối quan hệ giữa dữ liệu thay vì sử dụng tín hiệu giám sát của dữ liệu được gắn nhãn.

Ngoài Học tự giám sát, còn có một số phương pháp và mô hình khác để đào tạo mô hình học máy mà không cần sử dụng dữ liệu được gắn nhãn. Tuy nhiên, hầu hết các phương pháp này đều có hai vấn đề chính

1. Chúng thường được chuyên dụng cho một modality duy nhất như hình ảnh hoặc văn bản.
2. Chúng yêu cầu một lượng tính toán lớn.

Những hạn chế này là một vấn đề lớn vì trí thông minh con người có thể học từ một loại dữ liệu duy nhất hiệu quả hơn so với mô hình AI phụ thuộc vào các mô hình và dữ liệu đào tạo riêng biệt để phân biệt giữa hình ảnh, văn bản và giọng nói.

Để giải quyết vấn đề modality duy nhất, Meta AI đã phát hành data2vec, một thuật toán tự giám sát hiệu suất cao đầu tiên để học mẫu thông tin từ ba modality khác nhau: hình ảnh, văn bản và giọng nói. Với việc triển khai thuật toán data2vec, hiểu biết về văn bản có thể được áp dụng cho vấn đề phân đoạn hình ảnh hoặc cũng có thể được triển khai trong nhiệm vụ nhận dạng giọng nói.

Trong bài viết này, chúng ta sẽ thảo luận về mô hình data2vec một cách chi tiết. Chúng ta sẽ thảo luận về phương pháp tổng quan, công việc liên quan, kiến trúc và kết quả của mô hình để bạn có thể hiểu rõ về thuật toán data2vec.

Giới thiệu data2vec: Ý tưởng cốt lõi

Mặc dù khái niệm cơ bản của Học tự giám sát được áp dụng trên các modality, nhưng mục tiêu và thuật toán thực tế khác nhau vì chúng được thiết kế cho một modality duy nhất. Việc thiết kế một mô hình cho một modality duy nhất là lý do tại sao cùng một thuật toán học tự giám sát không thể hoạt động hiệu quả trên các loại dữ liệu đào tạo khác nhau.

Để vượt qua thách thức được trình bày bởi các mô hình và thuật toán modality duy nhất, Meta AI đã phát hành data2vec, một thuật toán sử dụng cùng một phương pháp học cho cả tầm nhìn máy tính, NLP hoặc giọng nói.

Ý tưởng cốt lõi đằng sau thuật toán data2vec là sử dụng chế độ xem bị che khuất của đầu vào để đự đoán các biểu diễn tiềm ẩn của dữ liệu đầu vào đầy đủ trong một thiết lập tự phân hủy với sự giúp đỡ của kiến trúc Transformer tiêu chuẩn. Vì vậy, thay vì các đối tượng modality cụ thể như hình ảnh, văn bản hoặc giọng nói, data2vec dự đoán các biểu diễn tiềm ẩn với thông tin từ toàn bộ dữ liệu đào tạo hoặc đầu vào.

Tại sao ngành công nghiệp AI cần thuật toán Data2Vec?

Mô hình Học tự giám sát xây dựng các biểu diễn của dữ liệu đào tạo bằng cách sử dụng các nhãn được gắn bởi con người, và đó là một trong những lý do chính đằng sau sự tiến bộ của NLP hoặc Computer Vision. Những biểu diễn học tự giám sát này là lý do tại sao các nhiệm vụ như nhận dạng giọng nói và học máy triển khai học không giám sát trong các mô hình của chúng.

Cho đến nay, những thuật toán học tự giám sát này tập trung vào các modality riêng lẻ, dẫn đến việc học bị thiên vị và thiết kế cụ thể trong các mô hình. Các modality riêng lẻ của các thuật toán học tự giám sát tạo ra thách thức trong các ứng dụng AI khác nhau, bao gồm tầm nhìn máy tính và NLP.

Ví dụ, có một từ vựng các đơn vị giọng nói trong xử lý giọng nói có thể xác định một nhiệm vụ học tự giám sát trong NLP. Tương tự, trong tầm nhìn máy tính, các nhà phát triển có thể hồi quy đầu vào, học các token hình ảnh rời rạc hoặc học các biểu diễn bất biến đối với tăng cường dữ liệu. Mặc dù những thiên vị này rất hữu ích, nhưng rất khó để xác nhận liệu những thiên vị này có thể khái quát hóa cho các modality khác.

Thuật toán data2vec là một cột mốc quan trọng trong ngành công nghiệp học tự giám sát vì nó nhằm cải thiện nhiều modality thay vì chỉ một. Hơn nữa, thuật toán data2vec không phụ thuộc vào việc tái tạo đầu vào hoặc học tương phản.

Vì vậy, lý do tại sao thế giới cần data2vec là vì thuật toán data2vec có tiềm năng tăng tốc tiến bộ trong AI và đóng góp vào việc phát triển các mô hình AI có thể học về các khía cạnh khác nhau của môi trường một cách liền mạch. Các nhà khoa học hy vọng rằng thuật toán data2vec sẽ cho phép họ phát triển các mô hình AI và ML thích ứng hơn, có khả năng thực hiện các nhiệm vụ tiên tiến hơn những gì mà các mô hình AI ngày nay có thể làm.

Thuật toán Data2Vec là gì?

Data2vec là một khuôn khổ thống nhất nhằm thực hiện học tự giám sát trên các modality dữ liệu khác nhau, bao gồm hình ảnh, giọng nói và văn bản.

Thuật toán data2vec nhằm phát triển các mô hình ML có thể học các mẫu chung trong môi trường tốt hơn bằng cách giữ mục tiêu học thống nhất trên các modality khác nhau. Mô hình data2vec thống nhất thuật toán học, nhưng nó vẫn học các biểu diễn cho từng modality riêng lẻ.

Với việc giới thiệu thuật toán data2vec, Meta AI hy vọng rằng nó sẽ làm cho học đa modality hiệu quả và đơn giản hơn.

Thuật toán Data2Vec hoạt động như thế nào?

Thuật toán data2vec kết hợp việc học các biểu diễn tiềm ẩn với dự đoán bị che khuất, mặc dù nó sử dụng nhiều lớp mạng làm mục tiêu để khái quát hóa các biểu diễn tiềm ẩn. Mô hình cụ thể đào tạo một mạng Transformer sẵn sàng mà sau đó được sử dụng trong chế độ giáo viên hoặc chế độ học sinh.

Trong chế độ giáo viên, mô hình đầu tiên xây dựng các biểu diễn của dữ liệu đầu vào phục vụ làm mục tiêu trong nhiệm vụ học. Trong chế độ học sinh, mô hình mã hóa một phiên bản bị che khuất của dữ liệu đầu vào mà sau đó được sử dụng để dự đoán các biểu diễn của dữ liệu đầy đủ.

Hình ảnh trên thể hiện cách mô hình data2vec sử dụng cùng một quá trình học cho các modality khác nhau. Trong bước đầu tiên, mô hình tạo ra các biểu diễn của dữ liệu đầu vào (chế độ giáo viên). Sau đó, mô hình hồi quy các biểu diễn này dựa trên một phiên bản bị che khuất của dữ liệu đầu vào.

Hơn nữa, vì thuật toán data2vec sử dụng các biểu diễn tiềm ẩn của dữ liệu đầu vào, nó có thể được xem là một phiên bản đơn giản hóa của các thiết kế modality cụ thể như tạo mục tiêu phù hợp bằng cách chuẩn hóa đầu vào hoặc học một tập hợp cố định các token hình ảnh. Nhưng điểm khác biệt quan trọng giữa data2vec và các thuật toán khác là data2vec sử dụng tự chú ý để làm cho biểu diễn mục tiêu được ngữ cảnh hóa và liên tục. Mặt khác, các mô hình học tự giám sát khác sử dụng một tập hợp cố định các mục tiêu dựa trên ngữ cảnh cục bộ.

Phương pháp Data2vec

Mô hình data2vec được đào tạo bằng cách dự đoán các biểu diễn của mô hình dữ liệu đầu vào dựa trên một cái nhìn một phần của đầu vào. Như bạn có thể thấy trong hình dưới đây, khuôn mặt của con chó bị che khuất, một phần cụ thể của ghi chú giọng nói bị che khuất và từ “với” bị che khuất trong văn bản.

Mô hình đầu tiên mã hóa một phiên bản bị che khuất của mẫu đào tạo (chế độ học sinh), và sau đó mã hóa phiên bản không bị che khuất của đầu vào để xây dựng mục tiêu đào tạo với cùng một mô hình nhưng chỉ khi nó được tham số hóa như một giá trị trung bình số mũ của trọng số mô hình(chế độ giáo viên). Hơn nữa, các biểu diễn mục tiêu mã hóa thông tin hiện tại trong mẫu đào tạo, và trong chế độ học sinh, nhiệm vụ học được sử dụng để dự đoán các biểu diễn này khi cho một cái nhìn một phần của đầu vào.

Kiến trúc Mô hình

Mô hình data2vec sử dụng một kiến trúc Transformer tiêu chuẩn với mã hóa modality cụ thể của dữ liệu đầu vào. Đối với các nhiệm vụ liên quan đến tầm nhìn máy tính, mô hình sử dụng chiến lược ViT để mã hóa hình ảnh thành một chuỗi các bản vá với mỗi bản vá có kích thước 16×16 pixel, và được cho vào một biến đổi tuyến tính.

Hơn nữa, đối với dữ liệu nhận dạng giọng nói, mô hình mã hóa dữ liệu bằng cách sử dụng một mạng nơ-ron convolutional một chiều nhiều lớp mà ánh xạ các sóng 16 kHz thành các biểu diễn 50 Hz. Để xử lý dữ liệu văn bản, mô hình tiền xử lý dữ liệu để trích xuất các đơn vị con từ và sau đó nhúng dữ liệu vào không gian phân bố thông qua các vector nhúng.

Che khuất

Khi mô hình mã hóa dữ liệu đầu vào thành một chuỗi các token, mô hình che khuất một phần của các đơn vị này bằng cách thay thế chúng bằng một token nhúng, và sau đó cho chuỗi vào mạng Transformer. Đối với tầm nhìn máy tính, mô hình thực hành chiến lược che khuất theo khối.

Mục tiêu Đào tạo

Mô hình data2vec nhằm dự đoán các biểu diễn của mẫu đào tạo không bị che khuất dựa trên mã hóa của mẫu bị che khuất ban đầu được cho vào mô hình. Mô hình dự đoán các biểu diễn chỉ cho các bước thời gian bị che khuất.

Mô hình dự đoán biểu diễn được ngữ cảnh hóa mà không chỉ mã hóa bước thời gian cụ thể, mà còn mã hóa thông tin khác từ mẫu vì nó sử dụng tự chú ý trong mạng Transformer. Các biểu diễn được ngữ cảnh hóa và việc sử dụng mạng Transformer là những gì phân biệt mô hình data2vec với các mô hình hiện có như BERT, wav2vec, BEiT, SimMIM, MAE và MaskFeat mà dự đoán mục tiêu mà không có thông tin ngữ cảnh.

Dưới đây là cách mô hình data2vec tham số hóa chế độ giáo viên để dự đoán các biểu diễn mạng mà sau đó phục vụ làm mục tiêu.

Tham số hóa Giáo viên

Mô hình data2vec tham số hóa mã hóa của mẫu đào tạo không bị che khuất bằng cách sử dụng EMA hoặc Trung bình di chuyển số mũ của các tham số mô hình(θ) nơi trọng số của mô hình trong chế độ mục tiêu(△) là như sau

                                           ∆ ← τ∆ + (1 − τ ) θ

Hơn nữa, mô hình sắp xếp τ đó tăng tuyến tính từ  τ0 đến τe (giá trị mục tiêu) trong suốt các cập nhật đầu tiên τn. Sau các cập nhật này, mô hình giữ giá trị không đổi cho đến khi đào tạo kết thúc. Việc sử dụng chiến lược EMA cập nhật giáo viên thường xuyên hơn vào đầu khi đào tạo bắt đầu khi mô hình là ngẫu nhiên. Khi đào tạo tiến hành và các tham số tốt đã được học, giáo viên được cập nhật ít thường xuyên hơn.

Kết quả cho thấy mô hình hiệu quả và chính xác hơn khi nó chia sẻ các tham số của bộ mã hóa tính năng và bộ mã hóa vị trí giữa chế độ học sinh và chế độ giáo viên.

Mục tiêu

Xây dựng mục tiêu đào tạo phụ thuộc vào đầu ra của các khối trên cùng K của mạng giáo viên cho các bước thời gian bị che khuất trong chế độ học sinh. Đầu ra của khối l tại bất kỳ bước thời gian t được biểu thị là alt. Mô hình sau đó áp dụng chuẩn hóa cho mỗi khối để thu được âlt trước khi nó tính trung bình các khối trên cùng K 

để thu được mục tiêu đào tạo yt cho bước thời gian t cho một mạng có L khối tổng cộng. 

Nó tạo ra mục tiêu đào tạo mà mô hình hồi quy khi nó ở chế độ học sinh. Trong các thí nghiệm ban đầu, mô hình data2vec hoạt động tốt khi dự đoán mỗi khối riêng biệt với một phép chiếu chuyên dụng, và hiệu quả hơn nhiều.

Hơn nữa, việc chuẩn hóa mục tiêu cũng cho phép mô hình data2vec không bị sụp đổ thành các biểu diễn không đổi cho các bước thời gian, và ngăn chặn các lớp có chuẩn hóa cao chiếm ưu thế các tính năng trong tập dữ liệu mục tiêu. Đối với nhận dạng giọng nói, mô hình sử dụng chuẩn hóa thể hiện trên mẫu đầu vào hiện tại mà không có bất kỳ tham số học nào. Đó chủ yếu là vì khi bước nhảy trên dữ liệu đầu vào là nhỏ, các biểu diễn lân cận là cao tương quan.

Ngoài ra, các nhà nghiên cứu đã tìm thấy rằng khi làm việc với tầm nhìn máy tính và NLP, chuẩn hóa không có tham số là đủ. Vấn đề này cũng có thể được giải quyết bằng cách điều chỉnh Variance-Invariance-Covariance nhưng chiến lược trên hoạt động đủ tốt và không yêu cầu bất kỳ tham số bổ sung nào.

Mục tiêu

Đối với mục tiêu đào tạo được ngữ cảnh hóa yt, mô hình sử dụng một Loss L1 mịn để hồi quy mục tiêu như được đề cập dưới đây

Ở đây, β kiểm soát việc chuyển đổi từ mất mát vuông sang mất mát L1, và nó phụ thuộc rất nhiều vào kích thước của khoảng cách giữa dự đoán của mô hình ft(x) tại bước thời gian t. Ưu điểm của mất mát này là nó nhạy cảm tương đối ít với các ngoại lệ, với nhu cầu điều chỉnh cài đặt của β. 

Cài đặt Thí nghiệm

Mô hình data2vec được thí nghiệm với hai kích thước mô hình: data2vec Large và data2vec Base. Đối với sự ổn định số, các cập nhật EMA được thực hiện trong fp32, và các mô hình chứa L= 12 hoặc L= 24 khối Transformer với kích thước ẩn(H) = 768 hoặc H= 1024.  Hãy để chúng ta xem xét cài đặt thí nghiệm chi tiết cho các modality khác nhau và mục đích.

Tầm nhìn Máy tính

Mô hình data2vec nhúng hình ảnh 224×224 pixel thành các bản vá 16×16 pixel. Mỗi bản vá này được biến đổi tuyến tính, và một chuỗi với 196 biểu diễn được cho vào mạng Transformer tiêu chuẩn. 

Mô hình theo BEiT để che khuất các khối lân cận với mỗi khối có ít nhất 16 bản vá với tỷ lệ_aspect ngẫu nhiên. Tuy nhiên, thay vì che khuất 40% bản vá như trong mô hình BEiT ban đầu, mô hình data2vec che khuất 60% bản vá để có độ chính xác tốt hơn. 

Hơn nữa, mô hình ngẫu nhiên thay đổi kích thước các bản vá hình ảnh, lật ngang và thay đổi màu sắc. Cuối cùng, mô hình data2vec sử dụng cùng một hình ảnh đã sửa đổi trong cả chế độ giáo viên và chế độ học sinh. 

Mô hình ViT-B được tiền đào tạo trong 800 kỷ, và mô hình data2vec sử dụng kích thước批 8.192 cho mô hình ViT-L, và 2.048 cho mô hình ViT-B. Mô hình data2vec cũng sử dụng một lịch trình cosine và một lịch trình Adam để làm nóng学习 suất trong 80 kỷ cho mô hình ViT-L, và trong 40 kỷ cho mô hình ViT-B. 

Đối với cả ViT-B và ViT-L, mô hình data2vec sử dụng β = 2, K = 6 và τ = 0,9998 là hằng số mà không có lịch trình. Mô hình cũng sử dụng tỷ lệ độ sâu ngẫu nhiên 0,2. 

Hơn nữa, đối với ViT-L, mô hình đào tạo trong 1.600 kỷ, trong đó 800 kỷ đầu tiên có suất học là 0,9998, và sau đó mô hình đặt lại lịch trình suất học, và tiếp tục trong 800 kỷ cuối với suất học là 0,9999. 

Đối với phân loại hình ảnh, mô hình sử dụng trung bình của đầu ra của khối Transformer cuối cùng, và cho vào một phân loại softmax. Mô hình sau đó tinh chỉnh ViT-L trong 50 kỷ, và ViT-B trong 100 kỷ sử dụng cosine và Adam để làm nóng suất học. 

Xử lý Giọng nói

Đối với xử lý giọng nói, mô hình data2vec sử dụng Fairseq, một bộ công cụ mô hình hóa chuỗi để đào tạo các mô hình tùy chỉnh cho tóm tắt, dịch và sinh văn bản. Mô hình lấy sóng 16 kHz làm đầu vào được xử lý bằng một bộ mã hóa tính năng, và chứa các convolution tạm thời với 512 kênh, chiều rộng hạt nhân (10,3,3,3,3,2,2), và bước nhảy (5,2,2,2,2,2,2). 

Kết quả là tần số đầu ra của bộ mã hóa là 50Hz, và nó có bước nhảy 20ms giữa mỗi mẫu. Trường nhận thức gồm 400 mẫu đầu vào hoặc 25 ms âm thanh. Sóng hình dạng thô được cho vào bộ mã hóa được chuẩn hóa đến phương sai đơn vị và trung bình là 0. 

Chiến lược che khuất được sử dụng bởi mô hình data2vec cho mô hình Base tương tự như khuôn khổ Baevski cho học tự giám sát trong nhận dạng giọng nói. Mô hình lấy mẫu p = 0,065 cho tất cả các bước thời gian để trở thành các chỉ số bắt đầu, và tiếp tục đánh dấu mười bước thời gian tiếp theo. Đối với một chuỗi đào tạo điển hình, quá trình này cho phép gần 49% tổng số bước thời gian bị che khuất. 

Trong đào tạo, mô hình data2vec tuyến tính anneal τ sử dụng τo = 0,999, τe = 0,9999, và τn = 30.000. Mô hình data2vec sử dụng bộ tối ưu hóa Adam với suất học đỉnh là 5×10-4 cho mô hình Base. Hơn nữa, mô hình Base sử dụng một lịch trình ba giai đoạn mà làm nóng suất học tuyến tính trong 3% đầu tiên của các cập nhật, duy trì nó trong 90% tiếp theo, và sau đó giảm dần tuyến tính trong 7% còn lại. 

Xử lý Ngôn ngữ Tự nhiên

Mô hình data2vec sử dụng mã hóa cặp byte 50K loại để mã hóa đầu vào, và mô hình sau đó học một nhúng cho mỗi loại. Sau khi dữ liệu được mã hóa, mô hình áp dụng chiến lược che khuất BERT cho 15% token được chọn đồng đều, trong đó 80% được thay thế bằng token mask học được, 10% được thay thế bằng token từ vựng ngẫu nhiên, và 10% còn lại không thay đổi. 

Trong quá trình tiền đào tạo, mô hình sử dụng τo = 0,999, τe = 0,9999, và τn = 100.000, K= 10, và β = 4. Mô hình sử dụng bộ tối ưu hóa Adam với một lịch trình ba giai đoạn mà làm nóng suất học tuyến tính trong 5% đầu tiên của các cập nhật, duy trì nó trong 80% tiếp theo, và sau đó giảm dần tuyến tính trong 15% còn lại, với suất học đỉnh là 2×10-4. 

Hơn nữa, mô hình đào tạo trên 16 GPU với kích thước批 256 chuỗi, và mỗi chuỗi chứa khoảng 512 token. Đối với hạ lưu, mô hình được tiền đào tạo trong bốn suất học khác nhau: 1×10-4, 2×10-4, 3×10-4, 4×10-4, và suất học hoạt động tốt nhất được chọn cho các nhiệm vụ hạ lưu NLP tiếp theo. 

Kết quả

Hãy để chúng ta xem xét hiệu suất của mô hình data2vec khi nó triển khai các chiến lược được thảo luận trên cho các modality khác nhau. 

Tầm nhìn Máy tính

Để đánh giá kết quả cho tầm nhìn máy tính, mô hình data2vec được tiền đào tạo trên hình ảnh từ ImageNet-1K dataset. Mô hình kết quả sau đó được tinh chỉnh bằng cách sử dụng dữ liệu được gắn nhãn của cùng một điểm chuẩn. Theo thực hành tiêu chuẩn, mô hình sau đó được đánh giá về chính xác hàng đầu trên dữ liệu xác thực.

Kết quả sau đó được phân biệt dựa trên một mô hình tự giám sát duy nhất, và đào tạo một bộ mã hóa hình ảnh riêng biệt trên dữ liệu bổ sung, hoặc các mô hình học tự giám sát khác. 

Bảng dưới đây so sánh hiệu suất của mô hình data2vec cho tầm nhìn máy tính, và các mô hình hiện có khác: ViT-L, và ViT-B. 

Kết quả từ bảng trên có thể được tóm tắt như sau. 

• Mô hình data2vec vượt trội so với các công việc trước đó với cả hai mô hình ViT-L và ViT-B trong cài đặt mô hình đơn.
• Cài đặt dự đoán bị che khuất được sử dụng trong thuật toán data2vec để dự đoán các biểu diễn tiềm ẩn được ngữ cảnh hóa hoạt động tốt hơn so với các phương pháp dự đoán mục tiêu cục bộ như thiết kế các tính năng hình ảnh, pixel đầu vào, hoặc token hình ảnh.
• Mô hình data2vec cũng vượt trội so với các phương pháp tự phân hủy mà hồi quy lớp cuối cùng của mạng học sinh trong khi lấy hai phiên bản tăng cường khác nhau của một hình ảnh làm đầu vào.

Âm thanh và Giọng nói

Đối với xử lý âm thanh và giọng nói, mô hình data2vec được đào tạo trên khoảng 960 giờ dữ liệu âm thanh từ Librispeech(LS-960) dataset. Dữ liệu này chứa âm thanh giọng nói sạch từ sách nói tiếng Anh, và nó được coi là một điểm chuẩn tiêu chuẩn trong ngành công nghiệp xử lý âm thanh và giọng nói.

Để phân tích hiệu suất của mô hình trong các cài đặt tài nguyên khác nhau, các nhà nghiên cứu đã tinh chỉnh mô hình data2vec để sử dụng các lượng dữ liệu được gắn nhãn khác nhau (từ vài phút đến vài giờ) cho nhận dạng giọng nói tự động. Để phân tích hiệu suất của mô hình, data2vec được so sánh với HuBERT và wav2vec 2.0, hai thuật toán phổ biến nhất để học biểu diễn âm thanh và giọng nói dựa trên đơn vị giọng nói rời rạc.

Bảng trên so sánh hiệu suất của data2vec về tốc độ từ cho nhận dạng giọng nói với các mô hình hiện có khác. LM đại diện cho mô hình ngôn ngữ được sử dụng để giải mã. Kết quả có thể được tóm tắt như sau. 

• Mô hình data2vec cho thấy sự cải thiện đối với hầu hết các cài đặt dữ liệu được gắn nhãn, với sự tăng lớn nhất là 10 phút dữ liệu được gắn nhãn cho mô hình Base.
• Khi nói đến các mô hình lớn, mô hình hoạt động tốt hơn đáng kể trên các tập dữ liệu được gắn nhãn nhỏ, và hiệu suất tương đương trên các tập dữ liệu được gắn nhãn giàu tài nguyên với hơn 100 và 960 giờ dữ liệu được gắn nhãn. Đó là vì hiệu suất thường bão hòa trên các tập dữ liệu được gắn nhãn giàu tài nguyên cho hầu hết các mô hình.
• Sau khi phân tích hiệu suất, có thể kết luận rằng khi mô hình sử dụng mục tiêu được ngữ cảnh hóa giàu, nó không cần thiết phải học các đơn vị rời rạc.
• Học các mục tiêu được ngữ cảnh hóa trong quá trình đào tạo giúp cải thiện hiệu suất tổng thể đáng kể.

Hơn nữa, để xác nhận cách tiếp cận của data2vec cho nhận dạng giọng nói, mô hình cũng được đào tạo trên AudioSet benchmark. Mặc dù cài đặt tiền đào tạo cho AudioSet tương tự như Librispeech, mô hình được đào tạo cho K= 12, và hơn 200.000 cập nhật, với kích thước mỗi批 là 94,5 phút. 

Mô hình sau đó áp dụng DeepNorm khung và chuẩn hóa lớp để giúp ổn định đào tạo. Ngoài ra, mô hình cũng được tinh chỉnh trên các tập con cân bằng với kích thước批 21,3 phút trong 13.000 cập nhật. Mô hình cũng sử dụng Softmax Pooling tuyến tính và mixup với một xác suất điểm 0,7. Mô hình sau đó thêm một phép chiếu tuyến tính đơn vào 527 lớp âm thanh duy nhất, và đặt suất học của phép chiếu là 2e-4. 

Hơn nữa, các tham số được đào tạo trước có suất học là 3e-5, và mô hình sử dụng kỹ thuật che khuất để tinh chỉnh tập dữ liệu. Bảng dưới đây tóm tắt kết quả, và có thể thấy rằng mô hình data2vec có khả năng vượt trội so với một cài đặt tương đương với cùng một tinh chỉnh và dữ liệu đào tạo. 

Xử lý Ngôn ngữ Tự nhiên

Để phân tích hiệu suất của data2vec trên văn bản, mô hình theo BERT và đào tạo trước mô hình trên tập dữ liệu Wikipedia tiếng Anh với hơn 1 triệu cập nhật, và kích thước批 là 256 chuỗi. Mô hình được đánh giá trên GLUE hoặc Benchmark Đánh giá Tổng quát về Ngôn ngữ, bao gồm các nhiệm vụ suy luận ngôn ngữ tự nhiên (MNLI hoặc Suy luận Tự nhiên Đa thể loại), sự tương tự câu (QQP hoặc Cặp câu hỏi Quora, MRPC hoặc Corpus Đoạn văn Nghiên cứu Microsoft (MSFT ), và STS-B hoặc Benchmark Tương tự Ngôn ngữSemantic), phân tích cảm xúc (SST-2 hoặc Cây cảm xúc Stanford), và ngữ pháp (CoLA). 

Hơn nữa, để tinh chỉnh mô hình data2vec, dữ liệu được gắn nhãn được cung cấp bởi mỗi nhiệm vụ, và độ chính xác trung bình được báo cáo trên các tập phát triển với 5 lần tinh chỉnh. Bảng dưới đây tóm tắt hiệu suất của mô hình data2vec cho các nhiệm vụ Xử lý Ngôn ngữ Tự nhiên, và so sánh nó với các mô hình khác. 

• Bảng trên cho thấy rằng mô hình data2vec vượt trội so với mô hình cơ sở RoBERTa vì chiến lược trong mô hình data2vec không sử dụng mục tiêu ngẫu nhiên.
• Mô hình data2vec là mô hình NLP tiền đào tạo đầu tiên thành công không sử dụng đơn vị rời rạc như ký tự, từ hoặc subword làm mục tiêu đào tạo. Thay vào đó, khuôn khổ data2vec dự đoán biểu diễn tiềm ẩn được ngữ cảnh hóa trên toàn bộ chuỗi văn bản không bị che khuất.
• Nó giúp tạo ra một nhiệm vụ học trong đó mô hình được yêu cầu dự đoán mục tiêu có các thuộc tính cụ thể từ chuỗi hiện tại thay vì dự đoán biểu diễn chung cho mỗi đơn vị văn bản với sự phân biệt cụ thể.
• Hơn nữa, tập mục tiêu đào tạo không cố định, và mô hình được tự do định nghĩa các mục tiêu mới, và nó mở cho các cài đặt từ vựng.

Phân tích Ablation của Data2vec

Ablation là một thuật ngữ được sử dụng để chỉ việc loại bỏ một thành phần trong các hệ thống AI và ML. Một nghiên cứu ablation được sử dụng để điều tra hoặc phân tích hiệu suất của một mô hình AI hoặc ML bằng cách loại bỏ các thành phần chính khỏi mô hình, cho phép các nhà nghiên cứu hiểu được sự đóng góp của thành phần đó trong toàn bộ hệ thống. 

Mục tiêu Trung bình theo Lớp

Sự khác biệt chính giữa data2vec và các mô hình học tự giám sát khác là data2vec sử dụng mục tiêu dựa trên việc trung bình nhiều lớp từ mạng giáo viên. Ý tưởng này xuất phát từ thực tế là các lớp trên cùng của mô hình wav2vec 2.0 không hoạt động tốt cho các nhiệm vụ hạ lưu khi so sánh với các lớp giữa của mô hình. 

Trong thí nghiệm sau, hiệu suất của tất cả ba modality được đo bằng cách trung bình K= 1, 2, …, 12 lớp, trong đó K= 1 dự đoán chỉ lớp trên cùng. Tuy nhiên, để trích xuất thời gian quay trở lại nhanh hơn, mô hình data2vec đào tạo mô hình Base với 12 lớp tổng cộng. Đối với nhận dạng giọng nói, mô hình được tiền đào tạo trên hơn 200.000 cập nhật trên Librispeech, và sau đó tinh chỉnh trên một phân chia 10 giờ được gắn nhãn của Libri-light. Đối với Xử lý Ngôn ngữ Tự nhiên, mô hình báo cáo điểm GLUE trung bình cho tập xác thực, và đào tạo trước mô hình trong 300 kỷ cho tầm nhìn máy tính, và sau đó báo cáo độ chính xác hàng đầu được thu được trên tập dữ liệu ImageNet. 

Bảng trên cho thấy rằng mục tiêu dựa trên nhiều lớp thường cải thiện khi chỉ sử dụng lớp trên cùng K=1 cho tất cả các modality. Sử dụng tất cả các lớp có sẵn là một thực hành tốt vì các mạng nơ-ron xây dựng các tính năng trên các loại tính năng khác nhau, và nhiều lớp được trích xuất dưới dạng các lớp tính năng. 

Sử dụng tính năng từ nhiều lớp giúp tăng độ chính xác, và làm phong phú quá trình học tự giám sát. 

Loại Tính năng Mục tiêu

Các khối Transformer trong mô hình data2vec có nhiều lớp có thể phục vụ tất cả làm mục tiêu. Để phân tích cách các lớp khác nhau ảnh hưởng đến hiệu suất, mô hình được đào tạo trước trên mô hình giọng nói Librispeech sử dụng các lớp khác nhau làm tính năng mục tiêu. 

Hình dưới đây chỉ ra rằng đầu ra của mạng feedforward hoặc FFN hoạt động lý tưởng, trong khi đầu ra của các khối tự chú ý không tạo ra một mô hình có thể sử dụng. 

Ngữ cảnh hóa Mục tiêu

Biểu diễn giáo viên trong mô hình data2vec sử dụng tự chú ý trên toàn bộ đầu vào để tạo ra mục tiêu được ngữ cảnh hóa. Đó là điều phân biệt data2vec với các mô hình dự đoán bị che khuất khác xây dựng một nhiệm vụ học bằng cách tái tạo hoặc dự đoán các phần cục bộ của đầu vào. Nó đặt ra câu hỏi: Liệu mô hình data2vec có yêu cầu mục tiêu được ngữ cảnh hóa để hoạt động tốt? 

Để trả lời câu hỏi, các nhà nghiên cứu xây dựng các biểu diễn mục tiêu không có quyền truy cập vào toàn bộ đầu vào dữ liệu, mà chỉ một phần của nó đã được xác định trước. Mô hình sau đó hạn chế cơ chế tự chú ý của giáo viên, cho phép nó chỉ truy cập vào một phần của đầu vào. Sau khi mô hình đã được đào tạo, nó được tinh chỉnh để truy cập toàn bộ kích thước ngữ cảnh. 

Hình dưới đây cho thấy rằng các kích thước ngữ cảnh lớn hơn thường dẫn đến hiệu suất tốt hơn, và khi toàn bộ đầu vào mẫu có thể nhìn thấy, nó mang lại độ chính xác tốt nhất. Nó cũng chứng minh rằng các biểu diễn mục tiêu phong phú hơn có thể mang lại hiệu suất tốt hơn. 

Trích xuất Tính năng và Che khuất Cụ thể cho Modality

Mục tiêu chính của data2vec là thiết kế một cơ chế học đơn giản có thể hoạt động với các modality khác nhau. Đó là vì, mặc dù các khuôn khổ và mô hình hiện tại có một chế độ học thống nhất, chúng vẫn sử dụng che khuất và trích xuất tính năng cụ thể cho modality. 

Điều đó có ý nghĩa khi các khuôn khổ chủ yếu hoạt động với một modality duy nhất, xem xét bản chất của dữ liệu đầu vào thay đổi rất nhiều từ một modality này sang một modality khác. Ví dụ, các mô hình nhận dạng giọng nói sử dụng đầu vào có độ phân giải cao (như sóng 10 kHz) thường có hàng nghìn mẫu. Sóng này sau đó được xử lý bởi khuôn khổ bằng cách sử dụng một mạng nơ-ron convolutional nhiều lớp để thu được các chuỗi tính năng 50 Hz. 

Mục tiêu Cấu trúc và Ngữ cảnh hóa

Điểm khác biệt chính giữa data2vec và các mô hình dự đoán bị che khuất khác là mô hình data2vec sử dụng các tính năng mục tiêu được ngữ cảnh hóa. Những tính năng này được xây dựng bằng cách sử dụng tự chú ý của toàn bộ đầu vào bị che khuất trong chế độ giáo viên. 

Một số khuôn khổ khác như BYOL (Bootstrap Your Own Latent) hoặc DINO cũng sử dụng biểu diễn tiềm ẩn như data2vec, nhưng mục tiêu chính của chúng là học các biểu diễn bất biến đối với biến đổi. 

Tư duy Cuối cùng

Các công việc gần đây trong ngành công nghiệp AI và ML đã chỉ ra rằng kiến trúc mô hình thống nhất có thể là một cách tiếp cận hiệu quả để giải quyết nhiều modality. Mô hình data2vec sử dụng một cách tiếp cận học tự giám sát cho việc làm việc với ba modality: giọng nói, hình ảnh và ngôn ngữ. 

Khái niệm chính đằng sau mô hình data2vec là sử dụng một cái nhìn một phần của đầu vào để hồi quy thông tin hoặc dữ liệu đầu vào được ngữ cảnh hóa. Cách tiếp cận được sử dụng bởi khuôn khổ data2vec là hiệu quả vì mô hình hoạt động tốt hơn so với các mô hình học tự giám sát trước đó trên tập dữ liệu ImageNet-1K cho cả hai mô hình ViT-B và ViT-L. 

Data2vec thực sự là một cột mốc trong ngành công nghiệp học tự giám sát vì nó chứng minh rằng một phương pháp học đơn giản cho việc học nhiều modality có thể thực sự làm cho nó dễ dàng hơn cho các mô hình để học trên các modality.