Mô hình ngôn ngữ và trí tuệ nhân tạo tạo ra, nổi tiếng với khả năng của chúng, là một chủ đề nóng trong ngành công nghiệp trí tuệ nhân tạo. Các nhà nghiên cứu toàn cầu đang tăng cường hiệu quả và khả năng của các hệ thống này. Các hệ thống này, thường là mô hình học sâu, được đào tạo trước trên dữ liệu có nhãn rộng lớn, kết hợp mạng nơ-ron tự chú ý. Chúng sử dụng các lớp khác nhau – feedforward, hồi quy, nhúng và chú ý – để xử lý văn bản đầu vào và tạo ra đầu ra liên quan.

Đa số, các lớp feedforward của mô hình ngôn ngữ lớn chứa nhiều tham số nhất. Các nghiên cứu cho thấy rằng các mô hình này chỉ sử dụng một phần nhỏ của các nơ-ron có sẵn cho tính toán đầu ra trong quá trình suy luận.

Bài viết này giới thiệu UltraFastBERT, một khuôn khổ dựa trên BERT tương đương với hiệu quả của các mô hình BERT hàng đầu nhưng chỉ sử dụng 0,3% nơ-ron trong quá trình suy luận, cụ thể là 12 nơ-ron trong số 4095 nơ-ron cho mỗi lớp. Chúng tôi sẽ khám phá kiến trúc, chức năng và kết quả của UltraFastBERT. Hãy bắt đầu.

UltraFastBERT: Giới Thiệu Về Mô Hình Ngôn Ngữ Nhanh Hơn Theo Lũy Tỉ

Truyền thống, một mô hình ngôn ngữ sử dụng các thành phần khác nhau để trang bị khả năng tạo nội dung bao gồm các lớp feedforward, lớp hồi quy, lớp nhúng và lớp chú ý. Các thành phần này chịu trách nhiệm học cách nhận ra mẫu trong quá trình đào tạo và cuối cùng tạo ra đầu ra chính xác dựa trên văn bản đầu vào. Mỗi thành phần này có một số tham số, và trong các mô hình ngôn ngữ, số lượng lớn các tham số này được giữ bởi các lớp feedforward. Tuy nhiên, các lớp feedforward này không sử dụng 100% nơ-ron có sẵn để tạo ra đầu ra cho mọi đầu vào tại thời điểm suy luận, dẫn đến lãng phí tài nguyên, tăng độ phức tạp, thời gian tính toán và chi phí tính toán.

Ở cốt lõi, khuôn khổ UltraFastBERT là một biến thể của khuôn khổ BERT, xây dựng trên khái niệm này và thay thế các lớp feedforward bằng các mạng feedforward nhanh hơn trong kiến trúc của nó, điều này cuối cùng dẫn đến khuôn khổ UltraFastBERT chỉ sử dụng 0,3% nơ-ron có sẵn trong khi tạo ra kết quả tương đương với các mô hình BERT có kích thước và quá trình đào tạo tương tự, đặc biệt là trên các nhiệm vụ hạ lưu.

Cho một mạng feedforward nhanh (FFF) và một mạng feedforward (FF), mỗi mạng có n nơ-ron, độ phức tạp thời gian của một lượt tiến ở mạng feedforward là O(n) trong khi độ phức tạp thời gian là O(log2n) cho mạng feedforward nhanh, và sự khác biệt về độ phức tạp thời gian chủ yếu là do trong mạng feedforward nhanh, các nơ-ron được tổ chức thành một cây nhị phân cân bằng, và khi đầu vào được cung cấp, mạng chỉ thực hiện một nhánh của cây có điều kiện.

Mạng Nơ-Ron Feedforward

Một mạng nơ-ron feedforward là một trong những mạng nơ-ron nhân tạo đơn giản nhất, di chuyển thông tin chỉ theo hướng tiến, từ các nơ-ron đầu vào đến các nơ-ron đầu ra thông qua các nơ-ron ẩn. Một trong những điểm nổi bật của mạng nơ-ron feedforward nhanh là không có vòng lặp hoặc chu kỳ trong các mạng này, và chúng đơn giản hơn để xây dựng so với mạng nơ-ron hồi quy (RNN) hoặc mạng nơ-ron truyền thống (CNN).

Giai đoạn Feedforward

Trong giai đoạn feedforward, đầu vào được cung cấp cho mạng và sau đó được truyền tiến. Các lớp ẩn tính toán tổng trọng số của đầu vào, giới thiệu phi tuyến tính vào mô hình bằng cách truyền tổng đầu vào qua một hàm kích hoạt như ReLu, Sigmoid và TanH.

Giai đoạn Backpropagation

Sau khi mô hình tạo ra dự đoán, nó tính toán lỗi giữa đầu ra tạo ra và đầu ra dự kiến. Lỗi sau đó được truyền ngược qua mạng, và mạng sử dụng một thuật toán tối ưu hóa gradient descent để điều chỉnh trọng số trong một nỗ lực để giảm thiểu lỗi.

UltraFastBERT: Kiến Trúc và Hoạt Động

Khuôn khổ UltraFastBERT được xây dựng trên kiến trúc crammedBERT, và khuôn khổ UltraFastBERT sử dụng tất cả các thành phần của khuôn khổ crammedBERT ngoại trừ bản chất của các lớp trung gian. Thay vào đó, khuôn khổ UltraFastBERT thay thế bộ mã hóa transformer trong các mạng feedforward chứa trong các lớp trung gian của khuôn khổ crammedBERT bằng các mạng feedforward nhanh.

Can Thiệp

Can thiệp là một phần quan trọng của mạng feedforward nhanh, và các mạng feedforward nhanh này hình thành một phần quan trọng của các mô hình ngôn ngữ lớn, và chúng được biết đến với tiềm năng tăng tốc vượt trội.

Thuật Toán và Tương Thích

Khuôn khổ UltraFastBERT sử dụng một thuật toán pseudocode đệ quy cho can thiệp mạng feedforward nhanh, và thuật toán này được thể hiện trong hình ảnh dưới đây.

UltraFastBERT: Hiệu Suất và Kết Quả

Chúng tôi sẽ thảo luận về hiệu suất của khuôn khổ UltraFastBERT cho việc tinh chỉnh cũng như cho các nhiệm vụ can thiệp để phân tích cách khuôn khổ này hoạt động so với các mô hình ngôn ngữ hàng đầu.

Kết Quả Tinh Chỉnh

Bảng sau minh họa hiệu suất của các mô hình khác nhau trên tập dữ liệu kiểm tra GLUE-dev.

Kết Quả Can Thiệp

Trong phần này, chúng tôi sẽ so sánh hiệu suất của các mạng feedforward hoặc mạng feedforward nhanh trên các triển khai can thiệp, và các triển khai này được phân chia thành ba cấp độ.

Tư Duy Cuối Cùng

Trong bài viết này, chúng tôi đã thảo luận về UltraFastBERT, một biến thể của khuôn khổ BERT, xây dựng trên khái niệm rằng các lớp feedforward không sử dụng 100% nơ-ron có sẵn để tạo ra đầu ra cho mọi đầu vào tại thời điểm suy luận, dẫn đến lãng phí tài nguyên, tăng độ phức tạp, thời gian tính toán và chi phí tính toán, và thay thế các lớp feedforward bằng các mạng feedforward nhanh hơn trong kiến trúc của nó, điều này cuối cùng dẫn đến khuôn khổ UltraFastBERT chỉ sử dụng 0,3% nơ-ron có sẵn trong khi tạo ra kết quả tương đương với các mô hình BERT có kích thước và quá trình đào tạo tương tự, đặc biệt là trên các nhiệm vụ hạ lưu.

Do các triển khai thiết kế, các lớp trung gian trong khuôn khổ UltraFastBERT nhanh hơn theo cấp số nhân. Hơn nữa, hiệu suất mạnh mẽ được cung cấp bởi khuôn khổ UltraFastBERT là bằng chứng rằng các mô hình ngôn ngữ lớn (LLM) có thể cung cấp hiệu suất mạnh mẽ bằng cách tham gia chỉ một phần nhỏ của các tham số của chúng cho từng can thiệp, vì khuôn khổ UltraFastBERT chỉ sử dụng 0,3% nơ-ron có sẵn trong quá trình suy luận, và vẫn đạt được tốc độ tăng 78 lần so với thời gian suy luận.