Nền tảng AI
Mạng Nơ-ron Transformer là gì?
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Transformer là một kiến trúc mạng nơ-ron xử lý các mối quan hệ giữa các token bằng cơ chế attention. Không giống như mạng hồi tiếp (recurrent) phải truyền trạng thái ẩn từ vị trí này sang vị trí kế tiếp, transformer có thể tính toán đồng thời nhiều tương tác token‑to‑token trong quá trình huấn luyện.
Transformer là nền tảng cho nhiều hệ thống ngôn ngữ, thị giác, âm thanh và đa mô hình, nhưng kiến trúc này không phải là một cơ sở dữ liệu hay bảo đảm cho khả năng suy luận. Các đầu ra của nó vẫn chỉ là các dự đoán được điều kiện hoá bởi các tham số đã học, ngữ cảnh được cung cấp và quy trình giải mã.
Những điểm chính
- Self‑attention cho phép mỗi token xây dựng một biểu diễn phụ thuộc vào ngữ cảnh dựa trên các token khác được phép.
- Thông tin vị trí được bổ sung vì attention một mình không mã hoá thứ tự token.
- Các transformer dạng encoder‑only, decoder‑only và encoder‑decoder phục vụ các mục tiêu khác nhau.
- Độ dài ngữ cảnh, tính toán, dữ liệu huấn luyện và đánh giá — không chỉ attention — định hình khả năng và độ tin cậy.
Token, embedding và vị trí
Văn bản đầu tiên được chia thành các token, có thể là từ, subword hoặc ký tự. Mỗi ID token sẽ chọn một vector embedding đã được học. Transformer thị giác có thể embedding các miếng ảnh; Transformer âm thanh có thể embedding các khung hoặc các đơn vị âm học đã học.
Vì một phép toán attention thuần túy là permutation‑equivariant, mô hình cần thông tin vị trí. Các triển khai có thể thêm các mã hoá vị trí học được hoặc cố định, hoặc điều chỉnh điểm attention bằng các sơ đồ vị trí tương đối hoặc rotary. Kết quả kết hợp nội dung của token với vị trí xuất hiện của nó.
Scaled dot‑product và multi‑head attention
Đối với mỗi vị trí, các phép chiếu đã học tạo ra query, key và value. Độ tương đồng giữa query và các key cho phép tạo ra trọng số attention; các giá trị có trọng số này tạo thành đầu ra. Việc chuẩn hoá (scale) tích vô hướng giúp softmax duy trì tính ổn định số học khi kích thước vector tăng.
Multi‑head attention lặp lại phép toán này trong một số không gian con đã học. Các đầu khác nhau có thể chuyên môn hoá các mối quan hệ khác nhau, mặc dù một mẫu attention bắt mắt không nên tự động được xem là lời giải thích trung thực cho quyết định của mô hình.
Khối transformer
Một lớp phụ attention được theo sau bởi một mạng feed‑forward theo vị trí. Các kết nối residual truyền các biểu diễn trước đó qua mỗi lớp phụ, trong khi chuẩn hoá và regularization hỗ trợ tối ưu hoá. Việc xếp chồng nhiều khối tạo ra các đặc trưng ngày càng ngữ cảnh thông qua học sâu.
Trong quá trình sinh causal, một mặt nạ ngăn vị trí đọc các token trong tương lai. Khi suy luận, decoder dự đoán một token, nối vào và lặp lại. Bộ nhớ cache key‑value tránh việc tính lại mọi phép chiếu attention trước đó, giảm nhưng không loại bỏ hoàn toàn chi phí sinh.
Các họ encoder, decoder và encoder‑decoder
Các mô hình chỉ encoder học các biểu diễn hai chiều phù hợp cho phân loại, truy xuất và gán nhãn token. Các mô hình chỉ decoder sử dụng causal attention để sinh token tiếp theo. Các mô hình encoder‑decoder cho phép decoder attention vào đầu vào đã được mã hoá, hữu ích cho dịch máy và các nhiệm vụ chuỗi‑to‑chuỗi khác.
Các hệ thống hiện đại thường bắt đầu bằng việc tiền huấn luyện rộng rãi, sau đó sử dụng học chuyển giao, tinh chỉnh hướng dẫn hoặc tối ưu hoá sở thích. Do đó cùng một kiến trúc có thể hỗ trợ các hành vi rất khác nhau tùy thuộc vào mục tiêu và dữ liệu.
Giới hạn, hiệu suất và đánh giá
Attention toàn bộ trên một chuỗi tạo ra các tương tác cặp theo cấp số bậc hai theo độ dài chuỗi, gây áp lực về bộ nhớ và tính toán. Attention thưa hoặc tuyến tính, chia thành khối, truy xuất, lượng tử hoá và caching cân bằng độ chính xác, truy cập ngữ cảnh, độ trễ và độ phức tạp triển khai.
Cửa sổ ngữ cảnh lớn hơn không đảm bảo mọi thông tin được cung cấp sẽ được sử dụng đúng cách. Đánh giá tính thực tế, độ bền, hiệu chuẩn, độ trễ, chi phí và các chế độ lỗi đặc thù cho nhiệm vụ. Đối với các hệ thống tương tác, kỹ thuật prompt có thể định hình hành vi, nhưng không thể biến một mô hình xác suất thành nguồn không sai sót.
Tính toán transformer từ token tới ngữ cảnh
Transformer ánh xạ các token thành vector, thêm thông tin vị trí và truyền chúng qua các khối attention và feed‑forward lặp lại. Trong self‑attention, các phép chiếu đã học tạo ra query, key và value. Scaled dot product so sánh mỗi query với các key, softmax tạo ra trọng số, và các giá trị có trọng số tạo thành ngữ cảnh. Nhiều đầu học các không gian chiếu khác nhau. Các kết nối residual và chuẩn hoá ổn định các lớp sâu, trong khi mạng feed‑forward biến đổi mỗi token một cách độc lập giữa các lớp attention.
Các mô hình chỉ encoder sử dụng ngữ cảnh hai chiều và phù hợp cho các nhiệm vụ phân loại hoặc biểu diễn. Các mô hình chỉ decoder áp dụng mặt nạ causal để mỗi vị trí dự đoán dựa trên các token trước và chiếm ưu thế trong mô hình ngôn ngữ sinh. Các mô hình encoder‑decoder cho phép decoder attention vào đầu vào đã mã hoá để dịch và sinh có cấu trúc. Chi phí attention tăng theo bậc hai với độ dài chuỗi trong dạng chuẩn, khuyến khích các giải pháp thưa, tuyến tính, chia khối, hồi tiếp và không gian trạng thái. Ngữ cảnh dài hơn tăng lượng bằng chứng khả dụng, nhưng không đảm bảo khả năng nhớ lại hay suy luận.
Huấn luyện, thích nghi và suy luận
Các mục tiêu tiền huấn luyện bao gồm dự đoán token tiếp theo, tái tạo token bị mask, và làm hỏng chuỗi‑to‑chuỗi. Sự pha trộn dữ liệu, loại bỏ trùng lặp, tokenizer, đóng gói ngữ cảnh, bộ tối ưu, lịch trình và tính toán định hình khả năng. Fine‑tuning có thể cập nhật toàn bộ tham số hoặc sử dụng adapters và các phương pháp low‑rank; tinh chỉnh hướng dẫn và sở thích thay đổi hành vi. Truy xuất thường tốt hơn cho các sự kiện thay đổi, trong khi tinh chỉnh hữu ích cho định dạng và hành vi nhiệm vụ. Giữ một tập đánh giá không bị thay đổi và kiểm tra sự nhiễm bẩn từ các benchmark công cộng.
Suy luận tự hồi quy lưu trữ các phép chiếu key‑value cho các token trước để tránh tính toán lại. Độ trễ phụ thuộc vào xử lý prompt và giải mã tuần tự; thông lượng phụ thuộc vào batching, bộ nhớ, quản lý cache, độ chính xác và phần cứng. Các phương pháp greedy, temperature, top‑k, top‑p và beam cân bằng giữa tính quyết đoán và đa dạng. Lượng tử hoá giảm bộ nhớ nhưng có thể ảnh hưởng đến các khả năng hiếm. Xác thực mô hình, tokenizer, mẫu prompt, sampler và môi trường chạy thực tế ở độ dài chuỗi hợp lý.
Đánh giá và kiểm soát
Transformer có thể tạo ra thông tin sai lệch, tuân theo các chỉ dẫn truy xuất độc hại, tiết lộ dữ liệu đã ghi nhớ, hoặc suy giảm hiệu năng qua các ngôn ngữ và ngữ cảnh dài. Đánh giá mức độ thành công của nhiệm vụ, hỗ trợ thực tế, hiệu chuẩn, từ chối, độ bền, an toàn, độ trễ và chi phí; kiểm tra bằng chứng và hành động công cụ riêng biệt. Sử dụng truy xuất có quyền, công cụ có kiểu, ủy quyền bên ngoài, giới hạn tốc độ và phê duyệt của con người cho các hành động quan trọng. Giám sát phiên bản mô hình và prompt, phân phối đầu vào, lỗi công cụ và sửa lỗi của người dùng. Transformer là một kiến trúc tính toán chuỗi, không phải bằng chứng của sự hiểu biết hay bảo đảm đầu ra trung thực.
Ví dụ thực tế: trợ lý tài liệu dựa trên transformer
Một công ty lập chỉ mục các tài liệu hướng dẫn đã được phê duyệt bằng ID tài liệu, phiên bản, mục, quyền truy cập và ngày hiệu lực. Trợ lý dựa trên transformer truy xuất và sắp xếp lại bằng chứng, sau đó chỉ trả lời từ các đoạn được phép kèm trích dẫn. Bộ dữ liệu đánh giá bao gồm các câu hỏi có thể trả lời, không thể trả lời, mơ hồ và mâu thuẫn trên các vai trò và loại tài liệu. Các chỉ số thu hồi truy xuất, độ chính xác trích dẫn, tính đúng đắn của câu trả lời dựa trên bằng chứng, khả năng từ chối, hành vi ngữ cảnh dài, độ trễ và chi phí được chấm điểm riêng biệt.
Các tài liệu được truy xuất được coi là dữ liệu không tin cậy, do đó các chỉ dẫn nhúng không thể ghi đè chính sách hệ thống hoặc ủy quyền công cụ. Người dùng xác thực trước khi truy xuất, và các hành động có hậu quả vẫn nằm ngoài mô hình. Nhật ký lưu giữ ID và phiên bản bằng chứng mà không chứa nội dung tài liệu không cần thiết. Giám sát phát hiện sự thay đổi của tập dữ liệu, câu trả lời không được hỗ trợ, lỗi quyền truy cập và sửa lỗi của người dùng. Một thay đổi mô hình hoặc tokenizer được chạy lại trên toàn bộ bộ kiểm tra, và cấu hình trước đó vẫn khả dụng cho đến khi hệ thống mới chứng minh được độ an toàn và chất lượng tương đương hoặc tốt hơn.
Bằng chứng triển khai và mức độ sẵn sàng vận hành
Một quyết định triển khai cần nhiều hơn một buổi trình diễn thành công. Xác định người dùng mục tiêu, môi trường vận hành, đầu vào, đầu ra, các phụ thuộc, người chịu trách nhiệm và hậu quả của mỗi lỗi quan trọng. Thiết lập một baseline có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm tra các trường hợp thông thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị thiếu hỗ trợ. Đo lường chất lượng nhiệm vụ cùng với hiệu chuẩn hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi biến đổi và ngưỡng để người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.
Trước khi ra mắt, chỉ định quyền chịu trách nhiệm cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng hoạt động. Sử dụng triển khai theo giai đoạn, duy trì một dự phòng an toàn, và xác minh giám sát bằng các lỗi được chèn có chủ đích. Telemetry vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, tình trạng phụ thuộc, can thiệp của con người và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Định nghĩa ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu năng ngoại tuyến sẽ kéo dài. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có quy trình khôi phục, học từ sự cố, xóa và lưu trữ tài liệu, và một điểm rõ ràng khi nó nên bị tắt hoặc thay thế.
Câu hỏi thường gặp
Mỗi mô hình ngôn ngữ lớn có phải là transformer không?
Hầu hết các mô hình ngôn ngữ lớn hiện nay sử dụng các biến thể của transformer, nhưng mô hình ngôn ngữ cũng có thể được xây dựng bằng kiến trúc hồi tiếp, state‑space hoặc kết hợp.
Self‑attention có nghĩa là mô hình hiểu văn bản như con người không?
Không. Attention là một cơ chế trọng số được học. Hành vi ngôn ngữ giống con người không tự động chứng minh sự hiểu biết, tính trung thực hoặc ý định giống con người.
Tài liệu tham khảo
