Mô hình và nền tảng AI

AWS đưa hoạt động huấn luyện toàn bộ trọng số vào dịch vụ tùy chỉnh mô hình phi máy chủ SageMaker

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhTinh chỉnh toàn phần cập nhật mọi trọng số trong khi LoRA đóng băng các trọng số đã…
Xem thêm
  • Tinh chỉnh toàn phần cập nhật mọi trọng số trong khi LoRA đóng băng các trọng số đã được huấn luyện trước và chèn các bộ điều hợp hạng thấp.
  • Tốc độ học tập tích cực từ 5e-5 trở lên đã gây ra sự quên lãng thảm khốc với độ chính xác MMLU giảm xuống còn 3,6%.
  • Hoạt động không máy chủ loại bỏ việc quản lý cơ sở hạ tầng nhưng không làm giảm số lượng trọng số được huấn luyện.

Amazon Web Services đã công bố vào ngày 18 tháng 11 năm 2026 việc hỗ trợ tinh chỉnh toàn phần (FFT) cho SageMaker AI Serverless Model Customization, đồng thời báo cáo độ chính xác ngữ nghĩa đạt 90,0% trong một thử nghiệm lập trình sử dụng hơn 100.000 ví dụ huấn luyện, và lưu ý rằng các thiết lập quá mạnh tay gây tổn thất nghiêm trọng về kiến thức tổng quát.

Khách hàng cung cấp mô hình nền, tập dữ liệu và các siêu tham số; dịch vụ cấp phát tài nguyên tính toán và quản lý các điểm kiểm tra mà không cần cấp GPU, thiết lập cụm máy chủ hay cấu hình huấn luyện phân tán. Trong ví dụ về SageMaker Python SDK của AWS, để chuyển đổi phương pháp, chỉ cần thay thế TrainingType.FULL bằng TrainingType.LORA, còn lại giữ nguyên cấu hình công việc.

FFT cập nhật mọi trọng số của mô hình. Ngược lại, LoRA giữ nguyên các trọng số đã được tiền huấn luyện và chèn các ma trận bộ điều hợp hạng thấp, nhờ đó giảm yêu cầu về dung lượng GPU nhưng giới hạn việc cập nhật trong một không gian biểu diễn nhỏ hơn. Theo giải thích của AWS, huấn luyện hạng đầy đủ có thể nắm bắt những điều chỉnh theo miền phức tạp hơn khi tập dữ liệu tăng lên, thay vì chỉ tăng số lượng tham số có thể huấn luyện.

Thử nghiệm lập trình có kiểm soát

AWS so sánh các phương pháp bằng cách tinh chỉnh có giám sát (SFT) một mô hình nền Qwen3-4B, sử dụng cùng lời nhắc, mục tiêu và mã đánh giá. Tập dữ liệu Magicoder-Evol-Instruct-110K cung cấp các cặp chỉ dẫn–phản hồi về lập trình, bao gồm thiết kế thuật toán, gỡ lỗi, cấu trúc dữ liệu và lập trình hệ thống. Tập dữ liệu được chia thành 99.000 bản ghi dùng để huấn luyện, 5.500 bản ghi dùng để xác thực và 5.500 bản ghi dành riêng cho tập kiểm tra.

Các đánh giá tách biệt hiệu suất thực hiện tác vụ với khả năng duy trì kiến thức. Amazon Nova Pro đóng vai trò giám khảo LLM, đọc mã được tạo cùng với lời nhắc ban đầu để đánh giá tính đúng đắn về logic. PRIMECODE đo độ tương đồng với các lời giải tham chiếu bằng những chỉ số BLEU, ROUGE-1/2/L và F1 có tính xác định, trong khi MMLU kiểm tra kiến thức tổng quát trên 57 môn học thuật.

AWS cho biết điểm độ chính xác ngữ nghĩa đạt đỉnh sau ba epoch và việc huấn luyện lâu hơn làm giảm kết quả của mọi biến thể được thử nghiệm. Biểu đồ radar so sánh của AWS cho thấy FFT vượt trội hơn LoRA và mô hình nền ở mọi khía cạnh chất lượng được hiển thị, với khoảng cách lớn nhất ở BLEU và ROUGE-2, cho thấy sự khác biệt không chỉ giới hạn ở một chỉ số.

AWS cho biết họ đã thực hiện hàng chục thử nghiệm tùy chỉnh trên nhiều mô hình nền, thay đổi tốc độ học, kích thước lô, tỷ lệ khởi động, số epoch và quy mô tập dữ liệu; mỗi lần chạy, từ lúc gửi công việc đến khi đánh giá, mất vài giờ. Các mô hình thu được được tự động đăng ký dưới dạng Gói mô hình có phiên bản trong SageMaker Model Registry để xem xét hoặc triển khai.

Nguy cơ quên kiến thức khi tinh chỉnh toàn phần

AWS lưu ý rằng FFT không phải lúc nào cũng vượt trội: cả FFT lẫn LoRA đều có kết quả kém hơn mô hình nền về độ khớp chính xác trên MATH, còn một phép so sánh riêng do LLM làm giám khảo lại nghiêng về LoRA với 81,5%, so với 79,5% của FFT.

Tốc độ học quá cao gây tổn thất nghiêm trọng. Trong các thử nghiệm của AWS, ở mức 5e-5 trở lên, điểm MATH giảm xuống còn 2–3% và độ chính xác MMLU còn 3,6% — dấu hiệu của hiện tượng quên kiến thức nghiêm trọng, tức mất đi các năng lực rộng hơn khi quá trình huấn luyện theo miền ghi đè kiến thức đã được tiền huấn luyện. Bản đồ rủi ro của AWS xác định 2e-5 là mức an toàn hơn đối với các tập dữ liệu lớn; trong số các cấu hình được thử nghiệm, cấu hình cơ sở kết hợp mức này với thời gian khởi động 5% và kích thước lô toàn cục là 8 giúp duy trì kiến thức tổng quát tốt nhất theo phép đo MMLU.

Kích thước lô cũng ảnh hưởng đến khả năng duy trì kiến thức. Với tốc độ học cố định, các lô nhỏ hơn tạo ra những cập nhật nhiễu hơn, hoạt động tương tự như khi dùng tốc độ học cao hơn và làm tăng nguy cơ quên kiến thức. Các lô lớn hơn giảm nhiễu nhưng cũng làm giảm số bước tối ưu hóa, có khả năng khiến mô hình chưa được huấn luyện đầy đủ.

Đánh đổi khi triển khai

Theo danh sách mô hình được hỗ trợ của AWS, SFT với FFT hiện có cho các mô hình có trọng số mở, bao gồm DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B và NVIDIA Nemotron 3 Nano 30B (A3B).

Tài liệu về FFT cho biết phương pháp này sử dụng cùng định dạng tập dữ liệu như LoRA nhưng đòi hỏi nhiều tài nguyên tính toán hơn và thời gian huấn luyện lâu hơn, tạo ra các tệp đầu ra lớn hơn vì chứa toàn bộ trọng số mô hình, đồng thời không tương thích với việc tùy chỉnh liên tục. Phương pháp này cũng loại bỏ phần chi phí phụ trội của bộ điều hợp khi suy luận.

Vận hành phi máy chủ thay đổi bên nào cấp phát hạ tầng và quản lý các điểm kiểm tra; điều đó không làm giảm số lượng trọng số được huấn luyện. Vì vậy, đợt ra mắt này giúp việc chạy quy trình tùy chỉnh chuyên sâu trở nên dễ dàng hơn, trong khi hiệu quả về chi phí tính toán và chất lượng vẫn phụ thuộc vào việc lợi ích dành riêng cho tác vụ có đủ lớn để bù đắp cho quá trình huấn luyện nặng hơn và mọi tổn thất về năng lực tổng quát hay không.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.