Các phương pháp tinh chỉnh hiệu quả về tham số hoặc PeFT nhằm thích nghi các mô hình ngôn ngữ lớn thông qua việc cập nhật một số lượng nhỏ trọng số. Tuy nhiên, đa số các công việc giải thích hiện có đã chứng minh rằng các đại diện mã hóa thông tin ngữ nghĩa phong phú, gợi ý rằng việc chỉnh sửa các đại diện này có thể là một phương pháp thay thế tốt hơn và mạnh mẽ hơn. Các mô hình lớn được đào tạo trước thường được tinh chỉnh để sử dụng cho các miền hoặc nhiệm vụ mới, và trong quá trình tinh chỉnh, một mô hình cơ sở duy nhất có thể được thích nghi với nhiều nhiệm vụ khác nhau ngay cả khi chỉ có một lượng nhỏ dữ liệu trong miền có sẵn cho mô hình. Tuy nhiên, quá trình tinh chỉnh toàn bộ mô hình rất tốn tài nguyên và tốn kém, đặc biệt là đối với các mô hình ngôn ngữ có số lượng tham số lớn.

Các phương pháp tinh chỉnh hiệu quả về tham số hoặc PeFT đề xuất giải quyết các chi phí cao liên quan đến việc tinh chỉnh toàn bộ mô hình bằng cách chỉ cập nhật một phần nhỏ của tổng số trọng số có sẵn, quá trình này giúp giảm thời gian đào tạo cũng như sử dụng bộ nhớ. Điều quan trọng hơn là các phương pháp tinh chỉnh hiệu quả về tham số hoặc PeFT đã chứng minh hiệu suất tương tự với tinh chỉnh toàn bộ mô hình trong nhiều trường hợp thực tế. Các bộ điều chỉnh, một họ phổ biến của các phương pháp PeFT, học cách chỉnh sửa có thể được thêm vào một tập hợp trọng số bổ sung hoạt động cùng với mô hình cơ sở bị đóng băng, với các bộ điều chỉnh gần đây như LoRA giảm số lượng tham số có thể đào tạo trong các bản cập nhật trọng số đã học bằng cách sử dụng xấp xỉ ma trận thấp thay vì ma trận trọng số đầy đủ khi đào tạo các bộ điều chỉnh.

Với các công việc trước đây chứng minh việc chỉnh sửa đại diện có thể là một phương pháp thay thế tốt hơn cho các phương pháp PeFT, trong bài viết này, chúng tôi sẽ thảo luận về các phương pháp tinh chỉnh đại diện hoặc ReFT hoạt động trên mô hình bị đóng băng và học các can thiệp cụ thể cho nhiệm vụ trên các đại diện ẩn. Bài viết này nhằm mục đích bao phủ khuôn khổ tinh chỉnh đại diện hoặc ReFT một cách sâu sắc, và chúng tôi khám phá cơ chế, phương pháp, kiến trúc của khuôn khổ cùng với so sánh với các khuôn khổ hiện đại. Vậy hãy bắt đầu.

ReFT: Tinh chỉnh đại diện cho Mô hình Ngôn ngữ

Trong nỗ lực áp dụng các mô hình ngôn ngữ lớn được đào tạo trước cho các miền và nhiệm vụ mới, các khuôn khổ hiện tại thường tinh chỉnh các mô hình ngôn ngữ lớn được đào tạo trước thường xuyên vì quá trình tinh chỉnh cho phép một mô hình cơ sở duy nhất được thích nghi với nhiều nhiệm vụ khác nhau ngay cả khi chỉ có một lượng nhỏ dữ liệu trong miền có sẵn cho mô hình. Mặc dù quá trình tinh chỉnh thực sự cải thiện hiệu suất tổng thể, nhưng nó là một quá trình tốn kém, đặc biệt là đối với các mô hình ngôn ngữ có số lượng tham số lớn. Để giải quyết vấn đề này và giảm các chi phí liên quan, các khuôn khổ tinh chỉnh hiệu quả về tham số hoặc PeFT cập nhật chỉ một phần nhỏ của tổng số trọng số, quá trình này không chỉ giảm thời gian đào tạo mà còn giảm sử dụng bộ nhớ, cho phép các khuôn khổ PeFT đạt được hiệu suất tương tự với các phương pháp tinh chỉnh toàn bộ mô hình trong các trường hợp thực tế. Các bộ điều chỉnh, một họ phổ biến của PeFT, hoạt động bằng cách học cách chỉnh sửa có thể được thêm vào một tập hợp trọng số bổ sung hoạt động cùng với mô hình cơ sở bị đóng băng.

Một điểm nổi bật của các khuôn khổ tinh chỉnh hiệu quả về tham số hiện đại là thay vì chỉnh sửa đại diện, chúng chỉnh sửa trọng số. Tuy nhiên, các khuôn khổ liên quan đến giải thích đã chứng minh rằng các đại diện mã hóa thông tin ngữ nghĩa phong phú, gợi ý rằng việc chỉnh sửa đại diện có thể là một phương pháp thay thế tốt hơn và mạnh mẽ hơn so với việc cập nhật trọng số. Giả định này về việc chỉnh sửa đại diện là một phương pháp tốt hơn là nền tảng của khuôn khổ tinh chỉnh đại diện hoặc ReFT, đào tạo các can thiệp thay vì điều chỉnh trọng số của mô hình, cho phép mô hình điều khiển một phần nhỏ của tất cả các đại diện để điều khiển hành vi của mô hình trong quá trình suy luận. Các phương pháp tinh chỉnh đại diện hoặc ReFT là các phương pháp thay thế cho các khuôn khổ tinh chỉnh hiệu quả về tham số hoặc PeFT dựa trên trọng số.

Tiếp theo, trái ngược với tinh chỉnh toàn bộ mô hình, khuôn khổ tinh chỉnh hiệu quả về tham số hoặc PeFT chỉ đào tạo một phần nhỏ của các tham số của mô hình và quản lý để thích nghi mô hình với các nhiệm vụ hạ nguồn. Khuôn khổ tinh chỉnh hiệu quả về tham số hoặc PeFT có thể được phân loại thành ba loại chính:

• Phương pháp dựa trên bộ điều chỉnh: Các phương pháp dựa trên bộ điều chỉnh đào tạo các mô