Mô hình và nền tảng AI

Hướng Dẫn Toàn Diện Về Fine-Tuning Mô Hình Ngôn Ngữ Lớn

Đã xuất bản 25 tháng 3, 2024

Đã cập nhật 22 tháng 5, 2026

Aayush Mittal Mittal

Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google

Mô hình ngôn ngữ lớn (LLM) như GPT-4, LaMDA, PaLM và các mô hình khác đã làm nên lịch sử với khả năng hiểu và tạo ra văn bản giống con người trên một loạt chủ đề rộng lớn. Những mô hình này được đào tạo trước trên các tập dữ liệu khổng lồ bao gồm hàng tỷ từ trên internet, sách và các nguồn khác.

Giai đoạn đào tạo trước này đã trang bị cho các mô hình kiến thức rộng lớn về ngôn ngữ, chủ đề, khả năng lý luận và thậm chí cả một số thiên vị có trong dữ liệu đào tạo. Tuy nhiên, mặc dù có phạm vi rộng lớn, những mô hình LLM được đào tạo trước này lại thiếu chuyên môn hóa cho các lĩnh vực hoặc nhiệm vụ cụ thể.

Đây là nơi fine-tuning bước vào – quá trình điều chỉnh một mô hình LLM đã được đào tạo trước để trở nên xuất sắc trong một ứng dụng hoặc trường hợp cụ thể. Bằng cách đào tạo thêm mô hình trên một tập dữ liệu nhỏ hơn, cụ thể cho nhiệm vụ, chúng ta có thể điều chỉnh khả năng của mô hình để phù hợp với các đặc điểm và yêu cầu của lĩnh vực đó.

Fine-tuning tương tự như việc chuyển kiến thức rộng lớn của một nhà tổng hợp có học thức cao sang một chuyên gia môn cụ thể. Trong hướng dẫn này, chúng ta sẽ khám phá những gì, tại sao và cách thực hiện fine-tuning cho các mô hình LLM.

Fine-tuning Mô Hình Ngôn Ngữ Lớn

Fine-Tuning Là Gì?

Về cơ bản, fine-tuning liên quan đến việc lấy một mô hình lớn đã được đào tạo trước và cập nhật các tham số của nó bằng một giai đoạn đào tạo thứ hai trên một tập dữ liệu được thiết kế cho nhiệm vụ hoặc lĩnh vực mục tiêu. Điều này cho phép mô hình học hỏi và nội hóa các đặc điểm, mẫu và mục tiêu cụ thể của lĩnh vực đó.

Trong khi đào tạo trước thu được sự hiểu biết rộng lớn về ngôn ngữ từ một tập hợp văn bản khổng lồ và đa dạng, fine-tuning chuyên môn hóa khả năng chung đó. Nó giống như việc biến một người có học thức cao thành một chuyên gia trong ngành.

Trọng số của mô hình đã được đào tạo trước, mã hóa kiến thức chung của nó, được sử dụng làm điểm khởi đầu hoặc khởi tạo cho quá trình fine-tuning. Sau đó, mô hình được đào tạo thêm, nhưng lần này trên các ví dụ trực tiếp liên quan đến ứng dụng cuối cùng.

Bằng cách phơi mô hình với phân phối dữ liệu chuyên môn này và điều chỉnh các tham số của mô hình theo đó, chúng ta làm cho mô hình LLM trở nên chính xác và hiệu quả hơn cho trường hợp sử dụng mục tiêu, đồng thời vẫn tận dụng được khả năng chung đã được đào tạo trước làm nền tảng.

Tại Sao Fine-Tune Mô Hình LLM?

Có một số lý do chính mà bạn có thể muốn fine-tune một mô hình ngôn ngữ lớn:

Chuyên Môn Hóa Lĩnh Vực: Mỗi lĩnh vực, từ pháp lý đến y tế đến kỹ thuật phần mềm, đều có các quy ước ngôn ngữ, thuật ngữ và ngữ cảnh riêng. Fine-tuning cho phép bạn tùy chỉnh một mô hình chung để hiểu và tạo ra văn bản phù hợp với lĩnh vực cụ thể.
Chuyên Môn Hóa Nhiệm Vụ: Mô hình LLM có thể được fine-tune cho các nhiệm vụ xử lý ngôn ngữ tự nhiên khác nhau như tóm tắt văn bản, dịch máy và trả lời câu hỏi. Việc chuyên môn hóa này giúp tăng cường hiệu suất trên nhiệm vụ mục tiêu.
Tuân Thủ Dữ Liệu: Các ngành công nghiệp có quy định cao như chăm sóc sức khỏe và tài chính có yêu cầu nghiêm ngặt về quyền riêng tư dữ liệu. Fine-tuning cho phép đào tạo mô hình LLM trên dữ liệu tổ chức chuyên dụng trong khi bảo vệ thông tin nhạy cảm.
Dữ Liệu Đánh Dấu Giới Hạn: Việc thu được tập dữ liệu lớn đã được gắn nhãn để đào tạo mô hình từ đầu có thể là một thách thức. Fine-tuning cho phép đạt được hiệu suất nhiệm vụ mạnh mẽ từ các ví dụ giám sát hạn chế bằng cách tận dụng khả năng của mô hình đã được đào tạo trước.
Cập Nhật Mô Hình: Khi dữ liệu mới trở nên có sẵn theo thời gian trong một lĩnh vực, bạn có thể fine-tune mô hình thêm để kết hợp kiến thức và khả năng mới nhất.
Giảm Thiên Vị: Mô hình LLM có thể hấp thụ thiên vị xã hội từ dữ liệu đào tạo rộng lớn. Fine-tuning trên các tập dữ liệu được kiểm duyệt có thể giúp giảm và sửa chữa những thiên vị không mong muốn này.

Về bản chất, fine-tuning bắc cầu khoảng cách giữa một mô hình chung, rộng lớn và các yêu cầu tập trung của một ứng dụng chuyên môn. Nó tăng cường độ chính xác, an toàn và liên quan của đầu ra mô hình cho các trường hợp sử dụng được nhắm mục tiêu.

Fine-tuning Mô Hình Ngôn Ngữ Lớn

Đồ họa được cung cấp phác thảo quá trình thực hiện và sử dụng mô hình ngôn ngữ lớn (LLM) cho các ứng dụng doanh nghiệp. Ban đầu, một mô hình đã được đào tạo trước như T5 được cung cấp dữ liệu công ty đã được cấu trúc và phi cấu trúc, có thể đến từ các định dạng như CSV hoặc JSON. Dữ liệu này trải qua các quá trình đào tạo giám sát, không giám sát hoặc chuyển giao tinh chỉnh, nâng cao sự liên quan của mô hình với nhu cầu cụ thể của công ty.

Sau khi mô hình được tinh chỉnh với dữ liệu của công ty, trọng số của nó được cập nhật tương ứng. Mô hình đã được đào tạo sau đó lặp lại các chu kỳ đào tạo, liên tục cải thiện phản hồi của nó theo thời gian với dữ liệu mới của công ty. Quá trình này là lặp lại và động, với mô hình học hỏi và đào tạo lại để thích nghi với các mẫu dữ liệu đang phát triển.

Đầu ra của mô hình đã được đào tạo này – các token và embedding đại diện cho từ – sau đó được triển khai cho các ứng dụng doanh nghiệp khác nhau. Những ứng dụng này có thể bao gồm từ các rô-bốt trò chuyện đến chăm sóc sức khỏe, mỗi ứng dụng yêu cầu mô hình phải hiểu và phản hồi các truy vấn cụ thể của ngành.

Khả năng của mô hình đã được đào tạo để xử lý và phản hồi dữ liệu mới của công ty theo thời gian đảm bảo rằng tính hữu ích của nó được duy trì và phát triển. Do đó, người dùng doanh nghiệp có thể tương tác với mô hình thông qua các ứng dụng, đặt câu hỏi và nhận được phản hồi thông tin phản ánh quá trình đào tạo và tinh chỉnh của mô hình trên dữ liệu chuyên môn.

Cơ sở hạ tầng này hỗ trợ một loạt các ứng dụng doanh nghiệp, thể hiện sự linh hoạt và khả năng thích ứng của LLM khi được triển khai và duy trì đúng cách trong bối cảnh kinh doanh.

Phương Pháp Fine-Tuning

Có hai chiến lược chính khi nói đến việc fine-tuning mô hình ngôn ngữ lớn:

1) Fine-Tuning Toàn Bộ Mô Hình

Trong phương pháp fine-tuning toàn bộ, tất cả các tham số (trọng số và thiên vị) của mô hình đã được đào tạo trước được cập nhật trong giai đoạn đào tạo thứ hai. Mô hình được tiếp xúc với tập dữ liệu đã được gắn nhãn cho nhiệm vụ hoặc lĩnh vực mục tiêu, và quá trình đào tạo tiêu chuẩn tối ưu hóa toàn bộ mô hình cho phân phối dữ liệu đó.

Điều này cho phép mô hình thực hiện các điều chỉnh toàn diện và thích nghi một cách toàn diện với nhiệm vụ hoặc lĩnh vực mục tiêu. Tuy nhiên, fine-tuning toàn bộ có một số nhược điểm:

Nó đòi hỏi tài nguyên tính toán và thời gian đáng kể để đào tạo, tương tự như giai đoạn đào tạo trước.
Yêu cầu lưu trữ là cao, vì bạn cần duy trì một bản sao tinh chỉnh riêng biệt của mô hình cho mỗi nhiệm vụ.
Có nguy cơ “quên lãng thảm khốc”, nơi quá trình tinh chỉnh gây ra mô hình mất một số khả năng chung đã được học trong quá trình đào tạo trước.

Mặc dù có những hạn chế này, fine-tuning toàn bộ vẫn là một kỹ thuật mạnh mẽ và được sử dụng rộng rãi khi tài nguyên cho phép và nhiệm vụ mục tiêu khác biệt đáng kể so với ngôn ngữ chung.

2) Phương Pháp Fine-Tuning Hiệu Quả

Để vượt qua các thách thức tính toán của fine-tuning toàn bộ, các nhà nghiên cứu đã phát triển các chiến lược hiệu quả chỉ cập nhật một tập hợp con nhỏ của các tham số của mô hình trong quá trình tinh chỉnh. Những kỹ thuật hiệu quả về tham số này cân bằng giữa chuyên môn hóa và giảm yêu cầu về tài nguyên.

Một số phương pháp fine-tuning hiệu quả phổ biến bao gồm:

Prefix-Tuning: Ở đây, một số lượng nhỏ các vector hoặc “tiền tố” cụ thể cho nhiệm vụ được giới thiệu và đào tạo để điều kiện hóa sự chú ý của mô hình đã được đào tạo trước cho nhiệm vụ mục tiêu. Chỉ những tiền tố này được cập nhật trong quá trình tinh chỉnh.

LoRA (Low-Rank Adaptation): LoRA tiêm các ma trận có hạng thấp có thể đào tạo vào mỗi lớp của mô hình đã được đào tạo trước trong quá trình tinh chỉnh. Những điều chỉnh hạng thấp này giúp chuyên môn hóa mô hình với số lượng tham số có thể đào tạo ít hơn nhiều so với fine-tuning toàn bộ.

Tất nhiên, tôi có thể cung cấp một giải thích chi tiết về LoRA (Low-Rank Adaptation) cùng với công thức toán học và ví dụ mã. LoRA là một kỹ thuật tinh chỉnh hiệu quả (PEFT) phổ biến đã thu hút sự chú ý đáng kể trong lĩnh vực thích nghi mô hình ngôn ngữ lớn (LLM).

LoRA Là Gì?

LoRA là một phương pháp tinh chỉnh giới thiệu một số lượng nhỏ tham số có thể đào tạo vào mô hình LLM đã được đào tạo trước, cho phép thích nghi hiệu quả với các nhiệm vụ hạ nguồn trong khi bảo tồn phần lớn kiến thức của mô hình ban đầu. Thay vì tinh chỉnh tất cả các tham số của LLM, LoRA tiêm các ma trận có hạng thấp cụ thể cho nhiệm vụ vào các lớp của mô hình, cho phép tiết kiệm tính toán và bộ nhớ đáng kể trong quá trình tinh chỉnh.

Công Thức Toán Học

LoRA (Low-Rank Adaptation) là một phương pháp tinh chỉnh cho mô hình ngôn ngữ lớn (LLM) giới thiệu một cập nhật hạng thấp cho các ma trận trọng số. Đối với một ma trận trọng số $W_{0} \in R^{d \times k}, LoRA thêm một ma trận có hạng thấp B A, với A \in R^{r \times k} và B \in R^{d \times r}, nơi r là hạng. Cách tiếp cận này giảm đáng kể số lượng tham số có thể đào tạo, cho phép thích nghi hiệu quả với các nhiệm vụ hạ nguồn với tài nguyên tính toán tối thiểu. Ma trận trọng số cập nhật được đưa ra bởi W = W_{0} + B \cdot A .$

Cập nhật hạng thấp này có thể được giải thích là sửa đổi ma trận trọng số ban đầu $W = W_{0} + B \cdot A$ bằng cách thêm một ma trận có hạng thấp $B \cdot A$ . Ưu điểm chính của công thức này là thay vì cập nhật tất cả $d \times k$ tham số trong $W = W_{0} + B \cdot A$ , LoRA chỉ cần tối ưu hóa $r \times (d + k)$ tham số trong $B$ và $A$ , giảm đáng kể số lượng tham số có thể đào tạo.

Dưới đây là một ví dụ bằng Python sử dụng thư viện peft để áp dụng LoRA cho một mô hình LLM đã được đào tạo trước cho phân loại văn bản:

&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;from&amp;lt;/span&amp;gt; transformers &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;import&amp;lt;/span&amp;gt; AutoModelForSequenceClassification
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;from&amp;lt;/span&amp;gt; peft &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;import&amp;lt;/span&amp;gt; get_peft_model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; LoraConfig&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; TaskType
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Load mô hình đã được đào tạo trước&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;model &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; AutoModelForSequenceClassification&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;.&amp;lt;/span&amp;gt;from_pretrained&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;bert-base-uncased&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; num_labels&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;2&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;)&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Định cấu hình LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;peft_config &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; LoraConfig&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;task_type&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;TaskType&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;.&amp;lt;/span&amp;gt;SEQ_CLS&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;, &amp;lt;/span&amp;gt;r&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;8&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Hạng của cập nhật hạng thấp&amp;lt;/span&amp;gt;
lora_alpha&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;16&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt;&amp;lt;/code&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Hệ số tỷ lệ cho cập nhật hạng thấp&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt; target_modules&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;[&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;q_lin&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;v_lin&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;]&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Áp dụng LoRA cho các lớp truy vấn và giá trị&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Tạo mô hình LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;model &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; get_peft_model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; peft_config&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;)&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Tinh chỉnh mô hình với LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# ... (mã đào tạo bị bỏ qua vì ngắn gọn)&amp;lt;/span&amp;gt;&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;

Trong ví dụ này, chúng tôi tải một mô hình BERT đã được đào tạo trước cho phân loại chuỗi và định cấu hình LoRA. Tham số r chỉ định hạng của cập nhật hạng thấp, và lora_alpha là một hệ số tỷ lệ cho cập nhật. Tham số target_modules chỉ ra các lớp của mô hình sẽ nhận cập nhật hạng thấp. Sau khi tạo mô hình LoRA, chúng tôi có thể tiếp tục với quá trình tinh chỉnh bằng quy trình đào tạo tiêu chuẩn.

Lớp Bộ Đapter: Tương tự như LoRA, nhưng thay vì cập nhật hạng thấp, các lớp “bộ đapter” mỏng được chèn vào trong mỗi khối biến đổi của mô hình đã được đào tạo trước. Chỉ các tham số của những lớp mới mỏng này được đào tạo.

Tinh Chỉnh Câu Hỏi: Phương pháp này giữ mô hình đã được đào tạo trước hoàn toàn đóng băng. Thay vào đó, các bản nhúng “câu hỏi” có thể đào tạo được giới thiệu làm đầu vào để kích hoạt kiến thức đã được đào tạo trước của mô hình cho nhiệm vụ mục tiêu.

Những phương pháp hiệu quả này có thể cung cấp giảm tính toán lên đến 100 lần so với tinh chỉnh toàn bộ, trong khi vẫn đạt được hiệu suất cạnh tranh trên nhiều nhiệm vụ. Chúng cũng giảm nhu cầu lưu trữ bằng cách tránh sao chép mô hình đầy đủ.

Tuy nhiên, hiệu suất của chúng có thể kém hơn so với tinh chỉnh toàn bộ cho các nhiệm vụ khác biệt đáng kể so với ngôn ngữ chung hoặc yêu cầu chuyên môn hóa toàn diện hơn.

Quá Trình Tinh Chỉnh

Bất kể chiến lược tinh chỉnh nào, quá trình chuyên môn hóa một mô hình LLM theo một khuôn khổ chung:

Chuẩn Bị Dữ Liệu: Bạn sẽ cần có hoặc tạo một tập dữ liệu đã được gắn nhãn ánh xạ đầu vào (câu hỏi) đến đầu ra mong muốn cho nhiệm vụ mục tiêu. Đối với các nhiệm vụ tạo văn bản như tóm tắt, đây sẽ là cặp văn bản đầu vào và tóm tắt đầu ra.
Chia Dữ Liệu: Theo các phương pháp hay nhất, chia tập dữ liệu đã được gắn nhãn của bạn thành các tập đào tạo, xác thực và kiểm tra. Điều này tách dữ liệu cho đào tạo mô hình, điều chỉnh siêu tham số và đánh giá cuối cùng.
Điều Chỉnh Siêu Tham Số: Các tham số như tốc độ học, kích thước lô và lịch đào tạo cần được điều chỉnh cho việc tinh chỉnh hiệu quả nhất trên dữ liệu của bạn. Điều này thường liên quan đến một tập xác thực nhỏ.
Đào Tạo Mô Hình: Sử dụng các siêu tham số đã được điều chỉnh, chạy quá trình tối ưu hóa tinh chỉnh trên toàn bộ tập đào tạo cho đến khi hiệu suất của mô hình trên tập xác thực停止 cải thiện (dừng sớm).
Đánh Giá: Đánh giá hiệu suất của mô hình đã được tinh chỉnh trên tập kiểm tra được giữ lại, lý tưởng nhất là bao gồm các ví dụ thực tế cho trường hợp sử dụng mục tiêu, để ước tính hiệu quả trong thế giới thực.
Triển Khai và Giám Sát: Một khi được hài lòng, mô hình đã được tinh chỉnh có thể được triển khai cho suy luận trên các đầu vào mới. Điều quan trọng là phải theo dõi hiệu suất và độ chính xác của nó theo thời gian để tránh sự thay đổi khái niệm.

Mặc dù điều này phác thảo quá trình chung, nhiều sắc thái có thể ảnh hưởng đến thành công của việc tinh chỉnh cho một mô hình LLM hoặc nhiệm vụ cụ thể. Các chiến lược như học tập chương trình, đa nhiệm vụ tinh chỉnh và gợi nhắc vài lần có thể tăng cường hiệu suất hơn nữa.

Ngoài ra, các phương pháp tinh chỉnh hiệu quả liên quan đến các xem xét thêm. Ví dụ, LoRA yêu cầu các kỹ thuật như điều kiện hóa đầu ra của mô hình đã được đào tạo trước thông qua một lớp kết hợp. Tinh chỉnh câu hỏi cần các câu hỏi được thiết kế cẩn thận để kích hoạt các hành vi chính xác.

Tinh Chỉnh Nâng Cao: Tích Hợp Phản Hồi Con Người

Mặc dù tinh chỉnh giám sát tiêu chuẩn sử dụng các tập dữ liệu đã được gắn nhãn là hiệu quả, một biên giới thú vị là đào tạo mô hình LLM trực tiếp sử dụng sở thích và phản hồi con người. Phương pháp con người trong vòng lặp này tận dụng các kỹ thuật từ học tăng cường:

PPO (Proximal Policy Optimization): Ở đây, mô hình LLM được coi là một tác nhân học tăng cường, với đầu ra của nó là “hành động”. Một mô hình phần thưởng được đào tạo để dự đoán xếp hạng hoặc điểm chất lượng của con người cho các đầu ra này. PPO sau đó tối ưu hóa mô hình LLM để tạo ra đầu ra tối đa hóa điểm số của mô hình phần thưởng.

RLHF (Reinforcement Learning from Human Feedback): Phương pháp này mở rộng PPO bằng cách tích hợp trực tiếp phản hồi con người vào quá trình học. Thay vì một mô hình phần thưởng cố định, phần thưởng đến từ các đánh giá con người lặp lại về đầu ra của mô hình LLM trong quá trình tinh chỉnh.

Mặc dù tính toán đòi hỏi, những phương pháp này cho phép định hình hành vi của mô hình LLM một cách chính xác hơn dựa trên các đặc điểm mong muốn được đánh giá bởi con người, vượt ra ngoài những gì có thể được nắm bắt trong một tập dữ liệu tĩnh.

Các công ty như Anthropic đã sử dụng RLHF để truyền cho mô hình ngôn ngữ của họ như Claude sự trung thực, đạo đức và nhận thức an toàn được cải thiện hơn chỉ là năng lực nhiệm vụ.

Rủi Ro và Hạn Chế Tiềm Năng

Mặc dù vô cùng mạnh mẽ, việc tinh chỉnh mô hình LLM không phải là không có rủi ro cần được quản lý cẩn thận:

Tăng Cường Thiên Vị: Nếu dữ liệu tinh chỉnh chứa thiên vị xã hội xung quanh giới tính, chủng tộc, tuổi tác hoặc các thuộc tính khác, mô hình có thể tăng cường những thiên vị không mong muốn này. Việc kiểm duyệt và tạo ra các tập dữ liệu đại diện và không thiên vị là rất quan trọng.

Đổi Thay Thực Tế: Ngay cả sau khi tinh chỉnh trên dữ liệu chất lượng cao, mô hình ngôn ngữ có thể “huyễn tưởng” các sự kiện hoặc đầu ra không chính xác không nhất quán với các ví dụ đào tạo trong các cuộc trò chuyện hoặc câu hỏi dài hơn. Các phương pháp thu hồi thực tế có thể là cần thiết.

Thử Thách Tính Toán: Việc tinh chỉnh đầy đủ các mô hình lớn như GPT-3 đòi hỏi tài nguyên tính toán khổng lồ có thể không khả thi đối với nhiều tổ chức. Các phương pháp tinh chỉnh hiệu quả một phần giảm thiểu điều này nhưng có sự đánh đổi.

Quên Lãng Thảm Khốc: Trong quá trình tinh chỉnh đầy đủ, mô hình có thể trải qua sự quên lãng thảm khốc, nơi mô hình mất một số khả năng chung đã được học trong quá trình đào tạo trước. Học đa nhiệm vụ có thể là cần thiết.

Rủi Ro Sở Hữu Trí Tuệ và Quyền Riêng Tư: Dữ liệu chuyên dụng được sử dụng để tinh chỉnh có thể bị rò rỉ vào đầu ra mô hình ngôn ngữ công khai, tạo ra rủi ro. Các kỹ thuật quyền riêng tư và giảm thiểu rủi ro thông tin đang là các lĩnh vực nghiên cứu tích cực.

Tổng thể, mặc dù cực kỳ hữu ích, việc tinh chỉnh là một quá trình tinh tế đòi hỏi sự quan tâm đến chất lượng dữ liệu, các vấn đề về bản sắc, giảm thiểu rủi ro và cân bằng giữa hiệu suất và hiệu quả dựa trên yêu cầu của ứng dụng.

Tương Lai: Tùy Chỉnh Mô Hình Ngôn Ngữ Tại Quy Mô Lớn

Nhìn về phía trước, những tiến bộ trong tinh chỉnh và các kỹ thuật thích nghi mô hình sẽ là rất quan trọng để mở khóa toàn bộ tiềm năng của mô hình ngôn ngữ lớn trên nhiều ứng dụng và lĩnh vực khác nhau.

Các phương pháp hiệu quả hơn cho phép tinh chỉnh thậm chí các mô hình lớn hơn như PaLM với tài nguyên hạn chế có thể sẽ mở rộng khả năng tiếp cận. Tự động hóa các đường ống tạo dữ liệu và kỹ thuật gợi nhắc có thể giúp đơn giản hóa việc chuyên môn hóa.

Các kỹ thuật tự giám sát để tinh chỉnh từ dữ liệu thô không có nhãn có thể mở ra những chân trời mới. Và các phương pháp tổng hợp để kết hợp các mô hình con đã được tinh chỉnh trên các nhiệm vụ hoặc dữ liệu khác nhau có thể cho phép xây dựng các mô hình được tùy chỉnh cao trên yêu cầu.

Cuối cùng, khi mô hình ngôn ngữ lớn trở nên phổ biến hơn, khả năng tùy chỉnh và chuyên môn hóa chúng một cách liền mạch cho mọi trường hợp sử dụng có thể tưởng tượng được sẽ là rất quan trọng. Tinh chỉnh và các chiến lược thích nghi mô hình liên quan là những bước quan trọng trong việc hiện thực hóa tầm nhìn của mô hình ngôn ngữ lớn như các công cụ hỗ trợ AI linh hoạt, an toàn và mạnh mẽ, tăng cường khả năng của con người trên mọi lĩnh vực và nỗ lực.

Aayush Mittal, Mittal

Tôi đã dành 5 năm qua để đắm mình trong thế giới hấp dẫn của Máy học và Học sâu. Đam mê và chuyên môn của tôi đã dẫn tôi đến việc đóng góp vào hơn 50 dự án kỹ thuật phần mềm đa dạng, với sự tập trung đặc biệt vào AI/ML. Sự tò mò liên tục của tôi cũng đã thu hút tôi đến với Xử lý Ngôn ngữ Tự nhiên, một lĩnh vực tôi渴望 khám phá thêm.

Unite.AI