Cải thiện Mô hình Ngôn ngữ Tăng cường Tìm kiếm: Tự lý luận và Tăng cường Thích ứng cho Hệ thống Đối thoại

Hai phương pháp mới đã xuất hiện trong lĩnh vực này là khung tự lý luận và tăng cường tìm kiếm thích ứng cho hệ thống đối thoại. Trong bài viết này, chúng tôi sẽ đi sâu vào các kỹ thuật đổi mới này và khám phá cách chúng đang đẩy ranh giới của những gì có thể đạt được với mô hình ngôn ngữ.

Lời hứa và Cạm bẫy của Mô hình Ngôn ngữ Tăng cường Tìm kiếm

Hãy hiểu khái niệm về Mô hình Ngôn ngữ Tăng cường Tìm kiếm (RALMs). Ý tưởng cốt lõi đằng sau RALMs là kết hợp kiến thức và khả năng hiểu ngôn ngữ của mô hình ngôn ngữ được đào tạo trước với khả năng truy cập và tích hợp thông tin bên ngoài trong quá trình suy luận.

Đây là một minh họa đơn giản về cách một RALM cơ bản có thể hoạt động:

1. Người dùng hỏi một câu hỏi: “Kết quả của Thế vận hội năm 2024 là gì?”
2. Hệ thống truy xuất các tài liệu liên quan từ cơ sở tri thức bên ngoài.
3. Mô hình ngôn ngữ xử lý câu hỏi cùng với thông tin được truy xuất.
4. Mô hình tạo ra một phản hồi dựa trên cả kiến thức nội bộ và dữ liệu bên ngoài.

Phương pháp này đã cho thấy nhiều hứa hẹn trong việc cải thiện độ chính xác và liên quan của đầu ra mô hình, đặc biệt là đối với các nhiệm vụ yêu cầu truy cập thông tin hiện tại hoặc kiến thức chuyên môn. Tuy nhiên, RALMs không phải là không có thách thức. Hai vấn đề chính mà các nhà nghiên cứu đã phải vật lộn là:

1. Tính tin cậy: Làm thế nào để đảm bảo rằng thông tin được truy xuất là liên quan và hữu ích?
2. Tính minh bạch: Làm thế nào để làm cho quá trình suy luận của mô hình trở nên minh bạch và có thể kiểm chứng hơn?

Nghiên cứu gần đây đã đề xuất các giải pháp sáng tạo cho những thách thức này, mà chúng tôi sẽ khám phá sâu hơn.

Tự lý luận: Cải thiện RALMs với Trajectory Lý luận Explicit

Đây là kiến trúc và quy trình đằng sau mô hình ngôn ngữ tăng cường tìm kiếm, tập trung vào một khung tự lý luận. Phương pháp này sử dụng các đường dẫn để tăng cường khả năng lý luận của mô hình trên các tài liệu được truy xuất.

Khi một câu hỏi được đặt ra, các tài liệu liên quan được truy xuất và xử lý thông qua một loạt các bước lý luận. Cơ chế tự lý luận áp dụng các quá trình phân tích bằng chứng và phân tích đường dẫn để lọc và tổng hợp thông tin trước khi tạo ra câu trả lời cuối cùng. Phương pháp này không chỉ tăng cường độ chính xác của đầu ra mà còn đảm bảo rằng quá trình suy luận đằng sau các câu trả lời là minh bạch và có thể kiểm chứng.

Trong các ví dụ được cung cấp, chẳng hạn như xác định ngày phát hành của bộ phim “Catch Me If You Can” hoặc xác định các nghệ sĩ đã vẽ trần nhà thờ Florence, mô hình hiệu quả lọc qua các tài liệu được truy xuất để tạo ra các câu trả lời chính xác và được hỗ trợ bởi ngữ cảnh.

Bảng này trình bày một phân tích so sánh của các biến thể mô hình ngôn ngữ khác nhau, bao gồm mô hình LLaMA2 và các mô hình tăng cường tìm kiếm khác trên các nhiệm vụ như NaturalQuestions, PopQA, FEVER và ASQA. Kết quả được chia thành các baseline không có tìm kiếm và những baseline được tăng cường với khả năng tìm kiếm.

Hình ảnh này trình bày một kịch bản trong đó một mô hình ngôn ngữ được yêu cầu cung cấp đề xuất dựa trên các truy vấn của người dùng, thể hiện cách sử dụng tri thức bên ngoài có thể ảnh hưởng đến chất lượng và liên quan của các phản hồi. Hình ảnh này nhấn mạnh hai phương pháp: một trong đó mô hình sử dụng một đoạn tri thức và một trong đó nó không. So sánh này cho thấy cách tích hợp thông tin cụ thể có thể điều chỉnh phản hồi để phù hợp hơn với nhu cầu của người dùng, cung cấp độ sâu và chính xác mà có thể thiếu trong một mô hình tạo ra thuần túy.

Một phương pháp đột phá để cải thiện RALMs là giới thiệu các khung tự lý luận. Ý tưởng cốt lõi đằng sau phương pháp này là tận dụng khả năng của mô hình ngôn ngữ để tạo ra các đường dẫn lý luận rõ ràng, có thể được sử dụng để tăng cường chất lượng và độ tin cậy của đầu ra.

Hãy chia nhỏ các thành phần chính của một khung tự lý luận:

1. Quá trình Nhận thức Liên quan (RAP)
2. Quá trình Chọn lọc Nhận thức Bằng chứng (EAP)
3. Quá trình Phân tích Đường dẫn (TAP)

Quá trình Nhận thức Liên quan (RAP)

RAP được thiết kế để giải quyết một trong những thách thức cơ bản của RALMs: xác định liệu các tài liệu được truy xuất có thực sự liên quan đến câu hỏi cho trước. Đây là cách nó hoạt động:

1. Hệ thống truy xuất một tập hợp các tài liệu có thể liên quan sử dụng một mô hình tìm kiếm (ví dụ: DPR hoặc Contriever).
2. Mô hình ngôn ngữ sau đó được yêu cầu đánh giá tính liên quan của các tài liệu này đối với câu hỏi.
3. Mô hình tạo ra các lý do rõ ràng giải thích tại sao các tài liệu được coi là liên quan hoặc không liên quan.

Ví dụ, đối với câu hỏi “Tháp Eiffel được xây dựng khi nào?”, RAP có thể tạo ra đầu ra như thế này:

Quá trình này giúp lọc ra thông tin không liên quan sớm trong quy trình, cải thiện chất lượng tổng thể của phản hồi mô hình.

Quá trình Chọn lọc Nhận thức Bằng chứng (EAP)

EAP đưa việc đánh giá liên quan một bước进一步 bằng cách yêu cầu mô hình xác định và trích dẫn các đoạn bằng chứng cụ thể từ các tài liệu liên quan. Quá trình này mô phỏng cách con người tiếp cận một nhiệm vụ nghiên cứu, chọn các câu quan trọng và giải thích sự liên quan của chúng. Đây là cách đầu ra của EAP có thể trông như thế nào:

Bằng cách trích dẫn rõ ràng nguồn và giải thích sự liên quan của từng đoạn bằng chứng, EAP tăng cường tính minh bạch và giải thích được của đầu ra mô hình.

Quá trình Phân tích Đường dẫn (TAP)

TAP là giai đoạn cuối cùng của khung tự lý luận, nơi mô hình tổng hợp tất cả các đường dẫn lý luận được tạo ra trong các bước trước. Nó phân tích các đường dẫn này và tạo ra một bản tóm tắt ngắn gọn cùng với câu trả lời cuối cùng. Đầu ra của TAP có thể trông như thế này:

Quá trình này cho phép mô hình cung cấp cả một giải thích chi tiết về quá trình suy luận của nó và một câu trả lời ngắn gọn, đáp ứng nhu cầu khác nhau của người dùng.

Triển khai Tự lý luận trong Thực tiễn

Để triển khai khung tự lý luận này, các nhà nghiên cứu đã khám phá các phương pháp khác nhau, bao gồm:

1. Sử dụng mô hình ngôn ngữ được đào tạo trước
2. Tinh chỉnh mô hình ngôn ngữ bằng các kỹ thuật hiệu quả về tham số như QLoRA
3. Phát triển kiến trúc thần kinh chuyên dụng, chẳng hạn như mô hình chú ý đa đầu

Mỗi phương pháp này có ưu và nhược điểm riêng về hiệu suất, hiệu quả và dễ triển khai. Ví dụ, phương pháp sử dụng mô hình ngôn ngữ được đào tạo trước là đơn giản nhất để triển khai nhưng có thể không luôn tạo ra kết quả nhất quán. Tinh chỉnh với QLoRA cung cấp sự cân bằng tốt giữa hiệu suất và hiệu quả, trong khi kiến trúc chuyên dụng có thể cung cấp hiệu suất tốt nhất nhưng đòi hỏi nhiều tài nguyên tính toán hơn để đào tạo.

Đây là một ví dụ đơn giản về cách bạn có thể triển khai RAP bằng cách sử dụng mô hình ngôn ngữ được đào tạo trước:

import openai

<p>def relevance_aware_process(question, documents):</p>

<p> prompt = f"""</p>

Câu hỏi: {question}</p>

Tài liệu được truy xuất:</p>

{documents}</p>

Nhiệm vụ: Xác định liệu các tài liệu được truy xuất có liên quan đến câu hỏi hay không.</p>

Định dạng đầu ra:</p>

Liên quan: [True/False]</p>

Lý do Liên quan: [Giải thích]</p>

Phân tích của bạn:</p>

<p> """</p>

<p> response = openai.Completion.create(</p>

<p> engine="text-davinci-002",</p>

<p> prompt=prompt,</p>

<p> max_tokens=150</p>

<p> )</p>

<p> return response.choices[0].text.strip()</p>

<p># Ví dụ sử dụng</p>

<p>question = "Tháp Eiffel được xây dựng khi nào?"</p>

<p>documents = "Tháp Eiffel là một tháp lưới sắt trên Champ de Mars ở Paris, Pháp. Nó được đặt theo tên của kỹ sư Gustave Eiffel, công ty của ông đã thiết kế và xây dựng tháp. Xây dựng từ năm 1887 đến 1889 như một cánh cổng vào Hội chợ Thế giới năm 1889, ban đầu nó bị chỉ trích bởi một số nghệ sĩ và trí thức hàng đầu của Pháp vì thiết kế của nó, nhưng nó đã trở thành một biểu tượng văn hóa toàn cầu của Pháp."</p>

<p>result = relevance_aware_process(question, documents)</p>

<p>print(result)</p>

def knowledge_gate(context, retrieved_knowledge=None):</p>

<p> # Phân tích bối cảnh và tri thức được truy xuất</p>

<p> # Trả về True nếu tri thức bên ngoài nên được sử dụng, False nếu không</p>

<p> pass</p>

<p>def generate_response(context, knowledge=None):</p>

<p> if knowledge_gate(context, knowledge):</p>

<p> # Sử dụng tạo ra tăng cường tìm kiếm</p>

<p> return generate_with_knowledge(context, knowledge)</p>

<p> else:</p>

<p> # Sử dụng tạo ra mô hình ngôn ngữ tiêu chuẩn</p>

<p> return generate_without_knowledge(context)</p>

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

<p>class RAGate:</p>

<p> def __init__(self, model_name):</p>

<p> self.tokenizer = AutoTokenizer.from_pretrained(model_name)</p>

<p> self.model = AutoModelForSequenceClassification.from_pretrained(model_name)</p>

<p> def should_use_knowledge(self, context, knowledge=None):</p>

<p> inputs = self.tokenizer(context, knowledge or "", return_tensors="pt", truncation=True, max_length=512)</p>

<p> with torch.no_grad():</p>

<p> outputs = self.model(**inputs)</p>

<p> probabilities = torch.softmax(outputs.logits, dim=1)</p>

<p> return probabilities[0][1].item() &gt; 0.5 # Giả sử phân loại nhị phân (0: không tri thức, 1: sử dụng tri thức)</p>

<p>class ConversationSystem:</p>

<p> def __init__(self, ragate, lm, retriever):</p>

<p> self.ragate = ragate</p>

<p> self.lm = lm</p>

<p> self.retriever = retriever</p>

<p> def generate_response(self, context):</p>

<p> knowledge = self.retriever.retrieve(context)</p>

<p> if self.ragate.should_use_knowledge(context, knowledge):</p>

<p> return self.lm.generate_with_knowledge(context, knowledge)</p>

<p> else:</p>

<p> return self.lm.generate_without_knowledge(context)</p>

<p># Ví dụ sử dụng</p>

<p>ragate = RAGate("đường dẫn đến mô hình tinh chỉnh")</p>

<p>lm = LanguageModel() # Mô hình ngôn ngữ được chọn</p>

<p>retriever = KnowledgeRetriever() # Hệ thống truy xuất tri thức</p>

<p>conversation_system = ConversationSystem(ragate, lm, retriever)</p>

<p>context = "Người dùng: Câu hỏi gì?\nHệ thống: Câu trả lời.\nNgười dùng: Hỏi thêm về chủ đề."</p>

<p>response = conversation_system.generate_response(context)</p>

<p>print(response)</p>