Mô hình ngôn ngữ lớn (LLM) như loạt GPT của OpenAI đã được đào tạo trên nhiều loại dữ liệu công khai, thể hiện khả năng đáng kinh ngạc trong việc tạo văn bản, tóm tắt, trả lời câu hỏi và lập kế hoạch. Mặc dù chúng rất linh hoạt, một câu hỏi thường được đặt ra là làm thế nào để tích hợp mô hình này với dữ liệu riêng tư hoặc độc quyền một cách mượt mà.

Doanh nghiệp và cá nhân đang ngập trong dữ liệu tùy chỉnh, thường được lưu trữ trong các ứng dụng như Notion, Slack và Salesforce (CRM ), hoặc được lưu trong các tệp cá nhân. Để tận dụng LLM cho dữ liệu này, một số phương pháp đã được đề xuất và thử nghiệm.

Fine-tuning đại diện cho một phương pháp như vậy, bao gồm việc điều chỉnh trọng số của mô hình để kết hợp kiến thức từ các tập dữ liệu cụ thể. Tuy nhiên, quá trình này không thiếu thách thức. Nó đòi hỏi nỗ lực đáng kể trong việc chuẩn bị dữ liệu, cùng với một quy trình tối ưu hóa khó khăn, đòi hỏi một mức độ chuyên môn về học máy. Hơn nữa, các tác động tài chính có thể đáng kể, đặc biệt khi xử lý các tập dữ liệu lớn.

Học trong ngữ cảnh đã xuất hiện như một phương pháp thay thế, ưu tiên việc tạo ra các đầu vào và lời nhắc để cung cấp cho LLM ngữ cảnh cần thiết để tạo ra đầu ra chính xác. Phương pháp này giảm thiểu nhu cầu về việc huấn luyện lại mô hình rộng rãi, cung cấp một phương tiện hiệu quả và dễ tiếp cận hơn để tích hợp dữ liệu riêng tư.

Nhưng nhược điểm của phương pháp này là nó phụ thuộc vào kỹ năng và chuyên môn của người dùng trong kỹ thuật tạo lời nhắc. Ngoài ra, học trong ngữ cảnh có thể không luôn chính xác hoặc đáng tin cậy như fine-tuning, đặc biệt khi xử lý dữ liệu chuyên môn hoặc kỹ thuật. Việc đào tạo trước của mô hình trên nhiều loại văn bản trên internet không đảm bảo rằng nó hiểu rõ về các thuật ngữ hoặc ngữ cảnh cụ thể, điều này có thể dẫn đến đầu ra không chính xác hoặc không liên quan. Điều này đặc biệt vấn đề khi dữ liệu riêng tư đến từ một lĩnh vực hoặc ngành cụ thể.

Hơn nữa, lượng ngữ cảnh có thể được cung cấp trong một lời nhắc đơn lẻ là有限, và hiệu suất của LLM có thể suy giảm khi độ phức tạp của nhiệm vụ tăng lên. Ngoài ra, còn có thách thức về quyền riêng tư và bảo mật dữ liệu, vì thông tin được cung cấp trong lời nhắc có thể là nhạy cảm hoặc bí mật.

Trong khi cộng đồng đang khám phá các kỹ thuật này, các công cụ như LlamaIndex đang thu hút sự chú ý.

Llama Index

Nó được khởi xướng bởi Jerry Liu, một nhà khoa học nghiên cứu tại Uber. Trong khi thử nghiệm với GPT-3 vào mùa thu năm ngoái, Liu nhận thấy những hạn chế của mô hình trong việc xử lý dữ liệu riêng tư, chẳng hạn như tệp cá nhân. Điều này đã dẫn đến sự khởi đầu của dự án mã nguồn mở LlamaIndex.

Sáng kiến này đã thu hút được sự đầu tư, với 8,5 triệu đô la trong một vòng tài trợ hạt giống gần đây.

LlamaIndex giúp tăng cường khả năng của LLM với dữ liệu tùy chỉnh, bắc cầu giữa các mô hình được đào tạo trước và các trường hợp sử dụng dữ liệu tùy chỉnh. Thông qua LlamaIndex, người dùng có thể tận dụng dữ liệu của mình với LLM, mở khóa việc tạo ra kiến thức và lý luận với những thông tin được cá nhân hóa.

Người dùng có thể cung cấp LLM với dữ liệu của mình một cách liền mạch, tạo ra một môi trường trong đó việc tạo ra kiến thức và lý luận được cá nhân hóa và sâu sắc. LlamaIndex giải quyết những hạn chế của học trong ngữ cảnh bằng cách cung cấp một nền tảng thân thiện với người dùng và bảo mật hơn cho tương tác dữ liệu, đảm bảo rằng ngay cả những người có chuyên môn hạn chế về học máy cũng có thể tận dụng tối đa LLM với dữ liệu riêng tư của họ.

Các Khái Niệm Cấp Cao & Một Số Thông Tin

1. Sinh Tạo Tăng Cường Trình Thu Thập (RAG):

LlamaIndex RAG

RAG là một quá trình hai giai đoạn được thiết kế để kết hợp LLM với dữ liệu tùy chỉnh, do đó tăng cường khả năng của mô hình để tạo ra các phản hồi chính xác và thông tin. Quá trình này bao gồm:

• Giai đoạn Chỉ mục: Đây là giai đoạn chuẩn bị nơi cơ sở cho việc tạo cơ sở tri thức được đặt ra.

LlamaIndex Indexing

• Giai đoạn Truy vấn: Tại đây, cơ sở tri thức được tìm kiếm để tìm ngữ cảnh liên quan giúp LLM trả lời các truy vấn.

LlamaIndex Query Stage

Hành Trình Chỉ mục với LlamaIndex:

• Kết nối Dữ liệu: Hãy nghĩ về kết nối dữ liệu như hộ chiếu của dữ liệu bạn vào LlamaIndex. Chúng giúp nhập dữ liệu từ nhiều nguồn và định dạng khác nhau, đóng gói chúng vào một biểu diễn ‘Tài liệu’ đơn giản. Kết nối dữ liệu có thể được tìm thấy trong LlamaHub, một kho mã nguồn mở chứa các trình tải dữ liệu. Những trình tải này được thiết kế để dễ dàng tích hợp, cho phép trải nghiệm kết nối và chạy với bất kỳ ứng dụng LlamaIndex nào.

LlamaIndex hub (https://llamahub.ai/)

• Tài liệu / Node: Một Tài liệu giống như một vali có thể chứa nhiều loại dữ liệu khác nhau – có thể là tệp PDF, đầu ra API hoặc mục nhập cơ sở dữ liệu. Mặt khác, một Node là một mảnh hoặc ‘mảnh’ từ một Tài liệu, được làm giàu với siêu dữ liệu và mối quan hệ với các node khác, đảm bảo một nền tảng vững chắc cho việc thu thập dữ liệu chính xác sau này.
• Chỉ mục Dữ liệu: Sau khi nhập dữ liệu, LlamaIndex giúp chỉ mục hóa dữ liệu này thành một định dạng có thể thu thập. Ở hậu trường, nó chia nhỏ các tài liệu thô thành các biểu diễn trung gian, tính toán các bản nhúng vector và suy luận siêu dữ liệu. Trong số các chỉ mục, ‘VectorStoreIndex’ thường là lựa chọn hàng đầu.

Loại Chỉ mục trong LlamaIndex: Chìa khóa cho Dữ liệu Có Tổ chức

LlamaIndex cung cấp các loại chỉ mục khác nhau, mỗi loại dành cho nhu cầu và trường hợp sử dụng khác nhau. Ở trung tâm của những chỉ mục này là ‘node’ như đã thảo luận ở trên. Hãy cùng tìm hiểu về các chỉ mục LlamaIndex với cơ chế và ứng dụng của chúng.

1. Chỉ mục Danh sách:

• Cơ chế: Chỉ mục Danh sách sắp xếp các node theo trình tự như một danh sách. Sau khi chia nhỏ dữ liệu đầu vào thành các node, chúng được sắp xếp theo thứ tự tuyến tính, sẵn sàng để được truy vấn theo thứ tự hoặc qua từ khóa và bản nhúng.
• Ưu điểm: Loại chỉ mục này phát huy tác dụng khi cần truy vấn tuần tự. LlamaIndex đảm bảo sử dụng toàn bộ dữ liệu đầu vào của bạn, ngay cả khi nó vượt quá giới hạn token của LLM, bằng cách thông minh truy vấn văn bản từ mỗi node và tinh chỉnh câu trả lời khi nó đi xuống danh sách.

2. Chỉ mục Cửa hàng Vector:

• Cơ chế: Ở đây, các node được chuyển đổi thành bản nhúng vector, được lưu trữ cục bộ hoặc trong một cơ sở dữ liệu vector chuyên dụng như Milvus. Khi được truy vấn, nó sẽ lấy các node tương tự nhất và chuyển chúng đến bộ tổng hợp phản hồi.
• Ưu điểm: Nếu luồng công việc của bạn phụ thuộc vào việc so sánh văn bản dựa trên sự tương đồng ngữ nghĩa thông qua tìm kiếm vector, chỉ mục này có thể được sử dụng.

3. Chỉ mục Cây:

• Cơ chế: Trong Chỉ mục Cây, dữ liệu đầu vào phát triển thành một cấu trúc cây, được xây dựng từ dưới lên từ các node lá (các mảnh dữ liệu gốc). Các node cha xuất hiện như tóm tắt của các node lá, được tạo ra bằng GPT. Trong quá trình truy vấn, chỉ mục cây có thể đi từ node gốc đến node lá hoặc xây dựng phản hồi trực tiếp từ các node lá được chọn.
• Ưu điểm: Với Chỉ mục Cây, việc truy vấn các đoạn văn bản dài trở nên hiệu quả hơn và việc trích xuất thông tin từ các đoạn văn bản khác nhau được đơn giản hóa.

4. Chỉ mục Từ khóa:

• Cơ chế: Một bản đồ từ khóa đến node tạo nên lõi của Chỉ mục Từ khóa. Khi được truy vấn, từ khóa được trích xuất từ truy vấn và chỉ các node được ánh xạ sẽ được đưa vào trọng tâm.
• Ưu điểm: Khi bạn có truy vấn người dùng rõ ràng, Chỉ mục Từ khóa có thể được sử dụng. Ví dụ, việc tìm kiếm tài liệu y tế trở nên hiệu quả hơn khi chỉ tập trung vào các tài liệu liên quan đến COVID-19.

Cài Đặt LlamaIndex

Cài đặt LlamaIndex là một quá trình đơn giản. Bạn có thể chọn cài đặt nó trực tiếp từ Pip hoặc từ nguồn. (Đảm bảo có python được cài đặt trong hệ thống của bạn hoặc bạn có thể sử dụng Google Colab)

1. Cài Đặt Từ Pip:

• Thực hiện lệnh sau:
  pip install llama-index

• Lưu ý: Trong quá trình cài đặt, LlamaIndex có thể tải xuống và lưu trữ các tệp cục bộ cho một số gói như NLTK và HuggingFace. Để chỉ định một thư mục cho các tệp này, sử dụng biến môi trường “LLAMA_INDEX_CACHE_DIR”.

2. Cài Đặt Từ Nguồn:

• Đầu tiên, sao chép kho LlamaIndex từ GitHub:
  git clone https://github.com/jerryjliu/llama_index.git

• Sau khi sao chép, điều hướng đến thư mục dự án.
• Bạn sẽ cần Poetry để quản lý các phụ thuộc gói.
• Bây giờ, tạo một môi trường ảo bằng Poetry:
  poetry shell
• Cuối cùng, cài đặt các yêu cầu gói lõi bằng:
  poetry install


Cài Đặt Môi Trường Cho LlamaIndex

1. Cài Đặt OpenAI:

• Mặc định, LlamaIndex sử dụng gpt-3.5-turbo của OpenAI cho việc tạo văn bản và text-embedding-ada-002 cho việc thu thập và tạo bản nhúng.
• Để sử dụng thiết lập này, bạn sẽ cần có OPENAI_API_KEY. Hãy đăng ký trên trang web của OpenAI và tạo một mã API mới.
• Bạn có thể tùy chỉnh mô hình ngôn ngữ lớn (LLM) cơ bản theo nhu cầu dự án của mình. Tùy thuộc vào nhà cung cấp LLM của bạn, bạn có thể cần các khóa và mã môi trường bổ sung.

2. Cài Đặt Môi Trường Local:

• Nếu bạn thích không sử dụng OpenAI, LlamaIndex sẽ tự động chuyển sang các mô hình cục bộ – LlamaCPP và llama2-chat-13B cho việc tạo văn bản, và BAAI/bge-small-en cho việc thu thập và tạo bản nhúng.
• Để sử dụng LlamaCPP, hãy làm theo hướng dẫn cài đặt. Đảm bảo cài đặt gói llama-cpp-python, lý tưởng nhất là biên dịch để hỗ trợ GPU của bạn. Cài đặt này sẽ sử dụng khoảng 11,5GB bộ nhớ trên CPU và GPU.
• Đối với các bản nhúng cục bộ, hãy thực hiện pip install sentence-transformers. Cài đặt cục bộ này sẽ sử dụng khoảng 500MB bộ nhớ.

Với những cài đặt này, bạn có thể tùy chỉnh môi trường của mình để tận dụng sức mạnh của OpenAI hoặc chạy các mô hình cục bộ, phù hợp với yêu cầu và tài nguyên của dự án.

Một Trường Hợp Sử Dụng Đơn Giản: Truy vấn Trang Web với LlamaIndex và OpenAI

Dưới đây là một kịch bản Python đơn giản để minh họa cách bạn có thể truy vấn một trang web để tìm kiếm thông tin cụ thể:

!pip install llama-index html2text

<p>import os
from llama_index import VectorStoreIndex, SimpleWebPageReader</p>

<p># Nhập khóa API OpenAI của bạn bên dưới:
os.environ["OPENAI_API_KEY"] = ""</p>

<p># URL bạn muốn tải vào kho vector của mình ở đây:
url = "http://www.paulgraham.com/fr.html"</p>

<p># Tải URL vào tài liệu (có thể nhiều tài liệu)
documents = SimpleWebPageReader(html_to_text=True).load_data([url])</p>

<p># Tạo kho vector từ tài liệu
index = VectorStoreIndex.from_documents(documents)</p>

<p># Tạo động cơ truy vấn để hỏi câu hỏi
query_engine = index.as_query_engine()</p>

<p># Hỏi càng nhiều câu hỏi bạn muốn đối với dữ liệu đã tải:
response = query_engine.query("Lời khuyên nào của Paul để tăng tiền là tốt nhất?")
print(response)

Lời khuyên tốt nhất của Paul để tăng tiền là:
1. Bắt đầu với một con số thấp khi tăng tiền ban đầu. Điều này cho phép sự linh hoạt và tăng cơ hội nhận được nhiều tiền hơn trong dài hạn.
2. Nhắm đến lợi nhuận nếu có thể. Có một kế hoạch để đạt được lợi nhuận mà không phụ thuộc vào việc tài trợ thêm làm cho startup của bạn hấp dẫn hơn với các nhà đầu tư.
3. Đừng tối ưu hóa cho định giá. Mặc dù định giá quan trọng, nhưng không phải là yếu tố quan trọng nhất trong việc tài trợ. Tập trung vào việc nhận được số tiền cần thiết và tìm kiếm các nhà đầu tư tốt.

Google Colab Llama Index Notebook

Với kịch bản này, bạn đã tạo một công cụ mạnh mẽ để trích xuất thông tin cụ thể từ một trang web bằng cách đặt câu hỏi. Đây chỉ là một ví dụ nhỏ về những gì có thể đạt được với LlamaIndex và OpenAI khi truy vấn dữ liệu web.

LlamaIndex vs Langchain: Lựa Chọn Dựa trên Mục Tiêu của Bạn

Lựa chọn của bạn giữa LlamaIndex và Langchain sẽ phụ thuộc vào mục tiêu của dự án. Nếu bạn muốn phát triển một công cụ tìm kiếm thông minh, LlamaIndex là một lựa chọn vững chắc, nổi bật như một cơ chế lưu trữ thông minh cho việc thu thập dữ liệu. Mặt khác, nếu bạn muốn tạo một hệ thống như ChatGPT với khả năng plugin, Langchain là lựa chọn của bạn. Nó không chỉ cho phép nhiều thể hiện của ChatGPT và LlamaIndex mà còn mở rộng chức năng bằng cách cho phép xây dựng các tác nhân đa nhiệm. Ví dụ, với Langchain, bạn có thể tạo các tác nhân có khả năng thực thi mã Python đồng thời với việc thực hiện tìm kiếm trên Google. Tóm lại, trong khi LlamaIndex vượt trội trong việc xử lý dữ liệu, Langchain điều phối nhiều công cụ để cung cấp một giải pháp toàn diện.

LlamaIndex Logo Artwork created using Midjourney