Большие языковые модели (LLM), такие как серия GPT от OpenAI, были обучены на широком спектре публично доступных данных и демонстрируют замечательные возможности в генерации текста, суммаризации, ответах на вопросы и планировании. Несмотря на их универсальность, часто возникает вопрос о безшовной интеграции этих моделей с пользовательскими, частными или проприетарными данными.

Бизнес и отдельные лица переполнены уникальными и пользовательскими данными, часто хранящимися в различных приложениях, таких как Notion, Slack и Salesforce (CRM ), или хранящимися в личных файлах. Чтобы использовать LLM для этих конкретных данных, были предложены и экспериментированы несколько методов.

Файн-тюнинг представляет собой один из таких подходов, который заключается в корректировке весов модели для включения знаний из конкретных наборов данных. Однако этот процесс не обходится без своих проблем. Он требует значительных усилий в подготовке данных, в сочетании с трудной процедурой оптимизации, требующей определенного уровня экспертизы в области машинного обучения. Кроме того, финансовые последствия могут быть значительными, особенно при работе с большими наборами данных.

Контекстное обучение появилось как альтернатива, отдавая приоритет созданию входных данных и подсказок для предоставления LLM необходимого контекста для генерации точных выходных данных. Этот подход снимает необходимость в обширной повторной тренировке модели, предлагая более эффективный и доступный способ интеграции частных данных.

Но недостатком этого является его зависимость от навыков и экспертизы пользователя в инженерии подсказок. Кроме того, контекстное обучение может не всегда быть таким точным или надежным, как файн-тюнинг, особенно при работе с высокоспециализированными или техническими данными. Предобучение модели на широком спектре интернет-текста не гарантирует понимание конкретного жаргона или контекста, что может привести к неточным или нерелевантным выходным данным. Это особенно проблематично, когда частные данные относятся к нишевой области или отрасли.

Кроме того, количество контекста, которое можно предоставить в одной подсказке, ограничено, и производительность LLM может ухудшаться по мере увеличения сложности задачи. Также существует проблема конфиденциальности и безопасности данных, поскольку информация, предоставленная в подсказке, может быть потенциально чувствительной или конфиденциальной.

Поскольку сообщество исследует эти методы, инструменты, такие как LlamaIndex, привлекают внимание.

Llama Index

Его основал Джерри Лю, бывший исследователь Uber. Экспериментируя с GPT-3 в прошлом году, Лю заметил ограничения модели при работе с частными данными, такими как личные файлы. Это наблюдение привело к началу открытого проекта LlamaIndex.

Инициатива привлекла инвесторов, получив $8,5 миллиона в недавнем раунде финансирования.

LlamaIndex облегчает расширение возможностей LLM с помощью пользовательских данных, мостя пропасть между предобученными моделями и пользовательскими случаями. С помощью LlamaIndex пользователи могут использовать свои собственные данные с LLM, открывая генерацию знаний и рассуждения с персонализированными идеями.

Пользователи могут без проблем предоставить LLM свои собственные данные, создавая среду, в которой генерация знаний и рассуждения глубоко персонализированы и информативны. LlamaIndex устраняет ограничения контекстного обучения, предоставляя более удобный и безопасный платформу для взаимодействия с данными, гарантируя, что даже те, у кого ограниченный опыт в машинном обучении, могут использовать полный потенциал LLM с помощью своих частных данных.

Высокоуровневые концепции и идеи

1. Усиленная генерация с помощью извлечения (RAG):

LlamaIndex RAG

RAG – это двухэтапный процесс, предназначенный для объединения LLM с пользовательскими данными, тем самым повышая способность модели предоставлять более точные и информативные ответы. Процесс включает в себя:

• Этап индексирования: Это подготовительный этап, на котором закладывается основа для создания базы знаний.

LlamaIndex Indexing

• Этап запроса: На этом этапе база знаний просматривается для поиска релевантного контекста, чтобы помочь LLM ответить на запросы.

LlamaIndex Query Stage

Путешествие индексирования с LlamaIndex:

• Коннекторы данных: Думайте о коннекторах данных как о паспорте ваших данных в LlamaIndex. Они помогают импортировать данные из различных источников и форматов, упаковывая их в простое представление “Документ”. Коннекторы данных можно найти в LlamaHub, открытом репозитории, наполненном загрузчиками данных. Эти загрузчики созданы для простой интеграции, обеспечивая опыт “подключи и воспользуйся” с любым приложением LlamaIndex.

LlamaIndex hub (https://llamahub.ai/)

• Документы/Узлы: Документ – это как универсальный чемодан, который может содержать различные типы данных – будь то PDF, вывод API или записи базы данных. С другой стороны, узел – это фрагмент или “кусок” из документа, обогащенный метаданными и отношениями с другими узлами, обеспечивая прочную основу для точного извлечения данных позже.
• Индексы данных: После поглощения данных LlamaIndex помогает индексировать эти данные в извлекаемом формате. За кулисами он разбирает сырые документы на промежуточные представления, вычисляет векторные вложения и выводит метаданные. Среди индексов ‘VectorStoreIndex’ часто является выбором по умолчанию.

Типы индексов в LlamaIndex: Ключ к организованной базе данных

LlamaIndex предлагает различные типы индексов, каждый из которых предназначен для разных потребностей и случаев использования. В основе этих индексов лежат “узлы”, как обсуждалось выше. Давайте попробуем понять индексы LlamaIndex с их механикой и применением.

1. Индекс списка:

• Механизм: Индекс списка выравнивает узлы последовательно, как список. После разделения входных данных на узлы они располагаются в линейном порядке, готовые к запросу либо последовательно, либо через ключевые слова или вложения.
• Преимущество: Этот тип индекса блестит, когда необходимо последовательное запросирование. LlamaIndex гарантирует, что вся входная база данных используется, даже если она превышает предел токенов LLM, путем умного запроса текста из каждого узла и уточнения ответов при переходе вниз по списку.

2. Индекс хранилища векторов:

• Механизм: Здесь узлы преобразуются в векторные вложения, хранящиеся либо локально, либо в специализированной векторной базе данных, такой как Milvus. При запросе он извлекает топ_k наиболее похожих узлов, направляя их в синтезатор ответов.
• Преимущество: Если ваш рабочий процесс зависит от сравнения текста для семантического сходства через векторный поиск, этот индекс можно использовать.

3. Индекс дерева:

• Механизм: В индексе дерева входные данные эволюционируют в структуру дерева, построенную снизу вверх из листовых узлов (оригинальных фрагментов данных). Родительские узлы возникают как сводки листовых узлов, созданные с помощью GPT. При запросе индекс дерева может проходить от корневого узла к листовым узлам или строить ответы直接 из выбранных листовых узлов.
• Преимущество: С индексом дерева запросирование длинных фрагментов текста становится более эффективным, и извлечение информации из различных сегментов текста упрощается.

4. Индекс ключевых слов:

• Механизм: Индекс ключевых слов представляет собой карту ключевых слов в узлы. При запросе ключевые слова извлекаются из запроса, и только сопоставленные узлы выделяются.
• Преимущество: Когда у вас есть четкие запросы пользователей, индекс ключевых слов можно использовать. Например, просмотр документов по здравоохранению становится более эффективным, когда вы фокусируетесь только на документах, связанных с COVID-19.

Установка LlamaIndex

Установка LlamaIndex – простой процесс. Вы можете выбрать установку либо直接 из Pip, либо из исходного кода. (Убедитесь, что у вас установлен Python в системе или используйте Google Colab)

1. Установка из Pip:

• Выполните следующую команду:
  pip install llama-index

• Примечание: Во время установки LlamaIndex может скачать и хранить локальные файлы для определенных пакетов, таких как NLTK и HuggingFace. Чтобы указать каталог для этих файлов, используйте переменную среды “LLAMA_INDEX_CACHE_DIR”.

2. Установка из исходного кода:

• Сначала клонируйте репозиторий LlamaIndex из GitHub:
  git clone https://github.com/jerryjliu/llama_index.git

• Как только склонировано, перейдите в каталог проекта.
• Вам понадобится Poetry для управления зависимостями пакетов.
• Теперь создайте виртуальную среду с помощью Poetry:
  poetry shell
• Наконец, установите основные требования пакета с:
  poetry install


Настройка среды для LlamaIndex

1. Настройка OpenAI:

• По умолчанию LlamaIndex использует gpt-3.5-turbo от OpenAI для генерации текста и text-embedding-ada-002 для извлечения и вложений.
• Чтобы использовать эту настройку, вам понадобится OPENAI_API_KEY. Получите его, зарегистрировавшись на сайте OpenAI и создав новый токен API.
• У вас есть гибкость, чтобы настроить базовую большую языковую модель (LLM) в соответствии с потребностями вашего проекта. В зависимости от вашего поставщика LLM вам могут потребоваться дополнительные ключи и токены среды.

2. Местная настройка среды:

• Если вы предпочитаете не использовать OpenAI, LlamaIndex автоматически переключается на локальные модели – LlamaCPP и llama2-chat-13B для генерации текста, и BAAI/bge-small-en для извлечения и вложений.
• Чтобы использовать LlamaCPP, следуйте предоставленному руководству по установке. Убедитесь, что вы установили пакет llama-cpp-python, желательно скомпилированный для поддержки вашей видеокарты. Эта настройка будет использовать около 11,5 ГБ памяти на CPU и GPU.
• Для локальных вложений выполните pip install sentence-transformers. Эта локальная настройка будет использовать около 500 МБ памяти.

С этими настройками вы можете адаптировать свою среду для использования либо возможностей OpenAI, либо локальных моделей, соответствуя требованиям и ресурсам вашего проекта.

Простой случай использования: Запрос веб-страниц с помощью LlamaIndex и OpenAI

Вот простой скрипт Python, чтобы продемонстрировать, как вы можете запросить веб-страницу для получения конкретных сведений:

!pip install llama-index html2text

<p>import os
from llama_index import VectorStoreIndex, SimpleWebPageReader</p>

<p># Введите свой ключ OpenAI ниже:
os.environ["OPENAI_API_KEY"] = ""</p>

<p># URL, который вы хотите загрузить в свой векторный магазин:
url = "http://www.paulgraham.com/fr.html"</p>

<p># Загрузите URL в документы (возможно несколько документов)
documents = SimpleWebPageReader(html_to_text=True).load_data([url])</p>

<p># Создайте векторный магазин из документов
index = VectorStoreIndex.from_documents(documents)</p>

<p># Создайте движок запросов, чтобы мы могли задавать ему вопросы:
query_engine = index.as_query_engine()</p>

<p># Задайте столько вопросов, сколько хотите, против загруженных данных:
response = query_engine.query("Какие три лучших совета Пола по привлечению денег?")
print(response)

Три лучших совета Пола по привлечению денег:
1. Начните с низкого числа при первоначальном привлечении денег. Это позволяет гибкость и увеличивает шансы привлечения большего количества средств в долгосрочной перспективе.
2. Стремитесь к прибыльности, если это возможно. Имея план достижения прибыльности без зависимости от дополнительного финансирования, делает стартап более привлекательным для инвесторов.
3. Не оптимизируйте для оценки. Хотя оценка важна, она не является наиболее важным фактором в привлечении средств. Сосредоточьтесь на получении необходимых средств и поиске хороших инвесторов вместо этого.

Google Colab Llama Index Notebook

С помощью этого скрипта вы создали мощный инструмент для извлечения конкретной информации из веб-страницы, просто задав вопрос. Это лишь взгляд на то, что можно достичь с помощью LlamaIndex и OpenAI при запросе веб-данных.

LlamaIndex vs Langchain: Выбор на основе вашей цели

Ваш выбор между LlamaIndex и Langchain будет зависеть от цели вашего проекта. Если вы хотите разработать умный инструмент поиска, LlamaIndex – это прочный выбор, превосходящий как умный механизм хранения данных для извлечения. С другой стороны, если вы хотите создать систему, подобную ChatGPT, с возможностями подключения, Langchain – это ваш выбор. Он не только облегчает несколько экземпляров ChatGPT и LlamaIndex, но также расширяет функциональность, позволяя создавать многофункциональных агентов. Например, с Langchain вы можете создать агентов, способных выполнять код Python, одновременно проводя поиск Google. Коротко говоря, хотя LlamaIndex превосходит в обработке данных, Langchain оркестрирует несколько инструментов, чтобы предоставить целостное решение.

LlamaIndex Logo Artwork created using Midjourney