Модели и платформы ИИ
Databricks добавляет полнотекстовый и векторный поиск в Lakebase Postgres

Ключевые моментыLakebase Search встраивает векторный поиск и поиск BM25 внутрь Postgres, чтобы агенты…
Показать больше
- Lakebase Search встраивает векторный поиск и поиск BM25 внутрь Postgres, чтобы агенты могли обходиться без отдельного поискового движка и ETL-конвейера.
- Databricks утверждает, что lakebase_vector удваивает пропускную способность следующей по эффективности системы в бенчмарке VectorDBBench 100M.
- pgvector вынуждает выделять дорогостоящую постоянно резидентную память, поскольку его индекс HNSW сильно деградирует, как только начинает выгружаться на диск.
Databricks 28 сентября 2026 г., представила Lakebase Search, встроенный поисковый движок для его базы данных Lakebase Postgres, поставляемый через два расширения: lakebase_vector для поиска приближённых ближайших соседей и lakebase_text для полнотекстового поиска BM25. Оба расширения доступны в общем доступе на AWS и Azure.
Расширения позволяют разработчикам выполнять семантический поиск, поиск по ключевым словам и гибридный поиск непосредственно внутри Postgres рядом с оперативными данными. Databricks заявила, что традиционные OLTP‑системы не предназначены для поисковых требований AI‑агентов, которым необходимы низкая задержка, высокая точность извлечения и часто требуется выполнение масштабных параллельных поисков, и что до сих пор решение этой задачи означало подключение отдельного поискового движка к основной базе данных через ETL‑конвейер. Компания заявила, что построила Lakebase Search, опираясь на отзывы сотен бета‑клиентов.
Результаты тестов и развертывание Conexiom
Databricks заявила, что lakebase_vector обеспечивает вдвое большую пропускную способность, чем следующая лучшая система в бенчмарке VectorDBBench 100M, использующем набор данных LAION, и в четыре раза дешевле, чем поставщик облачного Postgres с pgvector, не учитывая дополнительных экономий от автомасштабирования. Компания сообщила о P99‑задержке 71 мс при 97 % полноте, что означает, что движок успешно находил истинных ближайших соседей в 97 % случаев, и отметила, что pgvector и DiskANN были протестированы только на одной крупной инстанции.
Databricks также сообщила о результате клиента Conexiom, который выполняет гибридный поиск BM25 более чем по 100 млн строк, используя вдвое меньший вычислительный ресурс по сравнению с прежней настройкой pgvector. По заявлению компании, инфраструктурные затраты Conexiom сократились в три раза, а пропускная способность выросла в пять раз относительно pgvector.
«Lakebase Search дает нам совершенно новый уровень масштабируемости по сравнению с pgvector и открывает BM25 в той же безсерверной базе данных», — сказал Джордан Вовес, архитектор AI/ML в Conexiom. «Мы используем Lakebase, чтобы подключать данные к нашим агентам в масштабе».
Ограничения pgvector, лежащие в основе дизайна
Databricks заявила, что pgvector является наиболее часто устанавливаемым расширением в Lakebase Postgres, и описала три повторяющихся проблемы, наблюдаемые у клиентов при масштабном использовании.
Первая — стоимость, которая масштабируется с объёмом данных, а не с использованием. pgvector хранит свой HNSW‑индекс в памяти базы данных, и поскольку поиск HNSW опирается на произвольный обход графа, производительность падает в 10–50 раз, как только индекс переходит на диск и запросы превращаются в цепочки случайных чтений. Вектор размером 768 измерений в формате float32 занимает около 3,3 КБ памяти с учётом графовых связей и накладных расходов Postgres, поэтому индекс на 100 млн строк требует примерно 330 ГБ ОЗУ для постоянного размещения, полностью выделяемых независимо от того, обращаются ли к нему запросы.
Вторая — обслуживание индекса. Когда на стадии построения данные были перенесены на диск, построение индекса pgvector занимало почти 50 часов на стандартной облачной инстанции, заявила Databricks, и операции записи страдают от того же узкого места, поскольку вставка вектора требует произвольного обхода и модификации нескольких слоёв графа. Поскольку у HNSW нет глобального ребалансирования, восстановление качества поиска подразумевает запуск полного REINDEX, операции, блокирующей таблицу и останавливающей операции записи в рабочей среде.
Третья — невозможность параллелизации отдельного запроса. Запрос pgvector исполняется одним процессом бекенда Postgres, оставляя сканирование HNSW‑индекса без какой‑либо параллелизации. Увеличение полноты требует обхода большего количества узлов графа, что добавляет случайные чтения памяти и сравнения расстояний, увеличивая задержку и снижая количество запросов в секунду, поэтому масштабирование пропускной способности подразумевает добавление соединений к базе данных или реплик чтения.
Как построен Lakebase_vector
Lakebase Postgres разделяет хранение и вычисления: постоянные данные находятся в недорогом облачном объектном хранилище, а RAM и локальный NVMe служат краткосрочными кэшами, удерживая активный рабочий набор. На этой основе Databricks объединила два подхода.
Иерархическая кластеризация IVF группирует векторы в кластеры, хранящиеся в смежных блоках. Запрос оценивает центроиды кластеров в памяти, а затем читает лишь несколько блоков, которые выглядят перспективными, как крупные последовательные чтения, вместо множества случайных переходов. Бинарная квантизация с использованием метода RaBitQ сжимает каждый вектор до примерно одного бита на измерение, что примерно в 32 раза меньше, чем float32, поэтому запросы сканируют компактные коды, чтобы сформировать короткий список кандидатов и переупорядочить только этот список относительно векторов полной точности.
Поскольку дизайн без состояния, он масштабируется до нуля, а в простое пользователи платят только за хранение. Databricks сообщила измеренный P90 = 1,13 секунды для первого запроса после масштабирования до нуля на наборе данных из 100 млн векторов размерностью 768, и заявила, что 100 млн векторов могут обслуживаться на одной Lakebase Compute Unit.
Построение индекса обучает центроиды кластера один раз на небольшом случайном образце; каждый вектор затем назначается ближайшему центроиду, квантуется и записывается в соответствующий блок как отдельная операция, поэтому работа распределяется на все доступные ядра. Databricks заявила, что её архитектура LTAP переносит построение индексов из основной базы данных на распределённые движки, такие как Spark, сокращая время построения до минут, и сообщила, что в этой возможности будет ещё развитие. Поскольку предикаты применяются непосредственно во время сканирования блока, отфильтрованные запросы избегают избыточного получения кандидатов и сохраняют высокий уровень полноты, а отдельный запрос параллелится по ядрам ЦП.
Текстовый поиск BM25 и гибридные запросы
Databricks заявила, что стандартный поиск tsvector в Postgres не учитывает контекст релевантности по всему корпусу. lakebase_text оценивает термины, используя глобальную обратную частоту документов, придавая больший вес редким, целенаправленным терминам и меньший — распространённым «заполнительным» словам. Он также проверяет верхние границы оценки при обходе индекса, отбрасывая целые блоки постингов, которые не могут повлиять на результат топ‑K, что, по словам компании, делает его быстрее, чем tsvector с GIN‑индексами.
Комбинация двух расширений позволяет выполнять нативный гибридный поиск внутри Postgres: один запрос может применять обычные предикаты фильтрации SQL, соединять активные оперативные таблицы и объединять семантическую оценку векторов с релевантностью ключевых слов BM25. Databricks заявила, что система масштабируется от одной строки до одного миллиарда векторов и от одного запроса в секунду до тысяч без ручного перераспределения ресурсов, описывая дизайн как предназначенный для AI‑агентов, чьи рабочие процессы могут инициировать тысячи одновременных запросов извлечения в течение секунд.
Databricks позиционирует Lakebase Search для пользователей, которым нужны оперативные и поисковые данные, консолидированные в единой базе, в то время как Databricks AI Search остаётся их управляемым движком для извлечения, готовым к использованию сразу же. Lakebase Search доступен в общем доступе на AWS и Azure; существующие пользователи Lakebase могут включить расширения, а новые пользователи могут зарегистрироваться в Lakebase.












