Моделі та платформи ШІ

Databricks додає повнотекстовий та векторний пошук до Lakebase Postgres

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиLakebase Search вбудовує векторний пошук і пошук BM25 у Postgres, щоб агенти могли…
Показати більше
  • Lakebase Search вбудовує векторний пошук і пошук BM25 у Postgres, щоб агенти могли обійтися без окремого пошукового рушія та ETL-конвеєра.
  • Databricks стверджує, що lakebase_vector подвоює пропускну здатність наступної за продуктивністю системи в бенчмарку VectorDBBench 100M.
  • pgvector змушує тримати дорогу постійно зарезервовану пам'ять, оскільки його індекс HNSW сильно деградує, щойно починає витіснятися на диск.

Databricks 28 вересня 2026 р., представив Lakebase Search, вбудований механізм пошуку для його бази даних Lakebase Postgres, що постачається через два розширення: lakebase_vector для пошуку приблизних найближчих сусідів та lakebase_text для повнотекстового пошуку BM25. Обидва розширення загальнодоступні в AWS та Azure.

Розширення дозволяють розробникам виконувати семантичний пошук, пошук за ключовими словами та гібридний пошук безпосередньо в Postgres поряд з операційними даними. Databricks заявив, що традиційні системи OLTP не створені для вимог пошуку AI‑агентів, які потребують низької затримки, високоточної вибірки та часто виконують масивні паралельні пошуки, і що до цього часу їх вирішення означало підключення окремого механізму пошуку до основної бази даних за допомогою ETL‑конвеєра. Компанія зазначила, що створила Lakebase Search, орієнтуючись на відгуки сотень бета‑клієнтів.

Результати бенчмарку та розгортання у Conexiom

Databricks заявив, що lakebase_vector забезпечує вдвічі більшу пропускну здатність, ніж наступна краща система у бенчмарсі VectorDBBench 100M, який використовує набір даних LAION, і в чотири рази дешевше, ніж хмарний постачальник Postgres, що використовує pgvector, без урахування додаткових заощаджень від автоскейлінгу. Компанія повідомила про P99 затримку у 71 мілісекунду при 97 % recall, що означає, що движок успішно знаходив справжніх найближчих сусідів у 97 % випадків, і зазначила, що pgvector та DiskANN тестувалися лише на одній великій інстанції.

Databricks також повідомив про результат клієнта Conexiom, який виконує гібридний пошук BM25 понад 100 мільйонів рядків при вдвічі меншому обчислювальному навантаженні порівняно з його попередньою конфігурацією pgvector. За словами компанії, витрати Conexiom на інфраструктуру знизилися втричі, а пропускна здатність зросла в п’ять разів у порівнянні з pgvector.

«Lakebase Search дає нам зовсім новий рівень масштабованості порівняно з pgvector і відкриває BM25 у тій самій безсерверній базі даних», — сказав Джордан Вовес, архітектор AI/ML у Conexiom. «Ми використовуємо Lakebase, щоб підключати дані до наших агентів у масштабі».

Обмеження pgvector, що лежать в основі дизайну

Databricks заявив, що pgvector є найчастіше встановленим розширенням у Lakebase Postgres, і описав три повторювані проблеми, які спостерігали клієнти під час масштабного використання.

Перша — це витрати, які зростають пропорційно об’єму даних, а не використанню. pgvector зберігає індекс HNSW у пам’яті бази даних, і оскільки пошук HNSW спирається на випадковий доступ до графу, продуктивність падає в 10‑50 разів, коли індекс переходить на диск і запити перетворюються на ланцюжки випадкових читань. Вектор розмірністю 768 у форматі float32 займає близько 3,3 кілобайта пам’яті, враховуючи зв’язки графу та накладні витрати Postgres, тому індекс на 100 мільйонів рядків потребує приблизно 330 гігабайт ОЗП, які залишаються зарезервованими незалежно від того, чи звертаються до них запити.

Друге — це обслуговування індексу. Коли побудова індексу вивела його на диск, індекс pgvector потребував майже 50 годин для створення на стандартній хмарній інстанції, повідомив Databricks, і записи страждають від того ж вузького місця, оскільки вставка вектора вимагає випадкового доступу до графу та модифікації кількох його шарів. Оскільки у HNSW немає глобального перебалансування, відновлення якості пошуку означає запуск повного REINDEX, операції, яка блокує таблицю і зупиняє операції запису у виробничому середовищі.

Третє — це те, що один запит не може бути паралелізований. Запит pgvector виконується одним процесом бекенду Postgres, залишаючи сканування індексу HNSW без будь‑якої паралелізації. Підвищення recall вимагає обходу більшої кількості вузлів графу, що додає випадкові читання пам’яті та порівняння відстаней, збільшуючи затримку та зменшуючи кількість запитів за секунду, тому масштабування пропускної здатності означає додавання з’єднань до бази даних або реплік читання.

Як створюється Lakebase_vector

Lakebase Postgres розділяє сховище та обчислення: постійні дані зберігаються в недорогому хмарному об’єктному сховищі, тоді як ОЗП і локальний NVMe слугують короткоживучими кешами, які утримують активний робочий набір. На цій основі Databricks поєднав два підходи.

Ієрархічне IVF‑кластерування групує вектори в кластери, які зберігаються як суцільні блоки. Запит оцінює центроїди кластерів у пам’яті, а потім читає лише кілька блоків, які виглядають перспективними, як великі послідовні читання замість багатьох випадкових переходів. Бінарна квантизація, використовуючи метод RaBitQ, стискає кожен вектор до приблизно одного біту на вимір, що приблизно в 32 рази менше, ніж float32, тому запити сканують компактні коди, щоб скласти короткий список кандидатів і переранжувати лише цей список проти векторів повної точності.

Оскільки дизайн без стану, він масштабується до нуля, і коли не використовується, користувачі сплачують лише за сховище. Databricks зафіксував виміряний P90 у 1,13 секунди для першого запиту після масштабування до нуля на наборі даних у 100 мільйонів векторів, розмірністю 768, і заявив, що 100 мільйонів векторів можна обслуговувати на одній Lakebase Compute Unit.

Побудова індексу навчає центроїди кластеру один раз на невеликій випадковій вибірці; кожний вектор потім призначається до найближчого центроїда, квантується та записується у відповідний блок як незалежна операція, тому робота розподіляється на стільки ядер, скільки доступно. Databricks заявив, що його архітектура LTAP переносить створення індексів з основної бази даних на розподілені рушії, такі як Spark, скорочуючи час побудови до хвилин, і повідомив, що попереду ще більше можливостей. Оскільки предикати застосовуються під час сканування блоку, відфільтровані запити уникають надмірного отримання кандидатів і зберігають високу повноту пошуку (recall), а один запит паралелізується на ядра CPU.

Текстовий пошук BM25 та гібридні запити

Databricks зазначив, що стандартний пошук tsvector у Postgres не має контексту релевантності на рівні всього корпусу. lakebase_text оцінює терміни, використовуючи глобальну обернену частотність документів, надаючи більшу вагу рідкісним термінам із чітко вираженим наміром і меншу — поширеним заповнювальним словам. Він також перевіряє верхні межі оцінки під час проходження індексу, відкидаючи цілі блоки постингів, які не можуть вплинути на результат top‑K, що, за словами компанії, робить його швидшим за tsvector з індексами GIN.

Поєднання цих двох розширень дозволяє здійснювати нативний гібридний пошук у межах Postgres: один запит може застосовувати звичайні SQL‑фільтри, приєднувати активні операційні таблиці та поєднувати семантичне оцінювання векторів з релевантністю ключових слів BM25. Databricks зазначив, що система масштабується від одного рядка до мільярда векторів і від одного запиту в секунду до тисяч без ручного переналаштування, описуючи дизайн як призначений для AI‑агентів, чий робочий процес може генерувати тисячі одночасних запитів на отримання даних за секунди.

Databricks позиціонує Lakebase Search для користувачів, які бажають консолідувати операційні та пошукові дані в одній базі даних, тоді як Databricks AI Search залишається його керованим механізмом пошуку, який працює одразу після встановлення. Lakebase Search загальнодоступний на AWS та Azure; існуючі користувачі Lakebase можуть увімкнути розширення, а нові користувачі можуть зареєструватися в Lakebase.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.