Modele și platforme AI
Databricks aduce căutare full-text și vectorială în Lakebase Postgres

Puncte cheieLakebase Search integrează căutarea vectorială și BM25 în Postgres, astfel încât…
Vezi mai mult
- Lakebase Search integrează căutarea vectorială și BM25 în Postgres, astfel încât agenții evită un motor de căutare separat și o conductă ETL.
- Databricks susține că lakebase_vector dublează debitul celui de-al doilea cel mai bun sistem în benchmark-ul VectorDBBench 100M.
- pgvector impune o memorie costisitoare rezidentă permanent, deoarece indexul său HNSW se degradează grav odată ce este vărsat pe disc.
Databricks pe 28 septembrie 2026, a introdus Lakebase Search, un motor de căutare încorporat pentru baza de date Lakebase Postgres, livrat prin două extensii: lakebase_vector pentru căutare aproximativă a celui mai apropiat vecin și lakebase_text pentru căutare full-text BM25. Ambele extensii sunt disponibile în mod general pe AWS și Azure.
Extensiile permit dezvoltatorilor să ruleze căutare semantică, pe cuvinte cheie și hibridă direct în Postgres, alături de datele operaționale. Databricks a declarat că sistemele tradiționale OLTP nu au fost concepute pentru cerințele de căutare ale agenților AI, care necesită recuperare cu latență scăzută și acuratețe ridicată și adesea execută căutări paralele masive, iar rezolvarea acestei probleme până acum a însemnat atașarea unui motor de căutare independent la baza de date principală printr-un pipeline ETL. Compania a afirmat că a construit Lakebase Search pe baza feedback‑ului de la sute de clienți beta.
Rezultatele benchmark și implementarea Conexiom
Databricks a declarat că lakebase_vector livrează de două ori mai mult debit de procesare decât următorul cel mai performant sistem pe benchmarkul VectorDBBench 100M, care folosește setul de date LAION, și că este de patru ori mai ieftin decât un furnizor de Postgres în cloud care utilizează pgvector, înainte de economiile suplimentare generate de autoscalare. Compania a raportat o latență P99 de 71 de milisecunde la 97% recall, ceea ce înseamnă că motorul a recuperat cu succes vecinii cei mai apropiați 97% din timp, și a remarcat că pgvector și DiskANN au fost testate doar pe o singură instanță mare.
Databricks a raportat, de asemenea, un rezultat al unui client de la Conexiom, care rulează căutare hibridă BM25 peste 100 de milioane de rânduri la jumătate din amprenta de calcul a configurării sale anterioare cu pgvector. Costurile de infrastructură ale Conexiom au scăzut de trei ori, iar debitul de procesare a crescut de cinci ori în raport cu pgvector, a declarat compania.
“Lakebase Search ne oferă un nivel complet nou de scalabilitate față de pgvector și deblochează BM25 în aceeași bază de date serverless”, a declarat Jordan Voves, arhitect AI/ML la Conexiom. “Utilizăm Lakebase pentru a conecta datele la agenții noștri la scară largă.”
Limitările pgvector din spatele designului
Databricks a declarat că pgvector este cea mai instalată extensie în Lakebase Postgres și a descris trei puncte dureroase recurente observate la clienții care îl rulează la scară.
Primul este costul care crește odată cu volumul de date, nu cu utilizarea. pgvector păstrează indexul său HNSW în memoria bazei de date, iar deoarece căutarea HNSW se bazează pe traversarea aleatorie a grafului, performanța scade cu un factor între 10 și 50 odată ce indexul se transferă pe disc și interogările devin lanțuri de citiri aleatorii. Un vector float32 de 768 de dimensiuni ocupă aproximativ 3,3 kilobyți de memorie odată ce legăturile grafului și spațiul suplimentar ocupat de Postgres sunt incluse, astfel că un index pentru 100 de milioane de rânduri necesită aproximativ 330 de gigabytes de RAM pentru a rămâne rezident, alocat integral indiferent dacă interogările îl accesează sau nu.
Al doilea este întreținerea indexului. Când o construcție a fost transferată pe disc, construirea unui index pgvector a durat aproape 50 de ore pe o instanță cloud standard, a declarat Databricks, iar scrierile suferă de același blocaj deoarece inserarea unui vector necesită traversare aleatorie și modificarea mai multor straturi ale grafului. Deoarece HNSW nu are rebalansare globală, refacerea calității căutării înseamnă rularea unui REINDEX complet, o operație care blochează tabelul și oprește scrierile de producție.
Al treilea este că o singură interogare nu poate fi paralelizată. O interogare pgvector este executată de un singur proces backend Postgres, lăsând scanarea indexului HNSW fără nicio paralelizare. Creșterea recall‑ului necesită vizitarea unui număr mai mare de noduri ale grafului, ceea ce adaugă citiri aleatorii din memorie și comparații de distanță, inflând latența și reducând numărul de interogări pe secundă, astfel că scalarea debitului de procesare înseamnă adăugarea de conexiuni la baza de date sau replici de citire.
Cum este construit Lakebase_vector
Lakebase Postgres separă stocarea de calcul: datele permanente sunt stocate în stocare de obiecte în cloud cu cost redus, în timp ce RAM și NVMe local servesc ca cache‑uri pe termen scurt care păstrează setul de lucru activ. Pe această bază, Databricks a combinat două tehnici.
Clusterele ierarhice IVF grupează vectorii în clustere stocate ca blocuri contigue. O interogare evaluează centroidurile clusterelor în memorie, apoi citește doar câteva blocuri care par promițătoare ca citiri secvențiale mari, în loc să facă numeroase salturi aleatorii. Cuantizarea binară, utilizând metoda RaBitQ, comprimă fiecare vector la aproximativ un bit pe dimensiune, aproximativ 32 de ori mai mic decât float32, astfel că interogările scanează coduri compacte pentru a crea o listă scurtă de candidați și reordonează doar acea listă scurtă în raport cu vectorii de precizie completă.
Deoarece designul este fără stare, se scalează la zero, iar în repaus utilizatorii plătesc doar pentru stocare. Databricks a raportat un P90 măsurat de 1,13 secunde pentru prima interogare după scalarea la zero pe un set de date de 100 de milioane de vectori, de 768 de dimensiuni, și a declarat că 100 de milioane de vectori pot fi serviți pe o singură Lakebase Compute Unit.
Construirea indexului antrenează centroizii clusterului o singură dată pe un eșantion aleator mic; fiecare vector este apoi atribuit celui mai apropiat centroid, cuantizat și scris în blocul corespunzător ca o operație independentă, astfel încât munca se distribuie pe oricâte nuclee sunt disponibile. Databricks a declarat că arhitectura LTAP descarcă crearea de indexuri din baza de date principală către motoare distribuite precum Spark, reducând timpul de construire la minute, și a spus că vor urma îmbunătățiri ale acestei capacități. Deoarece predicatele sunt aplicate în timpul scanării blocului, interogările filtrate evită preluarea excesivă de candidați și mențin un nivel ridicat de recall, iar o singură interogare se paralelizează pe nuclee CPU.
Căutare Textuală BM25 și Interogări Hibride
Databricks a declarat că căutarea standard tsvector din Postgres nu oferă context de relevanță la nivel de corpus. lakebase_text evaluează termenii folosind frecvența inversă a documentului la nivel global, acordând o greutate mai mare termenilor rari, cu intenție ridicată, și mai puțină cuvintelor umplutură comune. De asemenea, verifică limitele superioare ale scorului în timp ce parcurge indexul, eliminând blocuri întregi de liste de apariții care nu pot afecta rezultatul top‑K, ceea ce, potrivit companiei, îl face mai rapid decât tsvector cu indexuri GIN.
Combinarea celor două extensii permite căutare hibridă nativă în Postgres: o singură interogare poate aplica predicate de filtrare SQL obișnuite, poate alătura tabele operaționale live și poate combina scorarea vectorială semantică cu relevanța cuvintelor cheie BM25. Databricks a declarat că sistemul scalează de la un rând la un miliard de vectori și de la o interogare pe secundă la mii fără reprovisionare manuală, descriind designul ca fiind destinat agenților AI ale căror fluxuri de lucru pot declanșa mii de cereri de recuperare concurente în câteva secunde.
Databricks poziționează Lakebase Search pentru utilizatorii care doresc date operaționale și de căutare consolidate într-o singură bază de date, în timp ce Databricks AI Search rămâne motorul său gestionat pentru recuperare care funcționează din start. Lakebase Search este disponibil în general pe AWS și Azure; utilizatorii existenți Lakebase pot activa extensiile, iar noii utilizatori se pot înscrie la Lakebase.












