Modely a platformy AI
Databricks přináší full‑textové a vektorové vyhledávání do Lakebase Postgres

Klíčové bodyLakebase Search vkládá vektorové a BM25 vyhledávání přímo do Postgresu, takže se agenti…
Zobrazit více
- Lakebase Search vkládá vektorové a BM25 vyhledávání přímo do Postgresu, takže se agenti vyhnou samostatnému vyhledávacímu enginu a ETL pipeline.
- Databricks tvrdí, že lakebase_vector zdvojnásobuje propustnost oproti druhému nejlepšímu systému v benchmarku VectorDBBench 100M.
- pgvector vyžaduje nákladnou trvale rezidentní paměť, protože jeho index HNSW se výrazně zhoršuje, jakmile přeteče na disk.
Databricks dne 28. září 2026, představil Lakebase Search, vestavěný vyhledávací engine pro jeho databázi Lakebase Postgres dodávaný prostřednictvím dvou rozšíření: lakebase_vector pro aproximativní vyhledávání nejbližších sousedů a lakebase_text pro full‑textové vyhledávání BM25. Obě rozšíření jsou obecně dostupná na AWS a Azure.
Rozšíření umožňují vývojářům spouštět sémantické vyhledávání, vyhledávání podle klíčových slov a hybridní vyhledávání přímo v Postgresu vedle provozních dat. Databricks uvedl, že tradiční systémy OLTP nebyly navrženy pro vyhledávací požadavky AI agentů, kteří vyžadují nízkou latenci, vysokou přesnost získávání a často provádějí masivní paralelní vyhledávání, a že jejich řešení dosud znamenalo připojení samostatného vyhledávacího enginu k primární databázi pomocí ETL pipeline. Společnost uvedla, že Lakebase Search vyvíjela na základě zpětné vazby od stovek beta zákazníků.
Výsledky benchmarku a nasazení Conexiom
Databricks uvedl, že lakebase_vector dodává dvojnásobnou propustnost oproti dalšímu nejlepšímu systému v benchmarku VectorDBBench 100M, který používá dataset LAION, a je čtyřikrát levnější než poskytovatel cloudového Postgresu používající pgvector, před dalšími úsporami díky automatickému škálování. Společnost uvedla, že P99 latence byla 71 milisekund při 97 % recall, což znamená, že engine úspěšně získal skutečné nejbližší sousedy v 97 % případů, a poznamenala, že pgvector a DiskANN byly testovány pouze na jedné velké instanci.
Databricks také oznámil výsledek zákazníka od Conexiom, který provozuje hybridní vyhledávání BM25 nad více než 100 miliony řádků při poloviční výpočetní zátěži oproti jeho dřívějšímu nastavení s pgvector. Náklady na infrastrukturu Conexiom klesly trojnásobně a propustnost vzrostla pětinásobně ve srovnání s pgvector, uvedla společnost.
“Lakebase Search nám poskytuje zcela novou úroveň škálovatelnosti oproti pgvector a odemyká BM25 ve stejné serverless databázi,” řekl Jordan Voves, AI/ML architekt v Conexiom. “Používáme Lakebase k propojení dat s našimi agenty ve velkém měřítku.”
Limity pgvector v pozadí návrhu
Databricks uvedl, že pgvector je nejčastěji instalovaným rozšířením v Lakebase Postgres, a popsal tři opakující se problémy, které zákazníci pozorovali při jeho nasazení ve velkém měřítku.
Prvním je náklad, který roste s objemem dat spíše než s využitím. pgvector uchovává svůj HNSW index v paměti databáze a protože vyhledávání HNSW závisí na náhodném přístupu k grafu, výkon klesá o faktor 10 až 50, jakmile index přeteče na disk a dotazy se promění v řetězce náhodných čtení. 768‑dimenzionální float32 vektor zabírá přibližně 3,3 kB paměti po zahrnutí grafových odkazů a režie Postgresu, takže index nad 100 miliony řádků vyžaduje zhruba 330 GB RAM, aby zůstal v paměti, a je plně alokován i když dotazy index nevyužívají.
Druhým je údržba indexu. Když při sestavování došlo k přesunu na disk, vytvoření indexu pgvector trvalo téměř 50 hodin na standardní cloudové instanci, uvedl Databricks, a zápisy trpí stejným úzkým hrdlem, protože vložení vektoru vyžaduje náhodný přístup a úpravu několika vrstev grafu. Protože HNSW nemá globální vyvážení, obnovení kvality vyhledávání vyžaduje provedení úplného REINDEX, operace, která zamkne tabulku a zastaví produkční zápisy.
Třetím je, že jediný dotaz nelze paralelizovat. Dotaz pgvector je vykonáván jedním backendovým procesem Postgresu, takže skenování HNSW indexu není paralelizováno. Zvýšení recall vyžaduje procházení více uzlů grafu, což přidává náhodná čtení z paměti a porovnávání vzdáleností, zvyšuje latenci a snižuje počet dotazů za sekundu, takže škálování propustnosti znamená přidání databázových spojení nebo replik čtení.
Jak je postaven Lakebase_vector
Lakebase Postgres odděluje úložiště od výpočtů: trvalá data jsou uložena v nízkonákladovém cloudovém objektovém úložišti, zatímco RAM a lokální NVMe slouží jako krátkodobé cache, které drží aktivní pracovní sadu. Na této základně Databricks zkombinoval dvě techniky.
Hierarchické IVF shlukování seskupuje vektory do shluků uložených jako souvislé bloky. Dotaz ohodnotí centroidy shluků v paměti a poté načte jen několik bloků, které vypadají slibně, jako velké sekvenční čtení místo mnoha náhodných skoků. Binární kvantizace pomocí metody RaBitQ komprimuje každý vektor na přibližně jeden bit na dimenzi, což je zhruba 32‑krát menší než float32, takže dotazy skenují kompaktní kódy k vytvoření seznamu kandidátů a přehodnocují jen tento seznam proti vektorům s plnou přesností.
Protože je návrh bezstavový, škáluje se na nulu a v nečinnosti uživatelé platí jen za úložiště. Databricks uvedl, že naměřený P90 pro první dotaz po škálování na nulu na datasetu s 100 miliony vektorů a 768 dimenzemi byl 1,13 sekundy, a řekl, že 100 milionů vektorů může být obslouženo na jedné Lakebase Compute Unit.
Konstrukce indexu jednorázově trénuje centroidy shluku na malém náhodném vzorku; každý vektor je pak přiřazen k nejbližšímu centroidu, kvantizován a zapsán do příslušného bloku jako samostatná operace, takže práce se rozprostírá na všechna dostupná jádra. Databricks uvedl, že jeho architektura LTAP přesouvá vytváření indexů z primární databáze na distribuované enginy, jako je Spark, čímž snižuje dobu vytváření na minuty, a dodal, že v této funkci je ještě více v plánu. Protože se predikáty aplikují během samotného skenování bloku, filtrované dotazy se vyhýbají nadměrnému načítání kandidátů a udržují vysokou úroveň úplnosti, a jeden dotaz se paralelizuje napříč CPU jádry.
Vyhledávání textu BM25 a hybridní dotazy
Databricks uvedl, že standardní vyhledávání tsvector v Postgresu postrádá kontext relevance napříč celým korpusem. lakebase_text hodnotí termíny pomocí globální inverzní četnosti dokumentů, přičemž dává vyšší váhu vzácným, vysoce záměrným termínům a nižší váhu běžným výplňovým slovům. Také kontroluje horní meze skóre při procházení indexu a odstraňuje celé bloky seznamů výskytů, které nemohou ovlivnit výsledek top‑K, což společnost uvedla, že je rychlejší než tsvector s GIN indexy.
Kombinace dvou rozšíření umožňuje nativní hybridní vyhledávání v rámci Postgresu: jeden dotaz může použít běžné SQL filtrující predikáty, spojit živé operační tabulky a sloučit semantické vektorové hodnocení s relevancí klíčových slov BM25. Databricks uvedl, že systém škáluje od jednoho řádku až po miliardu vektorů a od jednoho dotazu za sekundu až po tisíce bez ručního přeprovizování, přičemž popsal návrh jako určený pro AI agenty, jejichž pracovní postupy mohou během několika sekund spustit tisíce souběžných požadavků na načtení.
Databricks představuje Lakebase Search pro uživatele, kteří chtějí mít provozní a vyhledávací data konsolidovaná v jedné databázi, zatímco Databricks AI Search zůstává jeho spravovaným enginem pro vyhledávání, který funguje ihned po nasazení. Lakebase Search je obecně dostupný na AWS a Azure; stávající uživatelé Lakebase mohou rozšíření povolit a noví uživatelé se mohou zaregistrovat do Lakebase.












