AI-modeller och plattformar
Databricks introducerar fulltextsökning och vektorsökning i Lakebase Postgres

Viktiga punkterLakebase Search bäddar in vektor- och BM25-sökning i Postgres så att agenter undviker…
Visa mer
- Lakebase Search bäddar in vektor- och BM25-sökning i Postgres så att agenter undviker en separat sökmotor och ETL-pipeline.
- Databricks hävdar att lakebase_vector fördubblar genomströmningen jämfört med det näst bästa systemet i VectorDBBench 100M-benchmarken.
- pgvector tvingar fram kostsam ständigt resident minne eftersom dess HNSW-index försämras kraftigt när det börjar spilla över till disk.
Databricks har den 28 september 2026 introducerat Lakebase Search, en inbyggd sökmotor för dess Lakebase Postgres-databas som levereras via två tillägg: lakebase_vector för approximativ närmaste granne‑sökning och lakebase_text för BM25 fulltextsökning. Båda tilläggen är allmänt tillgängliga på AWS och Azure.
Tilläggen låter utvecklare köra semantisk, nyckelords‑ och hybridsökning direkt i Postgres tillsammans med operativ data. Databricks sade att traditionella OLTP‑system inte är byggda för de sökbehov som AI‑agenter har, vilka kräver låg latens, hög noggrannhet i informationshämtning och ofta utför massiva parallella sökningar, och att lösningen hittills inneburit att man kopplade en fristående sökmotor till den primära databasen via en ETL‑pipeline. Företaget uppgav att de byggde Lakebase Search utifrån feedback från hundratals betakunder.
Benchmarkresultat och Conexiom‑driftsättningen
Databricks sade att lakebase_vector levererar dubbelt så hög genomströmning som det näst bästa systemet i VectorDBBench 100M‑benchmarken, som använder LAION‑datasetet, och att det är fyra gånger billigare än en molnbaserad Postgres‑leverantör som använder pgvector, innan ytterligare besparingar från autoskalning. Företaget rapporterade en P99‑latens på 71 millisekunder vid 97 % recall, vilket betyder att motorn framgångsrikt återfann de verkliga närmaste grannarna 97 % av gångerna, och noterade att pgvector och DiskANN endast testades på en enda stor instans.
Databricks rapporterade också ett kundresultat från Conexiom, som kör BM25‑hybridsökning över mer än 100 miljoner rader med hälften av beräkningsavtrycket jämfört med sin tidigare pgvector‑installation. Enligt företaget föll Conexioms infrastrukturkostnader trefalt och genomströmningen ökade femfalt i förhållande till pgvector.
„Lakebase Search ger oss en helt ny nivå av skalbarhet jämfört med pgvector och låser upp BM25 i samma serverlösa databas“, sade Jordan Voves, AI/ML‑arkitekt på Conexiom. „Vi använder Lakebase för att koppla data till våra agenter i stor skala.“
Pgvector‑begränsningarna bakom designen
Databricks uppgav att pgvector är det mest installerade tillägget i Lakebase Postgres, och beskrev tre återkommande smärtpunkter som observerats hos kunder som kör det i stor skala.
Den första är kostnad som skalar med datavolym snarare än användning. pgvector behåller sitt HNSW‑index i databasminnet, och eftersom HNSW‑sökning förlitar sig på slumpmässig åtkomst av graftraversering, faller prestandan med en faktor 10 till 50 när indexet spills till disk och frågor blir kedjor av slumpmässiga läsningar. En 768‑dimensionell float32‑vektor tar cirka 3,3 kilobyte minne när graflänkar och Postgres‑overhead inkluderas, så ett index över 100 miljoner rader kräver ungefär 330 gigabyte RAM för att förbli resident, provisionerat i sin helhet oavsett om frågor berör det eller inte.
Den andra är indexunderhåll. När ett indexbygge spillde till disk tog ett pgvector‑index nästan 50 timmar att konstrueras på en standard‑molninstans, enligt Databricks, och skrivningar lider av samma flaskhals eftersom insättning av en vektor kräver slumpmässig åtkomsttraversering och modifiering av flera graflager. Eftersom HNSW saknar global ombalansering innebär återställning av sökkvalitet att man kör en full REINDEX, en operation som låser tabellen och stoppar produktionsskrivningar.
Den tredje är att en enskild fråga inte kan parallelliseras. En pgvector‑fråga körs av en enda Postgres‑backendprocess, vilket lämnar HNSW‑indexskanningen utan någon parallellisering. För att öka recall krävs besök av fler grafnoder, vilket lägger till slumpmässiga minnesläsningar och avståndsberäkningar, ökar latensen och minskar antalet frågor per sekund, så skalning av genomströmning innebär att man lägger till databasanslutningar eller läs‑replicas.
Hur Lakebase_vector byggs
Lakebase Postgres separerar lagring från beräkning: permanent data lagras i kostnadseffektiv moln‑objektlagring, medan RAM och lokalt NVMe fungerar som kortlivade cachar som håller den aktiva arbetsmängden. På den grunden kombinerade Databricks två tekniker.
Hierarkisk IVF‑klustring grupperar vektorer i kluster som lagras som sammanhängande block. En fråga betygsätter klustercentroiderna i minnet och läser sedan endast de få block som ser lovande ut som stora sekventiella läsningar istället för att göra många slumpmässiga hopp. Binär kvantisering, med RaBitQ‑metoden, komprimerar varje vektor till ungefär en bit per dimension, ungefär 32 gånger mindre än float32, så frågor skannar kompakta koder för att kortlista kandidater och omrankar endast den kortlistan mot full‑precision‑vektorer.
Eftersom designen är tillståndslös skalar den till noll, och i vila betalar användarna bara för lagring. Databricks rapporterade en uppmätt P90 på 1,13 sekunder för den första frågan efter scale‑to‑zero på ett dataset med 100 miljoner vektorer, 768 dimensioner, och sade att 100 miljoner vektorer kan betjänas på en Lakebase Compute Unit.
Indexkonstruktionen tränar klustercentroider en enda gång på ett litet slumpmässigt urval; varje vektor tilldelas sedan sin närmaste centroid, kvantiseras och skrivs till lämpligt block som en oberoende operation, så arbetet fördelas över så många kärnor som finns tillgängliga. Databricks sade att deras LTAP-arkitektur avlastar indexbyggnationer från den primära databasen till distribuerade motorer såsom Spark, vilket minskar byggtiderna till minuter, och meddelade att mer kommer på den funktionen. Eftersom predikat appliceras under blockskanningen själv, undviker filtrerade frågor överhämtning av kandidater och håller recall hög, och en enskild fråga parallelliseras över CPU-kärnor.
BM25-textsökning och hybridfrågor
Databricks sade att standard Postgres tsvector-sökning saknar korpusomfattande relevanskontext. lakebase_text poängsätter termer med hjälp av global invers dokumentfrekvens, vilket ger mer vikt åt sällsynta, högintentionella termer och mindre åt vanliga fyllnadsord. Det kontrollerar också övre gränser för poängen när det traverserar indexet och kastar bort hela postingblock som inte kan påverka top‑K-resultatet, vilket företaget sade gör det snabbare än tsvector med GIN-index.
Genom att kombinera de två tilläggen möjliggörs inbyggd hybrid sökning i Postgres: en enskild fråga kan tillämpa vanliga SQL-filterpredikat, göra join-operationer mot aktiva operativa tabeller och slå samman semantiska vektorpoäng med BM25-nyckelordsrelevans. Databricks sade att systemet skalar från en rad till en miljard vektorer och från en fråga per sekund till tusentals utan manuell omprovisionering, och beskriver designen som avsedd för AI‑agenter vars arbetsflöden kan utlösa tusentals samtidiga hämtförfrågningar inom sekunder.
Databricks placerar Lakebase Search för användare som vill ha operativa data och sökdata konsoliderade i en enda databas, medan Databricks AI Search förblir deras hanterade motor för hämtning som fungerar direkt. Lakebase Search är allmänt tillgänglig på AWS och Azure; befintliga Lakebase‑användare kan aktivera tilläggen, och nya användare kan registrera sig för Lakebase.












