AI-modeller og plattformer
Databricks bringer fulltekst- og vektorsøk til Lakebase Postgres

Viktige punkterLakebase Search bygger inn vektor- og BM25-søk i Postgres slik at agenter unngår en…
Vis mer
- Lakebase Search bygger inn vektor- og BM25-søk i Postgres slik at agenter unngår en separat søkemotor og ETL-pipeline.
- Databricks hevder at lakebase_vector dobler gjennomstrømningen til det nest beste systemet på VectorDBBench 100M-benchmarken.
- pgvector tvinger frem kostbar alltid resident minne fordi HNSW-indeksen forringes kraftig når den først spilles av til disk.
Databricks 28. september 2026, presenterte Lakebase Search, en innebygd søkemotor for sin Lakebase Postgres-database levert gjennom to utvidelser: lakebase_vector for tilnærmet nærmeste nabo-søk og lakebase_text for BM25 fulltekstsøk. Begge utvidelser er generelt tilgjengelige på AWS og Azure.
Utvidelsene lar utviklere kjøre semantisk, nøkkelord- og hybrid-søk direkte i Postgres sammen med operasjonelle data. Databricks sa at tradisjonelle OLTP-systemer ikke var bygget for søkekravene til AI-agenter, som krever lav latens, høy nøyaktighet i gjenfinning og ofte utfører massive parallelle søk, og at løsningen på dette hittil har betydd å koble en frittstående søkemotor til hoveddatabasen med en ETL-pipeline. Selskapet sa at de bygde Lakebase Search i takt med tilbakemeldinger fra hundrevis av beta‑kunder.
Benchmark-resultater og Conexiom‑utrulling
Databricks sa at lakebase_vector leverer dobbelt så høy gjennomstrømning som det nest beste systemet i VectorDBBench 100M‑benchmarken, som bruker LAION‑datasettet, og at det er fire ganger billigere enn en sky‑Postgres‑leverandør som bruker pgvector, før ytterligere besparelser fra autoskalering. Selskapet rapporterte en P99‑latens på 71 millisekunder ved 97 % recall, noe som betyr at motoren med suksess hentet de faktiske nærmeste naboene 97 % av gangene, og bemerket at pgvector og DiskANN kun ble testet på én stor instans.
Databricks rapporterte også et kunderesultat fra Conexiom, som kjører BM25‑hybridsøk over mer enn 100 millioner rader med halv så stort beregningsfotavtrykk som deres tidligere pgvector‑oppsett. Conexioms infrastrukturkostnader falt med en faktor på tre, og gjennomstrømningen økte med en faktor på fem i forhold til pgvector, opplyste selskapet.
“Lakebase Search gir oss et helt nytt nivå av skalerbarhet sammenlignet med pgvector, og åpner for BM25 i den samme serverløse databasen,” sa Jordan Voves, AI/ML‑arkitekt hos Conexiom. “Vi bruker Lakebase til å koble data til våre agenter i stor skala.”
Pgvector-begrensningene bak designet
Databricks sa at pgvector er den mest installerte utvidelsen i Lakebase Postgres, og beskrev tre tilbakevendende smertepunkter observert hos kunder som kjører den i stor skala.
Den første er kostnad som skalerer med datavolum i stedet for bruk. pgvector holder sin HNSW‑indeks i databaseminnet, og siden HNSW‑søk er avhengig av tilfeldig graftraversering, faller ytelsen med en faktor på 10 til 50 når indeksen flytter til disk og spørringer blir til kjeder av tilfeldige lesinger. En 768‑dimensjonal float32‑vektor tar omtrent 3,3 kilobyte minne når grafkoblinger og Postgres‑overhead er inkludert, så en indeks over 100 millioner rader krever omtrent 330 gigabyte RAM for å forbli resident, fullstendig tildelt uavhengig av om spørringer berører den eller ikke.
Den andre er indeksvedlikehold. Når en bygging flyttet til disk, tok en pgvector‑indeks nesten 50 timer å konstruere på en standard sky‑instans, sa Databricks, og skrivinger lider av samme flaskehals fordi innsetting av en vektor krever tilfeldig graftraversering og endring av flere graflag. Siden HNSW ikke har noen global rebalansering, betyr gjenoppretting av søkekvalitet at man må kjøre en full REINDEX, en operasjon som låser tabellen og stopper produksjonsskrivinger.
Den tredje er at en enkelt spørring ikke kan parallelliseres. En pgvector‑spørring kjøres av én Postgres‑backend‑prosess, noe som etterlater HNSW‑indeksskanningen uten noen parallellisering. Økt recall krever at flere grafnoder besøkes, noe som legger til tilfeldige minne‑lesinger og avstandssammenligninger, øker latensen og reduserer antall spørringer per sekund, så skalering av gjennomstrømning betyr å legge til database‑tilkoblinger eller lesereplikaer.
Hvordan Lakebase_vector er bygget
Lakebase Postgres skiller lagring fra beregning: permanente data ligger i lavkost‑sky‑objektlagring, mens RAM og lokal NVMe fungerer som kortvarige cache‑lag som holder det aktive arbeidssettet. På toppen av dette fundamentet kombinerte Databricks to teknikker.
Hierarkisk IVF‑klustering grupperer vektorer i klynger lagret som sammenhengende blokker. En spørring scorer klynge‑sentroidene i minnet, og leser deretter kun de få blokkene som ser lovende ut som store sekvensielle lesninger i stedet for å foreta mange tilfeldige hopp. Binær kvantisering, ved bruk av RaBitQ‑metoden, komprimerer hver vektor til omtrent én bit per dimensjon, omtrent 32 ganger mindre enn float32, slik at spørringer skanner kompakte koder for å lage en kortliste av kandidater og kun rangere den kortlisten mot vektorer med full presisjon.
Fordi designet er tilstandsløst, skalerer det til null, og i hvile betaler brukere kun for lagring. Databricks rapporterte en målt P90 på 1,13 sekunder for den første spørringen etter skaler‑til‑null på et datasett med 100 millioner vektorer, 768 dimensjoner, og sa at 100 millioner vektorer kan betjenes på én Lakebase Compute Unit.
Indekskonstruksjon trener klyngesentroidene én gang på et lite tilfeldig utvalg; hver vektor blir deretter tilordnet sin nærmeste centroid, kvantisert og skrevet til den aktuelle blokken som en uavhengig operasjon, slik at arbeidet fordeles på så mange kjerner som er tilgjengelige. Databricks opplyser at LTAP-arkitekturen avlaster indeksbygging fra den primære databasen til distribuerte motorer som Spark, noe som reduserer byggetiden til minutter, og sier at mer kommer på denne funksjonaliteten. Siden predikater anvendes under blokk-skanningen, unngår filtrerte spørringer overhenting av kandidater og opprettholder høy recall, og en enkelt spørring parallelliseres over CPU‑kjerner.
BM25-tekstsøk og hybride spørringer
Databricks opplyser at standard Postgres‑tsvector‑søk mangler korpusomfattende relevanskontekst. lakebase_text gir poeng til termer ved hjelp av global invers dokumentfrekvens, og gir mer vekt til sjeldne, høyt intensjonsfulle termer og mindre til vanlige fyllord. Den sjekker også øvre poenggrenser mens den traverserer indeksen, og forkaster hele posting‑blokker som ikke kan påvirke top‑K‑resultatet, noe selskapet sier gjør den raskere enn tsvector med GIN‑indekser.
Kombinasjonen av de to utvidelsene muliggjør innebygd hybridsøk i Postgres: en enkelt spørring kan anvende vanlige SQL‑filterpredikater, slå sammen aktive operasjonelle tabeller, og kombinere semantisk vektorscore med BM25‑nøkkelordrelevans. Databricks opplyser at systemet skalerer fra én rad til én milliard vektorer og fra én spørring per sekund til tusenvis uten manuell reprovisjonering, og beskriver designet som ment for AI‑agenter hvis arbeidsflyter kan utløse tusenvis av samtidige hentingsforespørsler innen sekunder.
Databricks posisjonerer Lakebase Search for brukere som ønsker operasjonelle og søkedata konsolidert i en enkelt database, mens Databricks AI Search forblir deres administrerte motor for gjenfinning som fungerer umiddelbart. Lakebase Search er generelt tilgjengelig på AWS og Azure; eksisterende Lakebase‑brukere kan aktivere utvidelsene, og nye brukere kan registrere seg for Lakebase.












