AI-modeller og platforme

Databricks bringer fuldtekstsøgning og vektorsøgning til Lakebase Postgres

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterLakebase Search indlejrer vektor- og BM25-søgning i Postgres, så agenter undgår en…
Vis mere
  • Lakebase Search indlejrer vektor- og BM25-søgning i Postgres, så agenter undgår en separat søgemaskine og ETL-pipeline.
  • Databricks hævder, at lakebase_vector fordobler gennemstrømningen sammenlignet med det næstbedste system på VectorDBBench 100M-benchmarken.
  • pgvector kræver kostbart altid-resident hukommelse, fordi dets HNSW-indeks forringes kraftigt, når det først spilder til disken.

Databricks introducerede den 28. september 2026 Lakebase Search, en indbygget søgemaskine for sin Lakebase Postgres-database leveret gennem to udvidelser: lakebase_vector for tilnærmet nærmeste nabo‑søgning og lakebase_text for BM25 fuldtekstsøgning. Begge udvidelser er generelt tilgængelige på AWS og Azure.

Udvidelserne giver udviklere mulighed for at køre semantisk, nøgleords‑ og hybrid‑søgning direkte i Postgres sammen med operationelle data. Databricks sagde, at traditionelle OLTP‑systemer ikke var bygget til de søgekrav, som AI‑agenter stiller, fordi de kræver genfinding med lav latenstid og høj nøjagtighed og ofte udfører omfattende parallelle søgninger, og at løsningen hidtil har betydet at tilknytte en selvstændig søgemaskine til den primære database via en ETL‑pipeline. Virksomheden sagde, at den byggede Lakebase Search på baggrund af feedback fra hundredvis af beta‑kunder.

Benchmarkresultater og Conexiom‑implementeringen

Databricks sagde, at lakebase_vector leverer dobbelt så høj gennemstrømning som det næstbedste system på VectorDBBench 100M benchmark, som bruger LAION‑datasættet, og at den er fire gange billigere end en cloud‑Postgres‑leverandør, der bruger pgvector, før yderligere besparelser fra autoskalering. Virksomheden rapporterede en P99‑latens på 71 millisekunder ved 97 % recall, hvilket betyder, at motoren med succes hentede de sande nærmeste naboer 97 % af tiden, og bemærkede, at pgvector og DiskANN kun blev testet på en enkelt stor instans.

Databricks rapporterede også et kunderesultat fra Conexiom, som kører BM25‑hybrid‑søgning over mere end 100 millioner rækker med halvt så mange beregningsressourcer som i sin tidligere pgvector‑opsætning. Conexioms infrastrukturomkostninger faldt trefold, og gennemstrømningen steg femfold i forhold til pgvector, sagde virksomheden.

“Lakebase Search giver os et helt nyt niveau af skalerbarhed i forhold til pgvector og låser op for BM25 i den samme serverløse database,” sagde Jordan Voves, AI/ML‑arkitekt hos Conexiom. “Vi bruger Lakebase til at forbinde data med vores agenter i stor skala.”

Pgvector‑begrænsningerne bag designet

Databricks sagde, at pgvector er den mest installerede udvidelse i Lakebase Postgres, og den beskrev tre tilbagevendende smertepunkter, som virksomheden har observeret hos kunder, der bruger den i stor skala.

Den første er omkostninger, der skalerer med datavolumen snarere end med brug. pgvector holder sit HNSW‑indeks i databasens hukommelse, og fordi HNSW‑søgning er afhængig af tilfældig graftraversering, falder ydeevnen med en faktor på 10 til 50, så snart indekset flyder over på disk, og forespørgsler bliver til kæder af tilfældige læsninger. En 768‑dimensional float32‑vektor optager omkring 3,3 kilobyte hukommelse, når graf‑links og Postgres‑overhead er medregnet, så et indeks over 100 millioner rækker kræver cirka 330 gigabyte RAM for at forblive resident, fuldt provisioneret uanset om forespørgsler berører det eller ej.

Den anden er indeksvedligeholdelse. Når en opbygning flyder over på disk, tog et pgvector‑indeks næsten 50 timer at konstruere på en standard cloud‑instans, sagde Databricks, og skrivninger lider under den samme flaskehals, fordi indsættelse af en vektor kræver graftraversering med tilfældig adgang og ændring af flere graflag. Da HNSW ikke har nogen global genbalancering, betyder genoprettelse af søgekvalitet, at man skal køre en fuld REINDEX, en operation der låser tabellen og stopper produktionsskrivninger.

Den tredje er, at en enkelt forespørgsel ikke kan paralleliseres. En pgvector‑forespørgsel udføres af én Postgres‑backend‑proces, så HNSW‑indeksskanningen forbliver uden parallelisering. For at øge recall kræves det, at flere graf‑noder besøges, hvilket tilføjer tilfældige hukommelseslæsninger og afstandssammenligninger, øger latenstiden og reducerer antallet af forespørgsler pr. sekund, så skalering af gennemstrømning betyder at tilføje databaseforbindelser eller læsereplikater.

Hvordan Lakebase_vector bygges

Lakebase Postgres adskiller lagring fra beregning: permanente data ligger i billig cloud‑objektlagring, mens RAM og lokal NVMe fungerer som kortvarige cache‑lagre, der holder det aktive arbejds‑sæt. På dette grundlag kombinerede Databricks to teknikker.

Hierarkisk IVF‑klyngedannelse grupperer vektorer i klynger, der gemmes som sammenhængende blokke. En forespørgsel scorer klynge‑centroiderne i hukommelsen og læser derefter kun de få blokke, der ser lovende ud, som store sekventielle læsninger i stedet for mange tilfældige hop. Binær kvantisering, ved brug af RaBitQ‑metoden, komprimerer hver vektor til omkring én bit per dimension, cirka 32 gange mindre end float32, så forespørgsler scanner kompakte koder for at udvælge kandidater og kun gen‑rangere denne udvalgte liste mod vektorer med fuld præcision.

Da designet er tilstandsløst, skalerer det til nul, og i hvile betaler brugerne kun for lagring. Databricks rapporterede en målt P90 på 1,13 sekunder for den første forespørgsel efter skalering til nul på et datasæt med 100 millioner vektorer, 768 dimensioner, og sagde, at 100 millioner vektorer kan betjenes på én Lakebase Compute Unit.

Indeksopbygning træner klyngecentroider én gang på et lille tilfældigt udsnit; hver vektor tildeles derefter sin nærmeste centroid, kvantiseres og skrives til den tilsvarende blok som en uafhængig operation, så arbejdet fordeles på så mange kerner, der er tilgængelige. Databricks sagde, at deres LTAP-arkitektur flytter arbejdet med indeksopbygning fra den primære database til distribuerede motorer såsom Spark, hvilket reducerer byggetider til minutter, og de meddelte, at mere er på vej med den funktionalitet. Da prædikater anvendes under selve blokscanningen, undgår filtrerede forespørgsler overindlæsning af kandidater og bevarer høj recall, og en enkelt forespørgsel paralleliseres på CPU-kerner.

BM25-tekstsøgning og hybride forespørgsler

Databricks sagde, at standard Postgres tsvector-søgning mangler korpusdækkende relevanskontekst. lakebase_text scorer termer ved hjælp af global invers dokumentfrekvens, hvilket giver større vægt til sjældne, højintentionelle termer og mindre til almindelige fyldord. Den tjekker også øvre grænser for score, mens den gennemløber indekset, og forkaster hele posting-blokke, der ikke kan påvirke top‑K-resultatet, hvilket virksomheden sagde gør den hurtigere end tsvector med GIN‑indekser.

Kombinationen af de to udvidelser muliggør indbygget hybrid søgning i Postgres: en enkelt forespørgsel kan anvende almindelige SQL-filterprædikater, sammenkæde live operationelle tabeller og sammenlægge semantisk vektorscoring med BM25‑nøgleordrelevans. Databricks sagde, at systemet skalerer fra én række til en milliard vektorer og fra én forespørgsel pr. sekund til tusinder uden manuel omprovisionering, og beskriver designet som beregnet til AI‑agenter, hvis arbejdsprocesser kan udløse tusinder af samtidige hentningsanmodninger inden for sekunder.

Databricks positionerer Lakebase Search for brugere, der ønsker operationelle og søgedata samlet i én database, mens Databricks AI Search forbliver deres administrerede motor til hentning, som fungerer klar til brug. Lakebase Search er generelt tilgængelig på AWS og Azure; eksisterende Lakebase‑brugere kan aktivere udvidelserne, og nye brugere kan tilmelde sig Lakebase.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.