KI-Modelle und Plattformen
Databricks bringt Volltext- und Vektorsuche zu Lakebase Postgres

Wichtige PunkteLakebase Search bettet Vektor- und BM25-Suche direkt in Postgres ein, sodass Agenten…
Mehr anzeigen
- Lakebase Search bettet Vektor- und BM25-Suche direkt in Postgres ein, sodass Agenten eine separate Suchmaschine und ETL-Pipeline vermeiden.
- Databricks behauptet, dass lakebase_vector im VectorDBBench-100M-Benchmark den Durchsatz des nächstbesten Systems verdoppelt.
- pgvector erzwingt kostspieligen, dauerhaft residenten Speicher, weil sein HNSW-Index stark an Leistung verliert, sobald er auf die Festplatte ausgelagert wird.
Databricks hat am 28. September 2026 Lakebase Search eingeführt, eine integrierte Suchmaschine für seine Lakebase Postgres‑Datenbank, die über zwei Erweiterungen bereitgestellt wird: lakebase_vector für die approximative Nächste-Nachbarn-Suche und lakebase_text für die BM25-Volltextsuche. Beide Erweiterungen sind allgemein verfügbar bei AWS und Azure.
Die Erweiterungen ermöglichen Entwicklern, semantische, Stichwort‑ und hybride Suche direkt in Postgres neben operationalen Daten auszuführen. Databricks erklärte, dass herkömmliche OLTP‑Systeme nicht für die Suchanforderungen von KI‑Agenten gebaut seien, die eine latenzarme, hochgenaue Abrufleistung benötigen und häufig massive parallele Suchen ausführen, und dass die Lösung bislang bedeutete, eine eigenständige Suchmaschine über eine ETL‑Pipeline an die primäre Datenbank anzuschließen. Das Unternehmen sagte, dass es Lakebase Search zusammen mit dem Feedback von Hunderten von Beta‑Kunden entwickelt habe.
Benchmark‑Ergebnisse und die Conexiom‑Implementierung
Databricks zufolge liefert lakebase_vector die doppelte Durchsatzrate des nächstbesten Systems im VectorDBBench‑100M‑Benchmark, der den LAION‑Datensatz verwendet, und ist viermal günstiger als ein Cloud‑Postgres‑Anbieter, der pgvector nutzt, vor zusätzlichen Einsparungen durch automatisches Skalieren. Das Unternehmen berichtete eine P99‑Latenz von 71 Millisekunden bei 97 % Recall, was bedeutet, dass die Engine die wahren nächsten Nachbarn in 97 % der Fälle erfolgreich abgerufen hat, und stellte fest, dass pgvector und DiskANN nur auf einer einzigen großen Instanz getestet wurden.
Databricks berichtete außerdem über ein Kundenergebnis von Conexiom, das die BM25‑Hybridsuche über mehr als 100 Millionen Zeilen mit halb so großem Rechenaufwand wie sein vorheriges pgvector‑Setup ausführt. Die Infrastrukturkosten von Conexiom sanken auf ein Drittel des früheren Werts, und der Durchsatz stieg im Vergleich zu pgvector auf das Fünffache, sagte das Unternehmen.
“Lakebase Search bietet uns ein völlig neues Skalierbarkeitsniveau gegenüber pgvector und ermöglicht BM25 in derselben serverlosen Datenbank”, sagte Jordan Voves, AI/ML‑Architekt bei Conexiom. “Wir nutzen Lakebase, um Daten in großem Umfang mit unseren Agenten zu verbinden.”
Die Pgvector‑Grenzen hinter dem Design
Databricks sagte, pgvector sei die am häufigsten installierte Erweiterung in Lakebase Postgres, und beschrieb drei wiederkehrende Schmerzpunkte, die bei Kunden beobachtet wurden, die es in großem Maßstab einsetzen.
Der erste Punkt sind die Kosten, die mit dem Datenvolumen und nicht mit der Nutzung skalieren. pgvector hält seinen HNSW‑Index im Datenbank‑Speicher, und da die HNSW‑Suche auf Graph‑Durchläufen mit wahlfreien Zugriffen beruht, sinkt die Leistung um einen Faktor von 10 bis 50, sobald der Index auf die Festplatte auslagert und Abfragen zu Ketten zufälliger Lesevorgänge werden. Ein 768‑dimensionaler float32‑Vektor belegt etwa 3,3 KB Speicher, sobald Graph‑Links und Postgres‑Overhead einbezogen sind, sodass ein Index über 100 Millionen Zeilen ungefähr 330 GB RAM benötigt, um resident zu bleiben, und vollständig bereitgestellt wird, egal ob Abfragen ihn berühren oder nicht.
Der zweite ist die Indexwartung. Als ein Build auf die Festplatte ausgelagert wurde, benötigte ein pgvector‑Index laut Databricks fast 50 Stunden für die Erstellung auf einer Standard‑Cloud‑Instanz, und Schreibvorgänge leiden unter demselben Engpass, weil das Einfügen eines Vektors einen Durchlauf mit wahlfreien Zugriffen und die Modifikation mehrerer Graph‑Schichten erfordert. Da HNSW keine globale Neuausbalancierung hat, bedeutet die Wiederherstellung der Suchqualität, einen vollständigen REINDEX auszuführen, eine Operation, die die Tabelle sperrt und Produktionsschreibvorgänge stoppt.
Der dritte ist, dass eine einzelne Abfrage nicht parallelisiert werden kann. Eine pgvector‑Abfrage wird von einem einzigen Postgres‑Backend‑Prozess ausgeführt, wodurch der HNSW‑Index‑Scan keine Parallelisierung erhält. Einen höheren Recall zu erreichen erfordert das Besuchen weiterer Graph‑Knoten, was zufällige Speicherlesungen und Distanzvergleiche hinzufügt, die Latenz erhöht und die Anfragen pro Sekunde reduziert, sodass die Skalierung des Durchsatzes bedeutet, Datenbankverbindungen oder Lesereplikate hinzuzufügen.
Wie Lakebase_vector gebaut wird
Lakebase Postgres trennt Speicher von Rechenleistung: permanente Daten liegen in kostengünstigem Cloud‑Objektspeicher, während RAM und lokales NVMe als kurzlebige Caches dienen, die den aktiven Arbeitssatz halten. Auf dieser Grundlage kombinierte Databricks zwei Techniken.
Hierarchisches IVF‑Clustering gruppiert Vektoren in Cluster, die als zusammenhängende Blöcke gespeichert werden. Eine Abfrage bewertet die Cluster‑Zentroiden im Speicher und liest dann nur die wenigen Blöcke, die vielversprechend erscheinen, als große sequenzielle Lesevorgänge, anstatt viele zufällige Sprünge zu machen. Die binäre Quantisierung, die die RaBitQ‑Methode verwendet, komprimiert jeden Vektor auf etwa ein Bit pro Dimension, ungefähr 32‑mal kleiner als float32, sodass Abfragen kompakte Codes scannen, um Kandidaten vorzuwählen und nur diese Vorwahl gegen Vollpräzisions‑Vektoren neu zu ranken.
Da das Design zustandslos ist, skaliert es auf Null, und im Ruhezustand zahlen Nutzer nur für den Speicher. Databricks meldete ein gemessenes P90 von 1,13 Sekunden für die erste Abfrage nach dem Skalieren‑zu‑Null auf einem Datensatz von 100 Millionen Vektoren mit 768 Dimensionen und sagte, dass 100 Millionen Vektoren auf einer Lakebase Compute Unit bedient werden können.
Der Indexaufbau trainiert die Cluster‑Zentroiden einmalig anhand einer kleinen Zufallsstichprobe; jeder Vektor wird dann seinem nächsten Zentroiden zugeordnet, quantisiert und als eigenständiger Vorgang in den entsprechenden Block geschrieben, sodass die Arbeit sich über alle verfügbaren Kerne verteilt. Databricks erklärte, dass seine LTAP‑Architektur den Indexaufbau vom primären Datenbank‑Backend auf verteilte Engines wie Spark auslagert, wodurch die Build‑Zeit auf Minuten reduziert wird, und kündigte an, dass weitere Funktionen folgen werden. Da Prädikate bereits beim Block‑Scan angewendet werden, vermeiden gefilterte Abfragen ein Über‑Abrufen von Kandidaten und halten den Recall hoch, und eine einzelne Abfrage wird über CPU‑Kerne parallelisiert.
BM25‑Textsuche und hybride Abfragen
Databricks erklärte, dass die Standard‑Postgres‑tsvector‑Suche keinen kontextweiten Relevanzbezug über das gesamte Korpus bietet. lakebase_text bewertet Begriffe anhand der globalen inversen Dokumentenhäufigkeit, wobei seltene, hochintentionale Begriffe stärker gewichtet und häufige Füllwörter weniger. Beim Durchlaufen des Index prüft es zudem obere Score‑Grenzen und verwirft ganze Posting‑Blöcke, die das Top‑K‑Ergebnis nicht beeinflussen können, was dem Unternehmen zufolge schneller ist als tsvector mit GIN‑Indizes.
Die Kombination beider Erweiterungen ermöglicht eine native hybride Suche innerhalb von Postgres: Eine einzelne Abfrage kann gewöhnliche SQL‑Filterprädikate anwenden, Live‑Operationstabellen joinen und die semantische Vektorbewertung mit der BM25‑Schlüsselwortrelevanz verbinden. Databricks erklärte, dass das System von einer Zeile bis zu einer Milliarde Vektoren und von einer Abfrage pro Sekunde bis zu Tausenden skaliert, ohne manuelles Re‑Provisioning, und beschreibt das Design als für KI‑Agenten gedacht, deren Workflows innerhalb von Sekunden Tausende gleichzeitiger Abruf‑Anfragen auslösen können.
Databricks positioniert Lakebase Search für Nutzer, die operative und Suchdaten in einer einzigen Datenbank konsolidieren möchten, während Databricks AI Search weiterhin die verwaltete Engine für sofort einsatzbereite Retrieval‑Funktionen bleibt. Lakebase Search ist allgemein verfügbar auf AWS und Azure; bestehende Lakebase‑Nutzer können die Erweiterungen aktivieren, und neue Nutzer können sich für Lakebase anmelden.












