Modèles et plateformes d’IA
Databricks apporte la recherche en texte intégral et vectorielle à Lakebase Postgres

Points clésLakebase Search intègre la recherche vectorielle et BM25 directement dans Postgres…
Voir plus
- Lakebase Search intègre la recherche vectorielle et BM25 directement dans Postgres, afin que les agents évitent un moteur de recherche et un pipeline ETL séparés.
- Databricks affirme que lakebase_vector double le débit du meilleur système concurrent sur le benchmark VectorDBBench 100M.
- pgvector impose une mémoire résidente permanente coûteuse, car son index HNSW se dégrade fortement dès qu'il déborde sur le disque.
Databricks le 28 septembre 2026, a présenté Lakebase Search, un moteur de recherche intégré pour sa base de données Lakebase Postgres livré via deux extensions : lakebase_vector pour la recherche approximative de voisins les plus proches et lakebase_text pour la recherche en texte intégral BM25. Les deux extensions sont en disponibilité générale sur AWS et Azure.
Les extensions permettent aux développeurs d’exécuter des recherches sémantiques, par mots‑clés et hybrides directement dans Postgres aux côtés des données opérationnelles. Databricks a déclaré que les systèmes OLTP traditionnels n’étaient pas conçus pour les exigences de recherche des agents IA, qui nécessitent une récupération à faible latence et haute précision et exécutent souvent des recherches massivement parallèles, et que résoudre ce problème jusqu’à présent signifiait attacher un moteur de recherche autonome à la base de données principale via un pipeline ETL. L’entreprise a indiqué avoir construit Lakebase Search en s’appuyant sur les retours de centaines de clients bêta.
Résultats des benchmarks et déploiement chez Conexiom
Databricks a déclaré que lakebase_vector offre deux fois le débit du deuxième meilleur système sur le benchmark VectorDBBench 100M, qui utilise le jeu de données LAION, et qu’il est quatre fois moins cher qu’un fournisseur cloud Postgres utilisant pgvector, avant les économies supplémentaires liées à l’autoscaling. L’entreprise a rapporté une latence P99 de 71 millisecondes à 97 % de rappel, ce qui signifie que le moteur a récupéré les vrais voisins les plus proches 97 % du temps, et a noté que pgvector et DiskANN n’avaient été testés que sur une seule grande instance.
Databricks a également rapporté un résultat client de Conexiom, qui exécute une recherche hybride BM25 sur plus de 100 millions de lignes avec la moitié de l’empreinte de calcul de son installation pgvector précédente. Les coûts d’infrastructure de Conexiom ont diminué d’un facteur trois et le débit a augmenté d’un facteur cinq par rapport à pgvector, a déclaré l’entreprise.
“Lakebase Search nous offre un tout nouveau niveau de scalabilité par rapport à pgvector, et débloque BM25 dans la même base de données serverless,” a déclaré Jordan Voves, architecte IA/ML chez Conexiom. “Nous utilisons Lakebase pour connecter les données à nos agents à grande échelle.”
Les limites de pgvector à l’origine de la conception
Databricks a indiqué que pgvector est l’extension la plus installée dans Lakebase Postgres, et a décrit trois points de douleur récurrents observés chez les clients l’utilisant à grande échelle.
Le premier est le coût qui augmente avec le volume de données plutôt qu’avec l’usage. pgvector conserve son index HNSW en mémoire de la base de données, et comme la recherche HNSW repose sur un parcours du graphe par accès aléatoire, les performances chutent d’un facteur de 10 à 50 dès que l’index déborde sur le disque et que les requêtes deviennent des chaînes de lectures aléatoires. Un vecteur float32 de 768 dimensions occupe environ 3,3 kilo-octets de mémoire une fois les liens du graphe et la surcharge de Postgres inclus, de sorte qu’un index sur 100 millions de lignes nécessite environ 330 gigaoctets de RAM pour rester en mémoire, provisionnés en totalité que les requêtes y accèdent ou non.
Le deuxième est la maintenance de l’index. Lorsqu’une construction déborde sur le disque, un index pgvector a mis près de 50 heures à se construire sur une instance cloud standard, a indiqué Databricks, et les écritures subissent le même goulot d’étranglement car l’insertion d’un vecteur nécessite un parcours par accès aléatoire et la modification de plusieurs couches du graphe. Comme HNSW n’a pas de rééquilibrage global, restaurer la qualité de recherche implique d’exécuter un REINDEX complet, une opération qui verrouille la table et interrompt les écritures en production.
Le troisième est qu’une requête unique ne peut pas être parallélisée. Une requête pgvector est exécutée par un seul processus backend de Postgres, laissant le scan de l’index HNSW sans aucune parallélisation. Augmenter le rappel nécessite de visiter davantage de nœuds du graphe, ce qui ajoute des lectures mémoire aléatoires et des comparaisons de distance, gonfle la latence et réduit le nombre de requêtes par seconde, ainsi augmenter le débit implique d’ajouter des connexions à la base de données ou des réplicas de lecture.
Comment Lakebase_vector est construit
Lakebase Postgres sépare le stockage du calcul : les données permanentes résident dans un stockage d’objets cloud à faible coût, tandis que la RAM et le NVMe local servent de caches temporaires qui contiennent l’ensemble de travail actif. Sur cette base, Databricks a combiné deux techniques.
Le clustering hiérarchique IVF regroupe les vecteurs en clusters stockés sous forme de blocs contigus. Une requête évalue les centroïdes des clusters en mémoire, puis ne lit que le petit nombre de blocs qui semblent prometteurs, sous forme de lectures séquentielles volumineuses plutôt que de nombreux sauts aléatoires. La quantification binaire, utilisant la méthode RaBitQ, compresse chaque vecteur à environ un bit par dimension, soit environ 32 fois plus petit que le float32, de sorte que les requêtes parcourent des codes compacts pour présélectionner les candidats et ne reclassent que cette présélection contre les vecteurs en pleine précision.
Comme la conception est sans état, elle peut réduire sa capacité de calcul à zéro et, au repos, les utilisateurs ne paient que le stockage. Databricks a signalé un P90 mesuré de 1,13 seconde pour la première requête après réduction de la capacité de calcul à zéro sur un jeu de données de 100 millions de vecteurs de 768 dimensions, et a indiqué que 100 millions de vecteurs peuvent être servis sur une seule Lakebase Compute Unit.
La construction d’index entraîne les centroïdes du cluster une seule fois sur un petit échantillon aléatoire ; chaque vecteur est ensuite attribué à son centroïde le plus proche, quantifié, et écrit dans le bloc approprié comme une opération indépendante, de sorte que le travail se répartit sur le nombre de cœurs disponibles. Databricks a indiqué que son architecture LTAP décharge la création d’index de la base de données principale vers des moteurs distribués tels que Spark, réduisant les temps de construction à quelques minutes, et a précisé que d’autres améliorations sont à venir pour cette fonctionnalité. Comme les prédicats sont appliqués pendant le balayage du bloc lui‑même, les requêtes filtrées évitent la sur‑récupération de candidats et maintiennent un rappel élevé, et une requête unique se parallélise sur les cœurs CPU.
Recherche de texte BM25 et requêtes hybrides
Databricks a indiqué que la recherche tsvector standard de Postgres ne dispose pas de contexte de pertinence à l’échelle du corpus. lakebase_text attribue des scores aux termes en utilisant la fréquence inverse de document globale, accordant plus de poids aux termes rares et à forte intention et moins aux mots de remplissage courants. Il vérifie également les limites supérieures des scores lors du parcours de l’index, en éliminant les blocs de postings entiers qui ne peuvent pas influencer le résultat top‑K, ce que l’entreprise a déclaré rendre la recherche plus rapide que tsvector avec des index GIN.
Combiner les deux extensions permet une recherche hybride native dans Postgres : une requête unique peut appliquer des prédicats de filtrage SQL classiques, joindre des tables opérationnelles en temps réel, et fusionner le scoring sémantique des vecteurs avec la pertinence des mots‑clés BM25. Databricks a déclaré que le système passe d’une ligne à un milliard de vecteurs et d’une requête par seconde à des milliers, sans re‑provisionnement manuel, décrivant la conception comme destinée aux agents IA dont les flux de travail peuvent déclencher des milliers de requêtes de récupération simultanées en quelques secondes.
Databricks positionne Lakebase Search pour les utilisateurs qui souhaitent consolider les données opérationnelles et de recherche dans une base unique, tandis que Databricks AI Search reste son moteur géré de récupération prêt à l’emploi. Lakebase Search est en disponibilité générale sur AWS et Azure ; les utilisateurs existants de Lakebase peuvent activer les extensions, et les nouveaux utilisateurs peuvent s’inscrire à Lakebase.












