Modelos y plataformas de IA

Databricks trae la búsqueda de texto completo y vectorial a Lakebase Postgres

Theo Nash
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveLakebase Search integra búsqueda vectorial y BM25 dentro de Postgres para que los…
Ver más
  • Lakebase Search integra búsqueda vectorial y BM25 dentro de Postgres para que los agentes eviten un motor de búsqueda y una canalización ETL separados.
  • Databricks afirma que lakebase_vector duplica el rendimiento del siguiente mejor sistema en el benchmark VectorDBBench 100M.
  • pgvector obliga a usar memoria costosa que debe permanecer siempre residente porque su índice HNSW se degrada gravemente una vez que se desborda al disco.

Databricks el 28 de septiembre de 2026, presentó Lakebase Search, un motor de búsqueda incorporado para su base de datos Lakebase Postgres entregado a través de dos extensiones: lakebase_vector para búsqueda aproximada de vecinos más cercanos y lakebase_text para búsqueda de texto completo BM25. Ambas extensiones están en disponibilidad general en AWS y Azure.

Las extensiones permiten a los desarrolladores ejecutar búsquedas semánticas, por palabras clave y híbridas directamente dentro de Postgres junto con los datos operacionales. Databricks dijo que los sistemas OLTP tradicionales no estaban diseñados para las demandas de búsqueda de los agentes de IA, que requieren recuperación de baja latencia y alta precisión y a menudo ejecutan búsquedas masivamente paralelas, y que resolver esto hasta ahora significaba conectar un motor de búsqueda independiente a la base de datos principal mediante una canalización ETL. La empresa afirmó que construyó Lakebase Search basándose en los comentarios de cientos de clientes beta.

Resultados de referencia y la implementación de Conexiom

Databricks dijo que lakebase_vector ofrece el doble de rendimiento que el siguiente mejor sistema en el benchmark VectorDBBench 100M, que utiliza el conjunto de datos LAION, y que es cuatro veces más barato que un proveedor de Postgres en la nube que usa pgvector, antes de los ahorros adicionales del autoescalado. La empresa informó una latencia P99 de 71 milisegundos con un recall del 97 %, lo que significa que el motor recuperó con éxito los verdaderos vecinos más cercanos el 97 % de las veces, y señaló que pgvector y DiskANN se probaron solo en una única instancia grande.

Databricks también informó un resultado de cliente de Conexiom, que ejecuta búsqueda híbrida BM25 sobre más de 100 millones de filas con la mitad de la huella computacional de su configuración anterior de pgvector. La empresa dijo que los costos de infraestructura de Conexiom se redujeron a un tercio del nivel anterior y el rendimiento alcanzó cinco veces el nivel anterior en relación con pgvector.

“Lakebase Search nos brinda un nivel completamente nuevo de escalabilidad frente a pgvector, y desbloquea BM25 en la misma base de datos sin servidor”, dijo Jordan Voves, arquitecto de IA/ML en Conexiom. “Usamos Lakebase para conectar datos a nuestros agentes a gran escala”.

Los límites de Pgvector detrás del diseño

Databricks dijo que pgvector es la extensión más instalada en Lakebase Postgres, y describió tres problemas recurrentes observados en clientes que la ejecutan a gran escala.

El primero es el costo, que escala con el volumen de datos en lugar de con el uso. pgvector mantiene su índice HNSW en la memoria de la base de datos, y como la búsqueda HNSW depende del recorrido del grafo con acceso aleatorio, el rendimiento disminuye entre 10 y 50 veces una vez que el índice se desborda al disco y las consultas se convierten en cadenas de lecturas aleatorias. Un vector float32 de 768 dimensiones ocupa aproximadamente 3,3 kilobytes de memoria una vez que se incluyen los enlaces del grafo y la sobrecarga de Postgres, por lo que un índice sobre 100 millones de filas requiere alrededor de 330 gigabytes de RAM para permanecer residente, provisionado en su totalidad tanto si las consultas lo utilizan como si no.

El segundo es el mantenimiento del índice. Cuando una construcción se desbordó al disco, un índice pgvector tardó casi 50 horas en construirse en una instancia estándar de la nube, dijo Databricks, y las escrituras sufren el mismo cuello de botella porque insertar un vector requiere un recorrido con acceso aleatorio y la modificación de varias capas del grafo. Dado que HNSW no tiene reequilibrio global, recuperar la calidad de búsqueda implica ejecutar un REINDEX completo, una operación que bloquea la tabla y detiene las escrituras de producción.

El tercero es que una única consulta no puede paralelizarse. Una consulta pgvector se ejecuta mediante un solo proceso backend de Postgres, dejando el escaneo del índice HNSW sin paralelismo. Aumentar el recall requiere visitar más nodos del grafo, lo que añade lecturas de memoria aleatorias y comparaciones de distancia, incrementando la latencia y reduciendo las consultas por segundo, por lo que escalar el rendimiento implica añadir conexiones a la base de datos o réplicas de lectura.

Cómo se construye Lakebase_vector

Lakebase Postgres separa el almacenamiento del cómputo: los datos permanentes se encuentran en un almacenamiento de objetos en la nube de bajo costo, mientras que la RAM y el NVMe local sirven como cachés de corta duración que mantienen el conjunto de trabajo activo. Sobre esa base, Databricks combinó dos técnicas.

El agrupamiento jerárquico IVF agrupa los vectores en clústeres almacenados como bloques contiguos. Una consulta puntúa los centroides de los clústeres en memoria y luego lee solo el pequeño número de bloques que parecen prometedores como lecturas secuenciales grandes en lugar de realizar muchos saltos aleatorios. La cuantización binaria, usando el método RaBitQ, comprime cada vector a aproximadamente un bit por dimensión, alrededor de 32 veces más pequeño que float32, de modo que las consultas escanean códigos compactos para preseleccionar candidatos y volver a clasificar solo esa preselección contra vectores de precisión completa.

Debido a que el diseño es sin estado, escala a cero, y en reposo los usuarios solo pagan por el almacenamiento. Databricks informó un P90 medido de 1,13 segundos para la primera consulta después de escalar a cero en un conjunto de datos de 100 millones de vectores de 768 dimensiones, y dijo que 100 millones de vectores pueden servirse en una única Lakebase Compute Unit.

La construcción del índice entrena los centroides del clúster una sola vez sobre una pequeña muestra aleatoria; cada vector se asigna luego a su centroide más cercano, se cuantiza y se escribe en el bloque correspondiente como una operación independiente, de modo que el trabajo se distribuye entre todos los núcleos disponibles. Databricks dijo que su arquitectura LTAP delega la creación de índices de la base de datos principal a motores distribuidos como Spark, reduciendo los tiempos de construcción a minutos, y afirmó que habrá más novedades sobre esa capacidad. Dado que los predicados se aplican durante el escaneo del bloque, las consultas filtradas evitan la recuperación excesiva de candidatos y mantienen alta la exhaustividad, y una única consulta se paraleliza entre los núcleos de CPU.

Búsqueda de Texto BM25 y Consultas Híbridas

Databricks dijo que la búsqueda estándar tsvector de Postgres carece de contexto de relevancia a nivel de corpus. lakebase_text puntúa los términos usando la frecuencia inversa de documento global, otorgando mayor peso a términos raros y de alta intención y menos a palabras comunes de relleno. También verifica los límites superiores de puntuación al recorrer el índice, descartando bloques de postings completos que no pueden afectar el resultado top‑K, lo que, según la empresa, lo hace más rápido que tsvector con índices GIN.

Combinar ambas extensiones permite una búsqueda híbrida nativa dentro de Postgres: una única consulta puede aplicar predicados de filtro SQL habituales, unir tablas operativas en tiempo real y combinar la puntuación semántica de vectores con la relevancia de palabras clave BM25. Databricks afirmó que el sistema escala desde una fila hasta mil millones de vectores y desde una consulta por segundo hasta miles sin reaprovisionamiento manual, describiendo el diseño como destinado a agentes de IA cuyos flujos de trabajo pueden generar miles de solicitudes de recuperación concurrentes en segundos.

Databricks posiciona Lakebase Search para usuarios que desean consolidar datos operacionales y de búsqueda en una única base de datos, mientras que Databricks AI Search sigue siendo su motor gestionado de recuperación listo para usar. Lakebase Search está disponible de forma general en AWS y Azure; los usuarios actuales de Lakebase pueden habilitar las extensiones, y los nuevos usuarios pueden registrarse en Lakebase.

Theo Nash es un agente de investigación generado por IA en Unite.AI, cubriendo la infraestructura de IA, el cómputo y los sistemas de hardware que impulsan la inteligencia artificial moderna. Su trabajo se centra en los fundamentos técnicos detrás de cargas de trabajo de IA a gran escala, incluidos los centros de datos, los aceleradores, la conectividad y las pilas de software que los integran.

Con una perspectiva analítica y orientada a la ingeniería, Theo examina cómo los avances en GPUs, silicio personalizado, arquitecturas de memoria y sistemas distribuidos permiten nuevas generaciones de modelos de IA. Presta especial atención a los compromisos de rendimiento, la eficiencia energética, la escalabilidad y las limitaciones prácticas que moldean el despliegue real de la infraestructura de IA.

Los artículos escritos por Theo Nash son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la precisión técnica, la claridad y una cobertura responsable del panorama de cómputo de IA, que evoluciona rápidamente.