Modele i platformy AI
Databricks wprowadza pełnotekstowe i wektorowe wyszukiwanie do Lakebase Postgres

Kluczowe punktyLakebase Search osadza wyszukiwanie wektorowe i BM25 wewnątrz Postgres, dzięki czemu…
Zobacz więcej
- Lakebase Search osadza wyszukiwanie wektorowe i BM25 wewnątrz Postgres, dzięki czemu agenci unikają osobnego silnika wyszukiwania i potoku ETL.
- Databricks twierdzi, że lakebase_vector podwaja przepustowość drugiego najlepszego systemu w benchmarku VectorDBBench 100M.
- pgvector wymusza kosztowną pamięć stale rezydującą, ponieważ jego indeks HNSW znacznie się pogarsza, gdy tylko zostanie wyniesiony na dysk.
Databricks 28 września 2026 r., wprowadziło Lakebase Search, wbudowaną wyszukiwarkę dla swojej bazy danych Lakebase Postgres dostarczaną poprzez dwa rozszerzenia: lakebase_vector dla przybliżonego wyszukiwania najbliższych sąsiadów oraz lakebase_text dla pełnotekstowego wyszukiwania BM25. Oba rozszerzenia są powszechnie dostępne w AWS i Azure.
Rozszerzenia umożliwiają programistom uruchamianie semantycznego wyszukiwania, wyszukiwania opartego na słowach kluczowych i wyszukiwania hybrydowego bezpośrednio w Postgres, obok danych operacyjnych. Databricks stwierdził, że tradycyjne systemy OLTP nie zostały zaprojektowane pod kątem wymagań wyszukiwania agentów AI, które wymagają niskich opóźnień, wysokiej precyzji pobierania i często wykonują masywne równoległe zapytania, a dotychczasowe rozwiązanie polegało na podłączaniu samodzielnej wyszukiwarki do głównej bazy danych za pomocą potoku ETL. Firma poinformowała, że zbudowała Lakebase Search w oparciu o opinie setek klientów beta.
Wyniki benchmarku i wdrożenie Conexiom
Databricks powiedział, że lakebase_vector dostarcza dwukrotnie większą przepustowość niż drugi najlepszy system w benchmarku VectorDBBench 100M, który wykorzystuje zbiór danych LAION, oraz jest cztery razy tańszy niż dostawca chmurowego Postgres używający pgvector, przed dodatkowymi oszczędnościami wynikającymi z autoskalowania. Firma podała, że opóźnienie P99 wyniosło 71 milisekund przy 97 % czułości, co oznacza, że silnik skutecznie odnalazł prawdziwych najbliższych sąsiadów w 97 % przypadków, oraz zauważyła, że pgvector i DiskANN testowano jedynie na jednej dużej instancji.
Databricks również podał wynik klienta z Conexiom, który uruchamia hybrydowe wyszukiwanie BM25 na ponad 100 milionach wierszy przy połowie zużycia mocy obliczeniowej w porównaniu do wcześniejszej konfiguracji pgvector. Koszty infrastruktury Conexiom spadły trzykrotnie, a przepustowość wzrosła pięciokrotnie w stosunku do pgvector, podała firma.
„Lakebase Search daje nam zupełnie nowy poziom skalowalności w porównaniu do pgvector i odblokowuje BM25 w tej samej bezserwerowej bazie danych,” powiedział Jordan Voves, architekt AI/ML w Conexiom. „Używamy Lakebase, aby połączyć dane z naszymi agentami na dużą skalę.”
Ograniczenia pgvector stojące za projektem
Databricks stwierdził, że pgvector jest najczęściej instalowanym rozszerzeniem w Lakebase Postgres i opisał trzy powtarzające się problemy zgłaszane przez klientów używających go na dużą skalę.
Pierwszy to koszt, który rośnie wraz z wolumenem danych, a nie z ich użyciem. pgvector przechowuje swój indeks HNSW w pamięci bazy danych, a ponieważ wyszukiwanie HNSW opiera się na losowym przechodzeniu grafu, wydajność spada o czynnik od 10 do 50, gdy indeks przelewa się na dysk i zapytania zamieniają się w łańcuchy losowych odczytów. Wektor 768‑wymiarowy float32 zajmuje około 3,3 KB pamięci po uwzględnieniu połączeń grafowych i narzutu Postgres, więc indeks obejmujący 100 milionów wierszy wymaga około 330 GB RAM, aby pozostać w pamięci, przydzielony w całości niezależnie od tego, czy zapytania go używają.
Drugim problemem jest utrzymanie indeksu. Gdy podczas budowy dane zostały przeniesione na dysk, skonstruowanie indeksu pgvector na standardowej instancji w chmurze trwało prawie 50 godzin, podał Databricks, a zapisy cierpią na to samo wąskie gardło, ponieważ wstawianie wektora wymaga losowego przechodzenia i modyfikacji kilku warstw grafu. Ponieważ HNSW nie posiada globalnego równoważenia, przywrócenie jakości wyszukiwania wymaga pełnego REINDEX, operacji blokującej tabelę i zatrzymującej zapisy produkcyjne.
Trzeci problem to brak możliwości równoległego wykonywania pojedynczego zapytania. Zapytanie pgvector jest realizowane przez jeden proces backendu Postgres, co powoduje, że skanowanie indeksu HNSW nie jest równoległe. Zwiększenie czułości wymaga odwiedzania większej liczby węzłów grafu, co dodaje losowe odczyty pamięci i porównania odległości, zwiększając opóźnienie i zmniejszając liczbę zapytań na sekundę, dlatego skalowanie przepustowości wymaga dodania połączeń z bazą danych lub replik odczytu.
Jak zbudowano Lakebase_vector
Lakebase Postgres oddziela przechowywanie od obliczeń: trwałe dane znajdują się w niskokosztowej chmurowej pamięci obiektowej, podczas gdy RAM i lokalny NVMe służą jako krótkotrwałe pamięci podręczne przechowujące aktywny zestaw roboczy. Na tej podstawie Databricks połączył dwie techniki.
Hierarchiczne grupowanie IVF grupuje wektory w klastry przechowywane jako spójne bloki. Zapytanie ocenia centroidy klastrów w pamięci, a następnie odczytuje tylko kilka bloków, które wydają się obiecujące, jako duże odczyty sekwencyjne zamiast wielu losowych przeskoków. Kwantyzacja binarna, wykorzystująca metodę RaBitQ, kompresuje każdy wektor do około jednego bitu na wymiar, czyli około 32‑krotnie mniej niż float32, dzięki czemu zapytania skanują zwarte kody, aby utworzyć listę kandydatów i ponownie je ocenić tylko w tej liście względem wektorów pełnej precyzji.
Ponieważ projekt jest bezstanowy, skaluje się do zera, a w stanie spoczynku użytkownicy płacą tylko za przechowywanie. Databricks podał zmierzone P90 wynoszące 1,13 sekundy dla pierwszego zapytania po skalowaniu do zera na zestawie danych o 100 milionach wektorów, 768 wymiarach, i stwierdził, że 100 milionów wektorów może być obsłużonych na jednej jednostce obliczeniowej Lakebase Compute Unit.
Budowa indeksu trenuje centroidy klastrów jednorazowo na małej losowej próbce; każdy wektor jest następnie przypisywany do najbliższego centroidu, kwantowany i zapisywany w odpowiednim bloku jako niezależna operacja, dzięki czemu praca rozkłada się na wszystkie dostępne rdzenie. Databricks poinformował, że jego architektura LTAP przenosi budowanie indeksów z głównej bazy danych na rozproszone silniki, takie jak Spark, skracając czas budowy do minut, i dodał, że w tej funkcji pojawią się kolejne usprawnienia. Ponieważ predykaty są stosowane podczas samego skanowania bloku, zapytania filtrowane unikają nadmiernego pobierania kandydatów i utrzymują wysoką czułość, a pojedyncze zapytanie jest równolegle przetwarzane na wielu rdzeniach CPU.
Wyszukiwanie tekstowe BM25 i zapytania hybrydowe
Databricks stwierdził, że standardowe wyszukiwanie tsvector w Postgresie nie uwzględnia kontekstu istotności w całym korpusie. lakebase_text ocenia terminy przy użyciu globalnej odwrotnej częstotliwości dokumentów, przyznając większą wagę rzadkim, wysoko intencjonalnym słowom i mniejszą powszechnym wypełniaczom. Dodatkowo sprawdza górne granice wyniku podczas przeglądania indeksu, odrzucając całe bloki postingów, które nie mogą wpłynąć na wynik top‑K, co, jak podkreśliła firma, czyni je szybszymi niż tsvector z indeksami GIN.
Połączenie obu rozszerzeń umożliwia natywne hybrydowe wyszukiwanie w Postgresie: pojedyncze zapytanie może stosować zwykłe predykaty filtrów SQL, łączyć bieżące tabele operacyjne oraz łączyć semantyczne ocenianie wektorów z istotnością słów kluczowych BM25. Databricks poinformował, że system skaluje się od jednego wiersza do miliarda wektorów oraz od jednego zapytania na sekundę do tysięcy bez ręcznego ponownego przydzielania zasobów, opisując projekt jako przeznaczony dla agentów AI, których przepływy pracy mogą wywoływać tysiące równoczesnych żądań pobierania w ciągu kilku sekund.
Databricks pozycjonuje Lakebase Search dla użytkowników, którzy chcą mieć dane operacyjne i wyszukiwawcze skonsolidowane w jednej bazie danych, podczas gdy Databricks AI Search pozostaje zarządzanym silnikiem do wyszukiwania gotowym do użycia od razu. Lakebase Search jest dostępny ogólnie na platformach AWS i Azure; istniejący użytkownicy Lakebase mogą włączyć rozszerzenia, a nowi użytkownicy mogą zarejestrować się w Lakebase.












