Yapay zeka modelleri ve platformları
Databricks, Lakebase Postgres’a Tam Metin ve Vektör Arama Getiriyor

Öne çıkan noktalarLakebase Search, vektör ve BM25 aramasını Postgres'in içine gömerek ajanların ayrı bir…
Daha fazla göster
- Lakebase Search, vektör ve BM25 aramasını Postgres'in içine gömerek ajanların ayrı bir arama motoru ve ETL hattından kaçınmasını sağlar.
- Databricks, lakebase_vector'ün VectorDBBench 100M kıyaslamasında en iyi ikinci sistemin verimini ikiye katladığını iddia ediyor.
- pgvector, HNSW dizini diske taştığında ciddi biçimde bozulduğu için maliyetli, sürekli yerleşik belleği zorunlu kılar.
Databricks 28 Eylül 2026’da Lakebase Search’i tanıttı, Lakebase Postgres veritabanı için iki uzantı aracılığıyla sunulan yerleşik bir arama motoru: lakebase_vector yaklaşık en yakın komşu arama için ve lakebase_text BM25 tam metin araması için. Her iki uzantı da AWS ve Azure üzerinde genel olarak kullanılabilir.
Bu uzantılar, geliştiricilerin operasyonel verilerin yanında Postgres içinde doğrudan anlamsal, anahtar kelime ve hibrit arama çalıştırmasına olanak tanır. Databricks, geleneksel OLTP sistemlerinin, düşük gecikme süresi ve yüksek doğruluklu geri getirme gerektiren ve genellikle büyük paralel aramalar yürüten AI ajanlarının arama taleplerine uygun olarak tasarlanmadığını, ve bu sorunun şimdiye kadar çözülmesinin, bir bağımsız arama motorunu bir ETL hattı aracılığıyla birincil veritabanına eklemeyi gerektirdiğini söyledi. Şirket, Lakebase Search’ü yüzlerce beta müşterisinin geri bildirimleriyle birlikte inşa etti.
Kıyaslama Sonuçları ve Conexiom Dağıtımı
Databricks, lakebase_vector‘ün LAION veri kümesini kullanan VectorDBBench 100M benchmark’inde, bir sonraki en iyi sistemin iki katı işlem hacmi sağladığını ve autoscaling’den elde edilen ek tasarruflardan önce, pgvector kullanan bir bulut Postgres sağlayıcısına göre dört kat daha ucuz olduğunu belirtiyor. Şirket, %97 hatırlama oranında P99 gecikmesinin 71 milisaniye olduğunu rapor etti; bu, motorun gerçek en yakın komşuları %97 oranında başarılı bir şekilde geri getirdiği anlamına geliyor ve pgvector ile DiskANN’in yalnızca tek bir büyük örnek üzerinde test edildiğini belirtti.
Databricks ayrıca Conexiom’dan bir müşteri sonucunu rapor etti; Conexiom, önceki pgvector kurulumuna göre yarı hesaplama ayak izinde 100 milyondan fazla satır üzerinde BM25 hibrit arama çalıştırıyor. Şirket, Conexiom’un altyapı maliyetlerinin üç kat azaldığını ve işlem hacminin pgvector’a göre beş kat arttığını belirtti.
“Lakebase Search, pgvector üzerine bize tamamen yeni bir ölçeklenebilirlik seviyesi sunuyor ve aynı sunucusuz veritabanında BM25’i etkinleştiriyor,” dedi Conexiom’da AI/ML mimarı Jordan Voves. “Verileri ölçekli bir şekilde ajanlarımıza bağlamak için Lakebase’i kullanıyoruz.”
Tasarımın Arkasındaki Pgvector Sınırlamaları
Databricks, pgvector’ün Lakebase Postgres’te en çok kurulan uzantı olduğunu ve ölçekli olarak kullanan müşterilerden gözlemlenen üç tekrarlayan sorun noktasını tanımladığını söyledi.
İlk sorun, kullanım yerine veri hacmiyle ölçeklenen maliyettir. pgvector, HNSW indeksini veritabanı belleğinde tutar ve HNSW araması rastgele erişimli graf geçişine dayandığından, indeks diske taşındığında ve sorgular rastgele okuma zincirlerine dönüştüğünde performans 10 ila 50 kat düşer. 768 boyutlu float32 bir vektör, graf bağlantıları ve Postgres ek yükü dahil edildiğinde yaklaşık 3,3 kilobayt bellek alır; bu nedenle 100 milyon satır üzerindeki bir indeksin yerleşik kalması için yaklaşık 330 gigabayt RAM gerekir ve sorgular ona dokunmasa bile tam olarak tahsis edilir.
İkinci sorun indeks bakımıdır. Bir derleme diske taşındığında, bir pgvector indeksinin standart bir bulut örneğinde oluşturulması neredeyse 50 saat sürdü, Databricks belirtti ve yazma işlemleri aynı darboğazdan etkilenir çünkü bir vektör eklemek, rastgele erişimli geçiş ve birkaç graf katmanının değiştirilmesini gerektirir. HNSW’nin küresel yeniden dengelemesi olmadığından, arama kalitesini geri kazanmak tam bir REINDEX çalıştırmayı gerektirir; bu işlem tabloyu kilitler ve üretim yazmalarını durdurur.
Üçüncü sorun, tek bir sorgunun paralelleştirilememesidir. Bir pgvector sorgusu, bir Postgres arka uç süreci tarafından yürütülür ve bu da HNSW indeks taramasının paralelleştirilmemesine yol açar. Hatırlamayı artırmak, daha fazla graf düğümünü ziyaret etmeyi gerektirir; bu da rastgele bellek okumaları ve mesafe karşılaştırmaları ekleyerek gecikmeyi artırır ve saniyedeki sorgu sayısını düşürür; bu yüzden ölçekli işlem hacmi, veritabanı bağlantılarını veya okuma replikalarını artırmayı gerektirir.
Lakebase_vector Nasıl Oluşturulur
Lakebase Postgres, depolamayı işlemden ayırır: kalıcı veriler düşük maliyetli bulut nesne depolamada bulunur, RAM ve yerel NVMe ise aktif çalışma kümesini tutan kısa ömürlü önbellekler olarak hizmet verir. Bu temelin üzerine Databricks iki tekniği birleştirdi.
Hiyerarşik IVF kümeleme, vektörleri ardışık bloklar halinde depolanan kümelere gruplar. Bir sorgu, küme merkezlerini bellek içinde puanlar, ardından yalnızca umut vaat eden birkaç bloğu büyük sıralı okumalar olarak okur; çok sayıda rastgele atlamadan kaçınır. RaBitQ yöntemiyle ikili nicelleştirme, her vektörü yaklaşık bir bit/dimensiyon olacak şekilde sıkıştırır; bu, float32’ye göre yaklaşık 32 kat daha küçüktür, böylece sorgular, adayları kısa listeye almak için kompakt kodları tarar ve sadece bu kısa listeyi tam hassasiyetli vektörlere karşı yeniden sıralar.
Tasarım durum bilgisiz olduğundan, sıfıra ölçeklenebilir ve dinlenme halindeyken kullanıcılar yalnızca depolama için ödeme yapar. Databricks, 100 milyon vektör, 768 boyutlu bir veri kümesinde ölçek-sıfır sonrası ilk sorgu için ölçülen P90’un 1,13 saniye olduğunu rapor etti ve 100 milyon vektörün tek bir Lakebase Compute Unit üzerinde hizmet verilebileceğini belirtti.
İndeks oluşturma, küme merkezlerini yalnızca bir kez küçük bir rastgele örnek üzerinde eğitir; ardından her vektör en yakın merkezine atanır, nicelleştirilir ve bağımsız bir işlem olarak uygun bloğa yazılır, böylece iş mevcut çekirdek sayısına göre yayılır. Databricks, LTAP mimarisinin indeks oluşturma işlemlerini birincil veritabanından Spark gibi dağıtık motorlara devrettiğini ve bu sayede oluşturma süresinin dakikalara indiğini, ayrıca bu yetenekle ilgili daha fazlasının geleceğini belirtti. Koşullar blok taraması sırasında uygulandığından, filtreli sorgular adayların aşırı getirilmesini önler ve geri getirme oranını yüksek tutar; tek bir sorgu ise CPU çekirdekleri arasında paralel çalışır.
BM25 Metin Araması ve Hibrit Sorgular
Databricks, standart Postgres tsvector aramasının bütün veri kümesi çapında bir alaka bağlamından yoksun olduğunu belirtti. lakebase_text, terimleri küresel ters belge frekansı kullanarak puanlar; nadir ve yüksek niyetli terimlere daha fazla, yaygın dolgu kelimelerine ise daha az ağırlık verir. Ayrıca indeks içinde ilerlerken puan üst sınırlarını kontrol eder ve top‑K sonucunu etkileyemeyecek tüm ters indeks kayıt bloklarını eler; şirket bu sayede GIN indeksli tsvector’dan daha hızlı olduğunu söyledi.
İki uzantının birleştirilmesi, Postgres içinde yerel hibrit aramayı mümkün kılar: tek bir sorgu, sıradan SQL filtre koşullarını uygulayabilir, canlı operasyonel tablolarla birleştirme yapabilir ve anlamsal vektör puanlamasını BM25 anahtar kelime alakalılığıyla birleştirebilir. Databricks, sistemin bir satırdan bir milyar vektöre ve saniyede bir sorgudan binlerce sorguya manuel yeniden tahsis gerektirmeden ölçeklendiğini ve tasarımın, iş akışları saniyeler içinde binlerce eşzamanlı getirme isteği tetikleyebilen AI ajanları için tasarlandığını belirtti.
Databricks, operasyonel ve arama verilerini tek bir veritabanında birleştirmek isteyen kullanıcılar için Lakebase Search’i konumlandırırken, Databricks AI Search, kutudan çıkar çıkmaz çalışan yönetilen getirme motoru olarak kalmaktadır. Lakebase Search, AWS ve Azure’da genel olarak kullanılabilir; mevcut Lakebase kullanıcıları uzantıları etkinleştirebilir ve yeni kullanıcılar Lakebase’e kaydolabilir.












