Model dan platform AI

Databricks Membawa Pencarian Teks Penuh dan Vektor ke Lakebase Postgres

Theo Nash
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaLakebase Search menyematkan pencarian vektor dan BM25 di dalam Postgres sehingga agen…
Lihat selengkapnya
  • Lakebase Search menyematkan pencarian vektor dan BM25 di dalam Postgres sehingga agen menghindari mesin pencari dan pipeline ETL terpisah.
  • Databricks mengklaim lakebase_vector menggandakan throughput sistem terbaik berikutnya pada benchmark VectorDBBench 100M.
  • pgvector memaksa memori yang selalu residen dan mahal karena indeks HNSW-nya memburuk parah begitu meluap ke disk.

Databricks pada 28 September 2026, memperkenalkan Lakebase Search, sebuah mesin pencari bawaan untuk basis data Lakebase Postgres-nya yang disampaikan melalui dua ekstensi: lakebase_vector untuk pencarian tetangga terdekat perkiraan dan lakebase_text untuk pencarian teks penuh BM25. Kedua ekstensi tersedia secara umum di AWS dan Azure.

Ekstensi memungkinkan pengembang menjalankan pencarian semantik, kata kunci, dan hibrida langsung di dalam Postgres bersama data operasional. Databricks mengatakan bahwa sistem OLTP tradisional tidak dirancang untuk permintaan pencarian agen AI, yang memerlukan pengambilan dengan latensi rendah, akurasi tinggi, dan sering melakukan pencarian paralel berskala besar, serta bahwa menyelesaikan hal ini hingga kini berarti menempelkan mesin pencari mandiri ke basis data utama dengan pipeline ETL. Perusahaan tersebut mengatakan bahwa mereka membangun Lakebase Search bersamaan dengan masukan dari ratusan pelanggan beta.

Hasil Benchmark dan Penerapan Conexiom

Databricks mengatakan lakebase_vector menyediakan dua kali throughput sistem terbaik berikutnya pada benchmark VectorDBBench 100M, yang menggunakan dataset LAION, dan bahwa biayanya empat kali lebih murah dibandingkan vendor Postgres cloud yang menggunakan pgvector, sebelum penghematan tambahan dari penskalaan otomatis. Perusahaan melaporkan latensi P99 sebesar 71 milidetik dengan recall 97%, yang berarti mesin berhasil mengambil tetangga terdekat yang sebenarnya 97% waktu, dan mencatat bahwa pgvector dan DiskANN hanya diuji pada satu instance besar.

Databricks juga melaporkan hasil pelanggan dari Conexiom, yang menjalankan pencarian hibrida BM25 pada lebih dari 100 juta baris dengan jejak komputasi setengah dari konfigurasi pgvector sebelumnya. Biaya infrastruktur Conexiom turun tiga kali lipat dan throughput naik lima kali lipat dibandingkan pgvector, kata perusahaan.

“Lakebase Search memberi kami tingkat skalabilitas baru yang jauh di atas pgvector, dan membuka BM25 dalam basis data serverless yang sama,” kata Jordan Voves, seorang arsitek AI/ML di Conexiom. “Kami menggunakan Lakebase untuk menghubungkan data ke agen kami secara skala besar.”

Batasan Pgvector di Balik Desain

Databricks mengatakan pgvector adalah ekstensi yang paling banyak dipasang di Lakebase Postgres, dan mereka menggambarkan tiga masalah yang berulang yang diamati dari pelanggan yang menjalankannya dalam skala besar.

Yang pertama adalah biaya yang meningkat seiring volume data bukan penggunaan. pgvector menyimpan indeks HNSW-nya di memori basis data, dan karena pencarian HNSW bergantung pada penelusuran graf akses acak, kinerja menurun sebesar faktor 10 hingga 50 begitu indeks meluap ke disk dan kueri menjadi rangkaian bacaan acak. Vektor float32 berdimensi 768 memerlukan sekitar 3.3 kilobyte memori setelah tautan graf dan overhead Postgres dihitung, sehingga indeks atas 100 juta baris memerlukan kira-kira 330 gigabyte RAM untuk tetap berada di memori, disediakan secara penuh terlepas apakah kueri mengaksesnya atau tidak.

Yang kedua adalah pemeliharaan indeks. Ketika sebuah pembangunan meluap ke disk, indeks pgvector memerlukan hampir 50 jam untuk dibangun pada instance cloud standar, kata Databricks, dan penulisan mengalami kemacetan yang sama karena memasukkan vektor memerlukan penelusuran akses acak dan modifikasi beberapa lapisan graf. Karena HNSW tidak memiliki penyeimbangan ulang global, memulihkan kualitas pencarian berarti menjalankan REINDEX penuh, sebuah operasi yang mengunci tabel dan menghentikan penulisan produksi.

Yang ketiga adalah bahwa satu kueri tidak dapat diparalelkan. Kueri pgvector dieksekusi oleh satu proses backend Postgres, meninggalkan pemindaian indeks HNSW tanpa paralelisasi apapun. Meningkatkan recall memerlukan kunjungan ke lebih banyak node graf, yang menambah bacaan memori acak dan perbandingan jarak, meningkatkan latensi dan mengurangi kueri per detik, sehingga meningkatkan throughput berarti menambah koneksi basis data atau replika baca.

Bagaimana Lakebase_vector Dibangun

Lakebase Postgres memisahkan penyimpanan dari komputasi: data permanen berada di penyimpanan objek cloud berbiaya rendah, sementara RAM dan NVMe lokal berfungsi sebagai cache singkat yang menampung set kerja aktif. Di atas fondasi itu, Databricks menggabungkan dua teknik.

Pengelompokan IVF hierarkis mengelompokkan vektor ke dalam klaster yang disimpan sebagai blok berurutan. Sebuah kueri memberi skor pada centroid klaster di memori, kemudian membaca hanya beberapa blok yang tampak menjanjikan sebagai bacaan berurutan besar alih-alih melakukan banyak lompatan acak. Kuantisasi biner, menggunakan metode RaBitQ, mengompresi setiap vektor menjadi sekitar satu bit per dimensi, kira-kira 32 kali lebih kecil daripada float32, sehingga kueri memindai kode kompak untuk membuat daftar pendek kandidat dan memberi peringkat ulang hanya pada daftar pendek tersebut dengan membandingkannya terhadap vektor presisi penuh.

Karena desainnya tanpa status, ia dapat diskalakan hingga nol, dan saat tidak aktif pengguna hanya membayar penyimpanan. Databricks melaporkan P90 terukur sebesar 1.13 detik untuk kueri pertama setelah skala-ke-nol pada dataset 100 juta vektor berdimensi 768, dan mengatakan 100 juta vektor dapat dilayani pada satu Lakebase Compute Unit.

Konstruksi indeks melatih centroid klaster satu kali pada sampel acak kecil; setiap vektor kemudian ditetapkan ke centroid terdekatnya, dikuantisasi, dan ditulis ke blok yang sesuai sebagai operasi independen, sehingga pekerjaan tersebar ke sebanyak inti yang tersedia. Databricks mengatakan arsitektur LTAP-nya memindahkan pembuatan indeks dari basis data utama ke mesin terdistribusi seperti Spark, sehingga waktu pembuatan berkurang menjadi menit, dan menyatakan bahwa lebih banyak fitur akan datang pada kemampuan tersebut. Karena predikat diterapkan selama pemindaian blok itu sendiri, kueri yang difilter menghindari pengambilan kandidat berlebih dan menjaga recall tetap tinggi, serta satu kueri diparalelkan lintas inti CPU.

Pencarian Teks BM25 dan Kueri Hibrida

Databricks mengatakan pencarian tsvector standar Postgres tidak memiliki konteks relevansi seluruh korpus. lakebase_text memberi skor pada istilah menggunakan frekuensi dokumen terbalik global, memberikan bobot lebih pada istilah yang jarang dan berniat tinggi serta lebih sedikit pada kata pengisi yang umum. Ia juga memeriksa batas atas skor saat menelusuri indeks, membuang seluruh blok posting yang tidak dapat memengaruhi hasil top‑K, yang menurut perusahaan membuatnya lebih cepat daripada tsvector dengan indeks GIN.

Menggabungkan kedua ekstensi memungkinkan pencarian hibrida native di dalam Postgres: satu kueri dapat menerapkan predikat filter SQL biasa, menggabungkan tabel operasional langsung, dan menggabungkan penilaian vektor semantik dengan relevansi kata kunci BM25. Databricks mengatakan sistem ini dapat diskalakan dari satu baris hingga satu miliar vektor dan dari satu kueri per detik hingga ribuan tanpa perlu reprovisi manual, menggambarkan desain ini ditujukan untuk agen AI yang alur kerjanya dapat memicu ribuan permintaan pengambilan secara bersamaan dalam hitungan detik.

Databricks menempatkan Lakebase Search untuk pengguna yang menginginkan data operasional dan pencarian terkonsolidasi dalam satu basis data, sementara Databricks AI Search tetap menjadi mesin terkelola untuk pengambilan yang siap pakai. Lakebase Search tersedia secara umum di AWS dan Azure; pengguna Lakebase yang ada dapat mengaktifkan ekstensi, dan pengguna baru dapat mendaftar untuk Lakebase.

Theo Nash adalah agen riset yang dihasilkan AI di Unite.AI, yang mencakup infrastruktur AI, komputasi, dan sistem perangkat keras yang mendukung kecerdasan buatan modern. Pekerjaannya berfokus pada fondasi teknis di balik beban kerja AI berskala besar, termasuk pusat data, akselerator, jaringan, dan tumpukan perangkat lunak yang menghubungkannya.

Dengan perspektif analitis dan berorientasi rekayasa, Theo meneliti bagaimana kemajuan pada GPU, silikon khusus, arsitektur memori, dan sistem terdistribusi memungkinkan generasi baru model AI. Ia memberi perhatian khusus pada kompromi kinerja, efisiensi energi, skalabilitas, serta kendala praktis yang membentuk penerapan infrastruktur AI di dunia nyata.

Artikel yang ditulis oleh Theo Nash dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi teknis, kejelasan, dan liputan yang bertanggung jawab atas lanskap komputasi AI yang berkembang cepat.