โมเดลและแพลตฟอร์ม AI
Databricks นำการค้นหาแบบเต็มข้อความและเวกเตอร์ไปยัง Lakebase Postgres

ประเด็นสำคัญLakebase Search ฝังการค้นหาแบบเวกเตอร์และ BM25 ไว้ภายใน Postgres…
ดูเพิ่มเติม
- Lakebase Search ฝังการค้นหาแบบเวกเตอร์และ BM25 ไว้ภายใน Postgres เพื่อให้เอเจนต์ไม่ต้องใช้ทั้งเสิร์ชเอนจินแยกต่างหากและไปป์ไลน์ ETL
- Databricks อ้างว่า lakebase_vector ให้ทรูพุตเป็นสองเท่าของระบบที่ดีที่สุดรองลงมาบนเบนช์มาร์ก VectorDBBench 100M
- pgvector บังคับให้ต้องมีหน่วยความจำที่ต้องคงอยู่ตลอดเวลาซึ่งมีต้นทุนสูง เพราะดัชนี HNSW ของมันเสื่อมประสิทธิภาพอย่างรุนแรงเมื่อข้อมูลล้นไปยังดิสก์
Databricks เมื่อวันที่ 28 กันยายน 2026, เปิดตัว Lakebase Search, เครื่องมือค้นหาในตัวสำหรับฐานข้อมูล Lakebase Postgres ของบริษัทที่ให้บริการผ่านส่วนขยายสองตัว: lakebase_vector สำหรับการค้นหาเพื่อนบ้านใกล้ที่สุดโดยประมาณและ lakebase_text สำหรับการค้นหาเต็มข้อความแบบ BM25 ทั้งสองส่วนขยายพร้อมให้บริการทั่วไปบน AWS และ Azure.
ส่วนขยายเหล่านี้ให้ผู้พัฒนาสามารถดำเนินการค้นหาเชิงความหมาย คำสำคัญ และแบบผสมผสานโดยตรงภายใน Postgres ควบคู่กับข้อมูลการดำเนินงาน Databricks กล่าวว่า ระบบ OLTP แบบดั้งเดิมไม่ได้ออกแบบมาสำหรับความต้องการการค้นหาของ AI agents ซึ่งต้องการการดึงข้อมูลที่มีความหน่วงต่ำและความแม่นยำสูง และมักทำการค้นหาแบบขนานจำนวนมาก และว่าการแก้ปัญหานี้จนถึงตอนนี้หมายถึงการเชื่อมต่อเครื่องมือค้นหาแยกส่วนกับฐานข้อมูลหลักผ่านกระบวนการ ETL บริษัทกล่าวว่าพวกเขาได้สร้าง Lakebase Search ควบคู่กับข้อเสนอแนะจากลูกค้าเบต้าเป็นจำนวนหลายร้อยราย
ผลการทดสอบเบนช์มาร์คและการปรับใช้ของ Conexiom
Databricks กล่าวว่า lakebase_vector ให้อัตราการประมวลผลสองเท่าของระบบที่ดีที่สุดอันดับต่อไปบนเบนช์มาร์ค VectorDBBench 100M ซึ่งใช้ชุดข้อมูล LAION และมีต้นทุนสี่เท่าถูกกว่าผู้ให้บริการ Postgres บนคลาวด์ที่ใช้ pgvector ก่อนจะคำนวณการประหยัดเพิ่มเติมจากการปรับขนาดอัตโนมัติ บริษัทรายงานว่ามีความหน่วง P99 อยู่ที่ 71 มิลลิวินาทีที่อัตราการเรียกคืน 97% ซึ่งหมายความว่าเอนจินสามารถดึงเพื่อนบ้านที่แท้จริงได้สำเร็จ 97% ของเวลา และระบุว่า pgvector และ DiskANN ถูกทดสอบเฉพาะบนอินสแตนซ์ขนาดใหญ่เดียวเท่านั้น
Databricks ยังรายงานผลลัพธ์จากลูกค้า Conexiom ซึ่งดำเนินการค้นหาแบบผสมผสาน BM25 บนแถวมากกว่า 100 ล้านแถวโดยใช้ทรัพยากรคอมพิวเตอร์เพียงครึ่งหนึ่งของการตั้งค่า pgvector ก่อนหน้า ค่าใช้จ่ายโครงสร้างพื้นฐานของ Conexiom ลดลงสามเท่าและอัตราการทำงานเพิ่มขึ้นห้าเท่าเมื่อเทียบกับ pgvector บริษัทกล่าว
“Lakebase Search ให้ระดับความสามารถในการขยายตัวใหม่ทั้งหมดเหนือ pgvector และเปิดใช้งาน BM25 ในฐานข้อมูลแบบไม่มีเซิร์ฟเวอร์เดียวกัน” Jordan Voves สถาปนิก AI/ML ของ Conexiom กล่าว “เราใช้ Lakebase เพื่อเชื่อมต่อข้อมูลกับเอเจนต์ของเราในระดับใหญ่”
ข้อจำกัดของ Pgvector ที่อยู่เบื้องหลังการออกแบบ
Databricks กล่าวว่า pgvector เป็นส่วนขยายที่ติดตั้งมากที่สุดใน Lakebase Postgres และได้อธิบายถึงปัญหาเด่นสามประการที่พบซ้ำจากลูกค้าที่ใช้งานในระดับใหญ่
ข้อแรกคือค่าใช้จ่ายที่เพิ่มขึ้นตามปริมาณข้อมูลมากกว่าการใช้งาน pgvector เก็บดัชนี HNSW ไว้ในหน่วยความจำของฐานข้อมูล และเนื่องจากการค้นหา HNSW พึ่งพาการเดินกราฟแบบสุ่ม การทำงานจะลดลงโดยปัจจัยตั้งแต่ 10 ถึง 50 เมื่อดัชนีล้นไปยังดิสก์และการสอบถามกลายเป็นห่วงโซ่ของการอ่านแบบสุ่ม เวกเตอร์ float32 มิติ 768 ใช้หน่วยความจำประมาณ 3.3 กิโลไบต์เมื่อรวมลิงก์ของกราฟและค่าโอเวอร์เฮดของ Postgres ดังนั้นดัชนีที่ครอบคลุม 100 ล้านแถวต้องใช้ RAM ประมาณ 330 กิกะไบต์เพื่อคงอยู่ในหน่วยความจำ ทั้งนี้จะจัดสรรเต็มจำนวนไม่ว่าจะมีการสอบถามเข้าถึงหรือไม่
ข้อที่สองคือการบำรุงรักษาดัชนี เมื่อการสร้างดัชนีล้นไปยังดิสก์ ดัชนี pgvector ใช้เวลาเกือบ 50 ชั่วโมงในการสร้างบนอินสแตนซ์คลาวด์มาตรฐาน Databricks กล่าว และการเขียนข้อมูลประสบกับคอขวดเดียวกันเนื่องจากการแทรกเวกเตอร์ต้องการการเดินแบบสุ่มและการแก้ไขหลายชั้นของกราฟ เนื่องจาก HNSW ไม่มีการปรับสมดุลทั่วทั้งดัชนี การฟื้นฟูคุณภาพการค้นหาต้องรัน REINDEX เต็มรูปแบบ ซึ่งเป็นการดำเนินการที่ล็อกตารางและหยุดการเขียนในสภาพแวดล้อมใช้งานจริง
ข้อที่สามคือการสอบถามหนึ่งครั้งไม่สามารถทำแบบขนานได้ คำค้น pgvector จะดำเนินการโดยกระบวนการแบ็กเอนด์ของ Postgres หนึ่งตัว ทำให้การสแกนดัชนี HNSW ไม่มีการทำขนาน การเพิ่มอัตราการเรียกคืนต้องเยี่ยมชมโหนดกราฟมากขึ้น ซึ่งเพิ่มการอ่านหน่วยความจำแบบสุ่มและการเปรียบเทียบระยะทาง ทำให้ความหน่วงเพิ่มขึ้นและจำนวนคำค้นต่อวินาทีลดลง ดังนั้นการขยายอัตราการทำงานต้องเพิ่มการเชื่อมต่อฐานข้อมูลหรือสำเนาการอ่าน
วิธีการสร้าง Lakebase_vector
Lakebase Postgres แยกการจัดเก็บข้อมูลออกจากการประมวลผล: ข้อมูลถาวรอยู่ในที่จัดเก็บวัตถุบนคลาวด์ต้นทุนต่ำ ในขณะที่ RAM และ NVMe ภายในเครื่องทำหน้าที่เป็นแคชระยะสั้นที่เก็บชุดข้อมูลทำงานที่ใช้งานอยู่ บนพื้นฐานนี้ Databricks ผสานเทคนิคสองอย่างเข้าด้วยกัน
การจัดกลุ่ม IVF แบบลำดับชั้นจะจัดเวกเตอร์เป็นกลุ่มที่เก็บเป็นบล็อกต่อเนื่อง คำค้นจะให้คะแนนศูนย์กลางของกลุ่มในหน่วยความจำ จากนั้นอ่านเฉพาะบล็อกไม่กี่บล็อกที่ดูมีศักยภาพเป็นการอ่านต่อเนื่องขนาดใหญ่แทนการกระโดดแบบสุ่มหลายครั้ง การควอนไทซ์แบบไบนารีโดยใช้วิธี RaBitQ จะบีบอัดแต่ละเวกเตอร์ให้เหลือประมาณหนึ่งบิตต่อมิติ ซึ่งเล็กกว่า float32 ประมาณ 32 เท่า ดังนั้นคำค้นจะสแกนโค้ดแบบกะทัดรัดเพื่อคัดเลือกรายการที่อาจตรงกันและจัดอันดับใหม่เฉพาะรายการคัดเลือกนั้นกับเวกเตอร์ความแม่นยำเต็มรูปแบบ
เนื่องจากการออกแบบไม่มีสถานะ จึงสามารถขยายเป็นศูนย์ได้และเมื่อไม่มีการใช้งาน ผู้ใช้จ่ายเฉพาะค่าเก็บข้อมูลเท่านั้น Databricks รายงานว่าได้วัดค่า P90 ที่ 1.13 วินาทีสำหรับคำค้นแรกหลังจากการขยายเป็นศูนย์บนชุดข้อมูล 100 ล้านเวกเตอร์ มิติ 768 และกล่าวว่าเวกเตอร์ 100 ล้านรายการสามารถให้บริการบน Lakebase Compute Unit หนึ่งหน่วย
การสร้างดัชนีฝึกศูนย์กลางของคลัสเตอร์เพียงครั้งเดียวบนตัวอย่างสุ่มขนาดเล็ก; แต่ละเวกเตอร์จะถูกกำหนดให้กับศูนย์กลางที่ใกล้ที่สุด, ทำการควอนไทซ์, และเขียนลงบล็อกที่เหมาะสมเป็นการดำเนินการอิสระ, ดังนั้นงานจะกระจายไปตามจำนวนคอร์ที่มีอยู่. Databricks กล่าวว่าสถาปัตยกรรม LTAP ของมันย้ายการสร้างดัชนีออกจากฐานข้อมูลหลักไปยังเอนจินกระจายเช่น Spark, ทำให้เวลาการสร้างลดลงเหลือระดับนาที, และบอกว่าจะมีการเพิ่มความสามารถนี้ต่อไป. เนื่องจากเงื่อนไขจะถูกประยุกต์ใช้ระหว่างการสแกนบล็อกเอง, คำค้นที่กรองจะหลีกเลี่ยงการดึงข้อมูลผู้สมัครเกินความจำเป็นและรักษาการเรียกคืนให้สูง, และคำค้นเดียวจะทำงานแบบขนานบนคอร์ของ CPU.
การค้นหาข้อความ BM25 และการค้นหาแบบไฮบริด
Databricks กล่าวว่า การค้นหา tsvector ของ Postgres มาตรฐานขาดบริบทความเกี่ยวข้องระดับคอร์ปัส. lakebase_text ให้คะแนนคำโดยใช้ความถี่เอกสารผกผันทั่วโลก, ให้ความสำคัญมากขึ้นกับคำที่หายากและมีเจตนาสูงและน้อยลงกับคำเติมเต็มทั่วไป. มันยังตรวจสอบขอบบนของคะแนนขณะเดินทางผ่านดัชนี, กำจัดบล็อกโพสติ้งทั้งหมดที่ไม่สามารถส่งผลต่อผลลัพธ์ top‑K, ซึ่งบริษัทกล่าวว่าทำให้เร็วกว่า tsvector พร้อมดัชนี GIN.
การรวมส่วนขยายทั้งสองทำให้สามารถค้นหาไฮบริดแบบเนทีฟภายใน Postgres: คำค้นเดียวสามารถประยุกต์ใช้เงื่อนไขกรอง SQL ธรรมดา, เชื่อมตารางปฏิบัติการแบบเรียลไทม์, และรวมคะแนนเวกเตอร์เชิงความหมายกับความเกี่ยวข้องของคีย์เวิร์ด BM25. Databricks กล่าวว่า ระบบสามารถขยายจากหนึ่งแถวถึงหนึ่งพันล้านเวกเตอร์และจากหนึ่งคำค้นต่อวินาทีถึงหลายพันคำค้นโดยไม่ต้องปรับสเกลด้วยตนเอง, โดยอธิบายการออกแบบว่าออกแบบมาสำหรับเอเจนต์ AI ที่เวิร์กโฟลว์สามารถกระตุ้นคำขอการดึงข้อมูลพร้อมกันหลายพันรายการภายในไม่กี่วินาที.
Databricks วางตำแหน่ง Lakebase Search สำหรับผู้ใช้ที่ต้องการข้อมูลการปฏิบัติการและการค้นหารวมไว้ในฐานข้อมูลเดียว, ในขณะที่ Databricks AI Search ยังคงเป็นเอนจินที่จัดการไว้สำหรับการดึงข้อมูลที่พร้อมใช้งานทันที. Lakebase Search มีให้ใช้งานทั่วไปบน AWS และ Azure; ผู้ใช้ Lakebase ที่มีอยู่สามารถเปิดใช้งานส่วนขยายได้, และผู้ใช้ใหม่สามารถลงทะเบียนเพื่อใช้ Lakebase.












