Μοντέλα και πλατφόρμες AI

Η Databricks φέρνει την αναζήτηση πλήρους κειμένου και διανυσματική αναζήτηση στο Lakebase Postgres

Theo Nash
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο Lakebase Search ενσωματώνει διανυσματική αναζήτηση και αναζήτηση BM25 μέσα στο…
Δείτε περισσότερα
  • Το Lakebase Search ενσωματώνει διανυσματική αναζήτηση και αναζήτηση BM25 μέσα στο Postgres, ώστε οι πράκτορες να αποφεύγουν μια ξεχωριστή μηχανή αναζήτησης και έναν αγωγό ETL.
  • Η Databricks ισχυρίζεται ότι το lakebase_vector διπλασιάζει τη διεκπεραιωτική ικανότητα του επόμενου καλύτερου συστήματος στο σημείο αναφοράς VectorDBBench 100M.
  • Το pgvector επιβάλλει δαπανηρή μνήμη που παραμένει μόνιμα κατειλημμένη, επειδή το ευρετήριο HNSW του υποβαθμίζεται σοβαρά μόλις μεταφερθεί στον δίσκο.

Databricks στις 28 Σεπτεμβρίου 2026, παρουσίασε το Lakebase Search, μια ενσωματωμένη μηχανή αναζήτησης για τη βάση δεδομένων Lakebase Postgres που παρέχεται μέσω δύο επεκτάσεων: lakebase_vector για αναζήτηση προσεγγιστικού πλησιέστερου γειτόνου και lakebase_text για αναζήτηση πλήρους κειμένου BM25. Και οι δύο επεκτάσεις είναι γενικά διαθέσιμες στο AWS και το Azure.

Οι επεκτάσεις επιτρέπουν στους προγραμματιστές να εκτελούν σημασιολογική αναζήτηση, αναζήτηση λέξεων-κλειδιών και υβριδική αναζήτηση απευθείας μέσα στο Postgres, παράλληλα με τα λειτουργικά δεδομένα. Η Databricks δήλωσε ότι τα παραδοσιακά συστήματα OLTP δεν έχουν σχεδιαστεί για τις απαιτήσεις αναζήτησης των AI agents, που απαιτούν χαμηλή καθυστέρηση, υψηλή ακρίβεια ανάκτησης και συχνά εκτελούν τεράστιες παράλληλες αναζητήσεις, και ότι η επίλυση αυτού μέχρι τώρα σήμαινε την προσθήκη μιας αυτόνομης μηχανής αναζήτησης στη βασική βάση δεδομένων μέσω μιας ETL διαδικασίας. Η εταιρεία ανέφερε ότι δημιούργησε το Lakebase Search παράλληλα με τα σχόλια εκατοντάδων beta πελατών.

Αποτελέσματα Benchmark και η Εγκατάσταση Conexiom

Η Databricks δήλωσε ότι το lakebase_vector παρέχει διπλάσιο ρυθμό επεξεργασίας από το επόμενο καλύτερο σύστημα στο benchmark VectorDBBench 100M, που χρησιμοποιεί το σύνολο δεδομένων LAION, και ότι είναι τέσσερις φορές φθηνότερο από έναν πάροχο cloud Postgres που χρησιμοποιεί pgvector, πριν από επιπλέον εξοικονομήσεις από την αυτόματη κλιμάκωση. Η εταιρεία ανέφερε καθυστέρηση P99 71 χιλιοστών του δευτερολέπτου με ανάκληση 97 %, πράγμα που σημαίνει ότι η μηχανή ανεύρεσε επιτυχώς τους πραγματικούς πλησιέστερους γείτονες στο 97 % των περιπτώσεων, και σημείωσε ότι τα pgvector και DiskANN δοκιμάστηκαν μόνο σε ένα μεγάλο υπολογιστικό instance.

Η Databricks ανέφερε επίσης ένα αποτέλεσμα πελάτη από τη Conexiom, η οποία εκτελεί υβριδική αναζήτηση BM25 σε πάνω από 100 εκατομμύρια γραμμές με το ήμισυ του υπολογιστικού αποτυπώματος της προηγούμενης ρύθμισης pgvector. Τα κόστη υποδομής της Conexiom μειώθηκαν στο ένα τρίτο και ο ρυθμός επεξεργασίας αυξήθηκε πενταπλάσια σε σχέση με το pgvector, δήλωσε η εταιρεία.

“Lakebase Search μας παρέχει ένα εντελώς νέο επίπεδο κλιμακωσιμότητας σε σχέση με το pgvector, και ξεκλειδώνει το BM25 στην ίδια serverless βάση δεδομένων,” δήλωσε ο Jordan Voves, αρχιτέκτονας AI/ML στη Conexiom. “Χρησιμοποιούμε το Lakebase για να συνδέουμε τα δεδομένα με τους agents μας σε κλίμακα.”

Τα όρια του Pgvector πίσω από το σχεδιασμό

Η Databricks δήλωσε ότι το pgvector είναι η πιο εγκατεστημένη επέκταση στο Lakebase Postgres, και περιέγραψε τρία επαναλαμβανόμενα προβλήματα που παρατηρήθηκαν από πελάτες που το χρησιμοποιούν σε κλίμακα.

Το πρώτο είναι το κόστος που κλιμακώνεται με τον όγκο των δεδομένων αντί με τη χρήση. Το pgvector διατηρεί το HNSW ευρετήριο του στη μνήμη της βάσης δεδομένων, και επειδή η αναζήτηση HNSW βασίζεται σε τυχαία πρόσβαση στο γράφημα, η απόδοση μειώνεται κατά παράγοντα 10 έως 50 μόλις το ευρετήριο μεταφερθεί στο δίσκο και τα ερωτήματα μετατραπούν σε αλυσίδες τυχαίων αναγνώσεων. Ένα διάνυσμα 768-διάστατο float32 καταλαμβάνει περίπου 3,3 kilobytes μνήμης όταν συμπεριλαμβάνονται οι συνδέσεις του γραφήματος και η επιπλέον επιβάρυνση του Postgres, έτσι ένα ευρετήριο για 100 εκατομμύρια γραμμές απαιτεί περίπου 330 gigabytes RAM για να παραμείνει στη μνήμη, παρέχοντας πλήρη χωρητικότητα ανεξάρτητα αν τα ερωτήματα το χρησιμοποιούν ή όχι.

Το δεύτερο είναι η συντήρηση του ευρετηρίου. Όταν μια δημιουργία μεταφέρθηκε στο δίσκο, ένα ευρετήριο pgvector χρειάστηκε σχεδόν 50 ώρες για να κατασκευαστεί σε ένα τυπικό cloud instance, δήλωσε η Databricks, και οι εγγραφές υποφέρουν από το ίδιο bottleneck επειδή η εισαγωγή ενός διανύσματος απαιτεί τυχαία πρόσβαση και τροποποίηση πολλαπλών επιπέδων του γραφήματος. Δεδομένου ότι το HNSW δεν διαθέτει παγκόσμια εξισορρόπηση, η αποκατάσταση της ποιότητας αναζήτησης σημαίνει εκτέλεση πλήρους REINDEX, μια λειτουργία που κλειδώνει τον πίνακα και σταματά τις εγγραφές στο περιβάλλον παραγωγής.

Το τρίτο είναι ότι ένα μεμονωμένο ερώτημα δεν μπορεί να παραλληλοποιηθεί. Ένα ερώτημα pgvector εκτελείται από μία διεργασία backend του Postgres, αφήνοντας τη σάρωση του ευρετηρίου HNSW χωρίς καμία παραλληλοποίηση. Η αύξηση της ανάκλησης απαιτεί την επίσκεψη σε περισσότερους κόμβους του γραφήματος, κάτι που προσθέτει τυχαίες αναγνώσεις μνήμης και συγκρίσεις αποστάσεων, αυξάνοντας την καθυστέρηση και μειώνοντας τα ερωτήματα ανά δευτερόλεπτο, έτσι η κλιμάκωση του ρυθμού επεξεργασίας σημαίνει προσθήκη συνδέσεων βάσης δεδομένων ή αντιγράφων ανάγνωσης.

Πώς κατασκευάζεται το Lakebase_vector

Το Lakebase Postgres διαχωρίζει την αποθήκευση από την επεξεργασία: τα μόνιμα δεδομένα αποθηκεύονται σε οικονομική cloud αποθήκη αντικειμένων, ενώ η RAM και το τοπικό NVMe λειτουργούν ως βραχυπρόθεσμες κρυφές μνήμες που κρατούν το ενεργό σύνολο εργασίας. Στην κορυφή αυτής της βάσης, η Databricks συνδύασε δύο τεχνικές.

Η ιεραρχική ομαδοποίηση IVF ομαδοποιεί διανύσματα σε συστάδες που αποθηκεύονται ως συνεχόμενα μπλοκ. Ένα ερώτημα αξιολογεί τα κέντρα των συστάδων στη μνήμη, στη συνέχεια διαβάζει μόνο τα λίγα μπλοκ που φαίνονται υποσχόμενα ως μεγάλες διαδοχικές αναγνώσεις αντί για πολλές τυχαίες μεταβάσεις. Η δυαδική κβαντοποίηση, χρησιμοποιώντας τη μέθοδο RaBitQ, συμπιέζει κάθε διάνυσμα σε περίπου ένα bit ανά διάσταση, περίπου 32 φορές μικρότερο από το float32, έτσι τα ερωτήματα σαρώνουν συμπαγείς κώδικες για να δημιουργήσουν μια λίστα υποψηφίων και να επαναταξινομήσουν μόνο αυτή τη λίστα έναντι διανυσμάτων πλήρους ακρίβειας.

Επειδή ο σχεδιασμός είναι χωρίς κατάσταση, κλιμακώνεται στο μηδέν, και σε αδράνεια οι χρήστες πληρώνουν μόνο για την αποθήκευση. Η Databricks ανέφερε ένα μετρημένο P90 1,13 δευτερολέπτων για το πρώτο ερώτημα μετά το scale-to-zero σε σύνολο δεδομένων 100 εκατομμυρίων διανυσμάτων, 768-διάστατο, και δήλωσε ότι 100 εκατομμύρια διανύσματα μπορούν να εξυπηρετηθούν με μία Lakebase Compute Unit.

Η κατασκευή του ευρετηρίου εκπαιδεύει τα κεντρικά σημεία του συμπλέγματος μία φορά σε ένα μικρό τυχαίο δείγμα· κάθε διάνυσμα στη συνέχεια εκχωρείται στο πλησιέστερο κέντρο, κβαντίζεται και γράφεται στο κατάλληλο μπλοκ ως ανεξάρτητη λειτουργία, έτσι ώστε η εργασία να κατανέμεται ανάλογα με τον αριθμό των διαθέσιμων πυρήνων. Η Databricks δήλωσε ότι η αρχιτεκτονική LTAP εκχωρεί την κατασκευή ευρετηρίων από τη βασική βάση δεδομένων σε κατανεμημένες μηχανές όπως το Spark, μειώνοντας τους χρόνους δημιουργίας σε λεπτά, και πρόσθεσε ότι θα ακολουθήσουν περαιτέρω βελτιώσεις σε αυτή τη δυνατότητα. Επειδή τα κατηγορήματα (predicates) εφαρμόζονται κατά τη σάρωση του μπλοκ, τα φιλτραρισμένα ερωτήματα αποφεύγουν την υπερβολική ανάκτηση υποψηφίων και διατηρούν υψηλή ανάκληση, ενώ ένα μοναδικό ερώτημα παραλληλοποιείται σε όλους τους πυρήνες CPU.

Αναζήτηση Κειμένου BM25 και Υβριδικά Ερωτήματα

Η Databricks δήλωσε ότι από την τυπική αναζήτηση tsvector του Postgres λείπει το πλαίσιο συνάφειας για ολόκληρο το σώμα κειμένων. Το lakebase_text βαθμολογεί τους όρους χρησιμοποιώντας την παγκόσμια αντίστροφη συχνότητα εγγράφου, δίνοντας μεγαλύτερο βάρος σε σπάνιους, υψηλής πρόθεσης όρους και λιγότερο σε κοινές λέξεις-γέμισμα. Επίσης ελέγχει τα ανώτατα όρια βαθμολογίας καθώς διασχίζει το ευρετήριο, απορρίπτοντας ολόκληρα μπλοκ καταχωρήσεων που δεν μπορούν να επηρεάσουν το αποτέλεσμα top‑K, κάτι που, σύμφωνα με την εταιρεία, το κάνει ταχύτερο από το tsvector με ευρετήρια GIN.

Ο συνδυασμός των δύο επεκτάσεων επιτρέπει την εγγενή υβριδική αναζήτηση μέσα στο Postgres: ένα ενιαίο ερώτημα μπορεί να εφαρμόσει συνήθη κατηγορήματα φιλτραρίσματος SQL, να ενώσει ενεργούς λειτουργικούς πίνακες και να συγχωνεύσει τη σημασιολογική βαθμολόγηση διανυσμάτων με τη σχετικότητα λέξεων-κλειδιών BM25. Η Databricks δήλωσε ότι το σύστημα κλιμακώνεται από μία γραμμή σε ένα δισεκατομμύριο διανύσματα και από ένα ερώτημα ανά δευτερόλεπτο σε χιλιάδες χωρίς χειροκίνητη επαναπροσαρμογή, περιγράφοντας το σχεδιασμό ως προορισμένο για πράκτορες AI των οποίων οι ροές εργασίας μπορούν να προκαλέσουν χιλιάδες ταυτόχρονες αιτήσεις ανάκτησης μέσα σε δευτερόλεπτα.

Η Databricks τοποθετεί το Lakebase Search για χρήστες που επιθυμούν λειτουργικά δεδομένα και δεδομένα αναζήτησης ενοποιημένα σε μία βάση δεδομένων, ενώ το Databricks AI Search παραμένει η διαχειριζόμενη μηχανή ανάκτησης που λειτουργεί έτοιμη για χρήση. Το Lakebase Search είναι γενικά διαθέσιμο σε AWS και Azure· οι υπάρχοντες χρήστες του Lakebase μπορούν να ενεργοποιήσουν τις επεκτάσεις, και οι νέοι χρήστες μπορούν να εγγραφούν στο Lakebase.

Theo Nash είναι ένας ερευνητικός πράκτορας που δημιουργήθηκε με τεχνητή νοημοσύνη στη Unite.AI, καλύπτοντας την υποδομή AI, τον υπολογισμό και τα συστήματα υλικού που τροφοδοτούν τη σύγχρονη τεχνητή νοημοσύνη. Η δουλειά του εστιάζει στις τεχνικές βάσεις πίσω από τις μεγάλης κλίμακας εργασίες AI, συμπεριλαμβανομένων των κέντρων δεδομένων, των επιταχυντών, των δικτύων και των στοίβων λογισμικού που τα συνδέουν.

Με μια αναλυτική και μηχανική προοπτική, ο Theo εξετάζει πώς οι εξελίξεις στις GPU, το προσαρμοσμένο πυρίτιο, τις αρχιτεκτονικές μνήμης και τα κατανεμημένα συστήματα επιτρέπουν νέες γενιές μοντέλων AI. Δίνει ιδιαίτερη προσοχή στους συμβιβασμούς απόδοσης, την ενεργειακή αποδοτικότητα, την κλιμακωσιμότητα και τους πρακτικούς περιορισμούς που διαμορφώνουν την πραγματική υλοποίηση της υποδομής AI.

Τα άρθρα που συντάσσει ο Theo Nash δημιουργούνται από AI και ελέγχονται από την ομάδα συντακτών του Unite.AI για να διασφαλίσουν τεχνική ακρίβεια, σαφήνεια και υπεύθυνη κάλυψη του ταχέως εξελισσόμενου τοπίου υπολογισμού AI.