KI-Modelle und Plattformen
Pinecone Open-Source VQ-Bench Vektorquantisierungs‑Framework
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Pinecone hat VQ-bench veröffentlicht, ein Open‑Source‑Framework zum Erstellen und Benchmarken von Vektorquantisierungsmethoden, in einer Ankündigung vom 17. September 2026 von Ashwin Padaki, Amir Ingber und Edo Liberty. Die Veröffentlichung kombiniert eine öffentliche Website, die einen laufenden Benchmark beliebter Quantisierer hostet, mit einem MIT‑lizenzierten GitHub‑Repository und einem auf der VecDB@VLDB 2026 vorgestellten Paper.
Warum Pinecone einen Quantisierungs‑Benchmark erstellt hat
Vektorquantisierung reduziert die Anzahl der Bits, die zum Speichern eines Vektors benötigt werden, was die Autoren als kritischen Teil der Wartung einer Vektordatenbank und als wichtig für sowohl Vektordatenbanken als auch große Sprachmodelle beschreiben. Pinecone verwendet Quantisierung seit seinen ersten Prototypen, und die Autoren schrieben, dass sie bei der Untersuchung und dem Benchmarken neuerer Forschung feststellten, dass jedes Papier die Leistung unterschiedlich bewertet: unterschiedliche Metriken, unterschiedliche Datensätze und unterschiedliche Zielhardware. Sie sagten, sie hätten keinen systematischen Versuch gefunden, die führenden Methoden gegeneinander zu evaluieren.
Die Prämisse des Projekts, wie die Autoren sie beschreiben, ist, dass die meisten veröffentlichten Quantisierer aus einer relativ kleinen Menge primitiver Operationen zusammengesetzt sind, sodass das Erstellen eines Quantisierers auf ein Rezept reduziert werden kann, welche Primitiven in welcher Reihenfolge zu verwenden sind. Das Begleitpapier, am 31. Juli 2026 bei arXiv eingereicht, besagt, dass das Framework sieben konzeptionelle Quantisierungs‑Primitiven beschreibt, zeigt, wie man sie beliebig kombiniert, und 25 gängige Quantisierer als Pipelines dieser Primitiven neu ausdrückt.
Wie VQ-Bench Quantisierer zusammensetzt
In VQ-bench ist ein Quantisierer alles, was eine Menge von Vektoren nehmen, komprimieren und später gewünschte Informationen wiederherstellen kann. Ein Quantisierer muss vier Methoden implementieren: fit, das ein Modell aus einer Stichprobe von Vektoren lernt und optional Abfragen verarbeitet; encode, das pro Vektor Codes zurückgibt, gegeben das Modell; reconstruct, das einen Vektor aus dem Modell und seinem Code wiederaufbaut; und score, das das Skalarprodukt zwischen einem Abfragevektor und einem codierten Vektor schätzt.
Ein Primitive implementiert dieselben vier Methoden plus zwei weitere, apply und apply_queries, die festlegen, wie die Stufe Daten an die nächste weitergibt. Diese beiden Methoden bilden den Verkettungsvertrag, der es ermöglicht, Primitive zu kombinieren. VQ-bench implementiert drei Gruppen von Primitiven: Conditioner wie Center, Normalize, PCA und RandomRotate; Rounder wie CastUint, CastAngular, CastNormal und KMeans; und Splitter wie Segment.
Eine Pipeline verkettet zwei oder mehr Primitive. Die Methoden fit und encode führen Vektoren vorwärts durch die Kette, führen die jeweilige Aufgabe jeder Stufe aus und concatenieren das gelernte Modell und die Ausgabe‑Codes jeder Stufe; reconstruct startet an der letzten Stufe und läuft rückwärts, wobei jede Stufe ihren eigenen Beitrag wieder einbringt; und score schiebt die Abfrage zuerst vorwärts durch apply_queries, bevor derselbe Rückwärtsdurchlauf ausgeführt wird. Ein Quantisierer muss nicht zwingend eine Pipeline sein, da jedes Objekt, das die vier Methoden implementiert, qualifiziert, aber die Autoren berichten, dass die meisten veröffentlichten Quantisierer als Pipelines von Primitiven ausgedrückt werden können.
Die Ankündigung demonstriert E‑RaBitQ als Beispiel‑Pipeline aus vier Primitiven: Center, das den durchschnittlichen Datensatzvektor von jedem Vektor subtrahiert; Normalize, das jeden Vektor auf Einheitsnorm skaliert; eine zufällige Rotation, die eine zufällige orthogonale oder Hadamard‑Transformation anwendet; und einen angularen Cast, der jeden Vektor auf ein b‑Bit‑Ganzzahlgitter projiziert, indem er auf den nächsten Gitterpunkt im Winkel rundet.
Benchmark‑Setup und berichtete Ergebnisse
Die Autoren evaluierten eine Suite von 14 Quantisierern auf fünf Datensätzen von VIBE und präsentierten detaillierte Ergebnisse für zwei davon: ArXiv mit 1.344.643 Vektoren in 768 Dimensionen und Yahoo mit 677.305 Vektoren in 384 Dimensionen. Vollständige Ergebnisse sind auf der Benchmark‑Website des Projekts veröffentlicht.
Der mittlere quadratische Rekonstruktionsfehler (MSE), den die Autoren als traditionelle Metrik für Vektorquantisierung und wichtig für Anwendungen wie die Kompression von LLM‑Gewichten bezeichnen, wird an 1.000 zufällig ausgewählten Datensatzvektoren gemessen als der durchschnittliche quadratische Abstand zwischen jedem Vektor und seiner Rekonstruktion. Für Vektordatenbanken beschreiben die Autoren den Recall als die relevantere Metrik, speziell für das Reranking; recall@10 wird gemessen, indem für jede Abfrage die 1.000 Datensatzvektoren mit maximalem Skalarprodukt ermittelt werden und geprüft wird, welcher Anteil der vom Quantisierer geschätzten Top‑10 im wahren Top‑10 liegt, gemittelt über alle Abfragen. Die Encode‑Zeit‑Zahlen in der Ankündigung wurden auf einem Apple M2 Pro mit 16 GB RAM unter Verwendung von sechs Threads ermittelt, wobei das Encoding in Blöcken erfolgte und durch Multithreading beschleunigt wurde.
Die Autoren berichten, dass PQ und OPQ konsequent den niedrigsten Rekonstruktions‑MSE erzielten, dass EDEN und E‑RaBitQ in Bezug auf den Recall vergleichbar waren, insbesondere bei höheren Bit‑Budgets, und dass EDEN wesentlich schneller kodierte als PQ, OPQ und E‑RaBitQ, was sie als guten Kandidaten für die meisten Quantisierungs‑Anwendungen einstufen.
Repository, Werkzeuge und Beiträge
Das GitHub-Repository ist unter der MIT-Lizenz veröffentlicht und führt die Maintainer Amir Ingber und Edo Liberty von Pinecone sowie Ashwin Padaki von der University of Pennsylvania auf. Es liefert ein Rust-basiertes Kommandozeilen‑Tool namens vqb, dessen JSON‑Laufkonfigurationen Datensätze, Methoden und deren Parameter, Qualitätsmetriken, k‑Werte für Recall, Softmax‑Temperaturen, einen Master‑Seed, Subsampling‑Zahlen und eine Thread‑Anzahl auswählen; ein Dry‑Run‑Flag validiert eine Konfiguration, bevor irgendetwas berechnet wird. Ein Streaming‑Modus verarbeitet Datensätze, die größer als der Arbeitsspeicher sind, indem er Basisvektoren blockweise von der Festplatte liest, standardmäßig 256 MB.
Das Repository akzeptiert laut der Ankündigung zwei Arten von Beiträgen: neue Quantisierer, die oft nur wenige Codezeilen umfassen und Primitive neu anordnen, die die Bibliothek bereits bereitstellt, sowie neue Primitive, die die sechs Schnittstellenmethoden implementieren und sich dann mit jedem anderen Primitive im Katalog kombinieren. Das Evaluierungs‑Framework misst recall@k, Rekonstruktion‑ und Score‑Fehler, Bias, Softmax‑KL und Totalvariation, Größe in Bits pro Dimension sowie Encode‑, Score‑ und Rekonstruktionskosten. Die Autoren beschreiben diese Veröffentlichung als die erste Iteration von VQ‑bench und sagten, sie würden im Laufe der Zeit weitere Quantisierer hinzufügen; Korrekturen können über den Issue‑Tracker des Repositorys eingereicht werden, und das veröffentlichte Benchmark wird in regelmäßigen Abständen mit neuen Methoden aktualisiert.
