Dr. Ram Sriharsha, VP of Engineering at Pinecone – Interview Series

Dr. Ram Sriharsha, ist der VP of Engineering und R&D bei Pinecone.

Bevor er zu Pinecone kam, hatte Ram VP-Rollen bei Yahoo, Databricks und Splunk. Bei Yahoo war er sowohl Principal Software Engineer als auch Research Scientist; bei Databricks war er der Produkt- und Engineering-Lead für die Unified Analytics-Plattform für Genomik; und in seinen drei Jahren bei Splunk hatte er mehrere Rollen, darunter Sr Principal Scientist, VP Engineering und Distinguished Engineer.

Pinecone ist eine vollständig verwaltete Vektor-Datenbank, die es ermöglicht, Vektor-Suche einfach in Produktionsanwendungen zu integrieren. Sie kombiniert Vektor-Suchbibliotheken, Funktionen wie Filterung und verteilte Infrastruktur, um hohe Leistung und Zuverlässigkeit in jedem Maßstab zu bieten.

Was hat Sie ursprünglich zur maschinellen Lerntheorie hingezogen?

Die hochdimensionale Statistik, die Lerntheorie und Themen wie diese haben mich zur maschinellen Lerntheorie hingezogen. Sie sind mathematisch gut definiert, können begründet werden und bieten einige grundlegende Einblicke in das, was Lernen bedeutet, und wie man Algorithmen entwerfen kann, die effizient lernen können.

Zuvor waren Sie Vice President of Engineering bei Splunk, einer Datenplattform, die hilft, Daten in Aktionen für Observability, IT, Security und mehr umzuwandeln. Was waren einige Ihrer wichtigsten Erkenntnisse aus dieser Erfahrung?

Ich hatte nicht realisiert, bis ich zu Splunk kam, wie vielfältig die Anwendungsfälle in der Unternehmenssuche sind: Menschen verwenden Splunk für Log-Analytics, Observability und Security-Analytics unter vielen anderen Anwendungsfällen. Und was vielen dieser Anwendungsfälle gemeinsam ist, ist die Idee, ähnliche Ereignisse oder sehr unähnliche (oder anomale) Ereignisse in unstrukturierten Daten zu erkennen. Dies stellt sich als ein hartes Problem heraus, und herkömmliche Methoden der Suche in solchen Daten sind nicht sehr skalierbar. Während meiner Zeit bei Splunk habe ich Forschung in diesen Bereichen initiiert, um zu sehen, wie wir maschinelle Lerntheorie (und Deep Learning) für Log-Mining, Security-Analytics usw. verwenden können. Durch diese Arbeit kam ich zu dem Schluss, dass Vektor-Einbettungen und Vektor-Suche grundlegende Primitiven für neue Ansätze in diesen Bereichen werden.

Können Sie uns erklären, was Vektor-Suche ist?

Bei der herkömmlichen Suche (auch bekannt als Keyword-Suche) suchen Sie nach Keyword-Übereinstimmungen zwischen einer Abfrage und Dokumenten (dies kann Tweets, Webdokumente, Rechtsdokumente usw. sein). Um dies zu tun, teilen Sie Ihre Abfrage in ihre Token auf, retrieve Dokumente, die das gegebene Token enthalten, und mergen und ranken, um die relevantesten Dokumente für eine gegebene Abfrage zu bestimmen.

Das Hauptproblem ist natürlich, dass Sie, um relevante Ergebnisse zu erhalten, Keyword-Übereinstimmungen in den Dokumenten benötigen. Ein klassisches Problem mit der herkömmlichen Suche ist: Wenn Sie nach “pop” suchen, werden Sie “pop music” treffen, aber nicht “soda” usw., da es keine Keyword-Übereinstimmung zwischen “pop” und Dokumenten mit “soda” gibt, obwohl wir wissen, dass “pop” in vielen Bereichen in den USA dasselbe wie “soda” bedeutet.

Bei der Vektor-Suche beginnen Sie damit, sowohl Abfragen als auch Dokumente in einen Vektor in einem hochdimensionalen Raum umzuwandeln. Dies geschieht normalerweise, indem Sie den Text durch ein Deep-Learning-Modell wie OpenAI’s LLMs oder andere Sprachmodelle übergeben. Was Sie als Ergebnis erhalten, ist ein Array von Gleitkommazahlen, das als Vektor in einem hochdimensionalen Raum betrachtet werden kann.

Die Kernidee ist, dass nahe Vektoren in diesem hochdimensionalen Raum auch semantisch ähnlich sind. Wenn wir zu unserem Beispiel von “soda” und “pop” zurückkehren, ist es wahrscheinlich, dass das Modell, wenn es auf dem richtigen Korpus trainiert wurde, “pop” und “soda” semantisch ähnlich betrachtet und die entsprechenden Einbettungen nahe beieinander im Einbettungsraum liegen. Wenn dies der Fall ist, wird das Abrufen von nahegelegenen Dokumenten für eine gegebene Abfrage zum Problem der Suche nach den nächsten Nachbarn des entsprechenden Abfragevektors in diesem hochdimensionalen Raum.

Können Sie uns erklären, was eine Vektor-Datenbank ist und wie sie die Erstellung von Hochleistungs-Vektor-Suchanwendungen ermöglicht?

Eine Vektor-Datenbank speichert, indexiert und verwaltet diese Einbettungen (oder Vektoren). Die Hauptprobleme, die eine Vektor-Datenbank löst, sind:

• Erstellung eines effizienten Suchindex über Vektoren, um nächste Nachbarn-Abfragen zu beantworten
• Erstellung effizienter Hilfsindizes und Datenstrukturen, um Abfrage-Filterung zu unterstützen. Zum Beispiel, wenn Sie nur über einen Teil des Korpus suchen möchten, sollten Sie in der Lage sein, den bestehenden Suchindex zu nutzen, ohne ihn neu aufbauen zu müssen

Effiziente Updates und Halten beider Daten und des Suchindex frisch, konsistent, dauerhaft usw.

Welche Arten von maschinellen Lernalgorithmen werden bei Pinecone verwendet?

Wir arbeiten in der Regel an approximativen nächsten Nachbarn-Suchalgorithmen und entwickeln neue Algorithmen für effizientes Aktualisieren, Abfragen und Umgang mit großen Datenmengen in einer möglichst kosteneffektiven Weise.

Wir arbeiten auch an Algorithmen, die dichte und sparse Retrieval für verbesserte Suchrelevanz kombinieren.

Welche Herausforderungen gibt es beim Aufbau einer skalierbaren Suche?

Während die approximative nächste Nachbarn-Suche bereits seit Jahrzehnten erforscht wird, glauben wir, dass es noch viel zu entdecken gibt.

Insbesondere wenn es darum geht, groß angelegte nächste Nachbarn-Suche zu entwerfen, die kosteneffektiv ist, effiziente Filterung im großen Maßstab durchzuführen oder Algorithmen zu entwerfen, die hohe Update-Raten und generell frische Indizes unterstützen, sind dies alles herausfordernde Probleme.

Welche Arten von Anwendungsfällen kann diese Technologie verwendet werden?

Das Spektrum der Anwendungsfälle für Vektor-Datenbanken wächst täglich. Neben ihren Anwendungen in der semantischen Suche sehen wir sie auch in der Bildsuche, Bildabruf, generativer KI, Security-Analytics usw. verwendet.

Was ist Ihre Vision für die Zukunft der Suche?

Ich denke, die Zukunft der Suche wird von KI getrieben sein, und ich denke, dass dies nicht sehr weit entfernt ist. In dieser Zukunft erwarte ich, dass Vektor-Datenbanken eine grundlegende Primitive sein werden. Wir denken gerne an Vektor-Datenbanken als das langfristige Gedächtnis (oder die externe Wissensbasis) der KI.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Pinecone besuchen.