Edo Liberty, Gründer und Chief Scientist bei Pinecone – Interview-Serie

Edo Liberty, Gründer und Chief Scientist bei Pinecone, ist ein führender Experte für große Datenmengen und maschinelles Lernen. Bevor er Pinecone gründete – eine Vektor-Datenbank, die für Leistung und Skalierbarkeit entwickelt wurde – war er Forschungsdirektor bei AWS und Leiter des Amazon (AMZN ) AI Labs, wo sein Team die Kerntechnologien hinter SageMaker, OpenSearch, Kinesis und mehr entwickelte. Zuvor leitete er das Yahoo-Forschungslabor in New York, wo er maschinelles Lernen und Anwendungen im Bereich Suche, Werbung und Sicherheit vorantrieb. Seine Arbeit konzentriert sich auf Algorithmen und mathematische Grundlagen für die Verarbeitung großer Datenmengen, einschließlich Dimensionalitätsreduktion, Clustering, Streaming und großer linearer Algebra.

Pinecone ist eine vollständig verwaltete Vektor-Datenbank, die für die skalierbare und effiziente Suche in großen, dynamischen Datenmengen entwickelt wurde. Sie unterstützt sowohl dichte als auch sparse Einbettungen, Echtzeit-Indexierung und Metadaten-basiertes Filtern, während sie nahtlos mit führenden Cloud-Anbietern, Modellen und Frameworks integriert wird. Mit serverloser Auto-Skalierung, Unternehmenssicherheit und Compliance-Standards wie SOC 2, ISO 27001, GDPR und HIPAA bietet Pinecone eine zuverlässige Grundlage für die Bereitstellung großer maschineller Lernanwendungen.

Sie haben Pinecone 2019 gegründet, nachdem Sie Forschung bei Amazon AI Labs und dem Bau von Systemen wie SageMaker geleitet hatten. Was hat Sie dazu inspiriert, Pinecone zu gründen und sich speziell auf Vektor-Datenbanken zu konzentrieren?

Bei AWS haben wir ein großartiges Team aufgebaut, aber wenn es um den Speicher ging, gab es keine Möglichkeit, semantisch durch große Mengen unstrukturierter Daten zu suchen. Dafür waren extrem spezialisierte Ingenieure erforderlich, die wussten, wie man komplexe Vektor-Suchlösungen aufbaute. Ich wusste, dass wenn es eine Möglichkeit gäbe, Menschen leicht Zugang zu der semantischen Fülle zu geben, die Vektoren erfassen, und sie mit fortschrittlichen Modellen kombinieren, dann könnte jeder die Werte von KI für sich selbst beschleunigen. Also verließ ich AWS mit dem Ziel, wirklich zu verändern, wie man es am einfachsten möglich macht, den größten Wert aus eigenen unstrukturierten Daten mit der Kraft von KI zu ziehen.

Pinecone ist zum definierenden Unternehmen im Bereich Vektor-Datenbanken geworden. Wenn Sie zurückblicken, welche waren die größten technischen oder marktbedingten Hürden, die Sie überwinden mussten, um diese neue Kategorie zu etablieren?

Die größte Herausforderung? Niemand wusste, was eine Vektor-Datenbank war! Wir mussten den Markt über das aufklären, was wir bauten und warum es wichtig war. Wir fragten unsere Kunden, wie sie es selbst nannten, und sie sagten uns, es sei eine Vektor-Datenbank.

Als andere begannen, aufzuschließen, fragten sie, warum sie nicht einfach Open-Source verwenden könnten? Und wir mussten all die Einschränkungen von Open-Source und die Skalierungs- und Leistungs-Kompromisse erklären, die man bekommen würde – und nach all dem müsste man immer noch erfahrene Ingenieure haben, um die Infrastruktur aufzubauen. Deshalb sind wir immer ein Managed-Service und konzentrieren uns auf die Benutzererfahrung. Unser System ist extrem kompliziert unter der Haube, weil man diese spezialisierte Infrastruktur für billionenschwere Ähnlichkeitssuche benötigt. Aber wir machen es zugänglich mit einem API-Aufruf, den jeder Entwickler nutzen kann.

Dies bedeutete, alle Komplexität von approximativen nächsten-Nachbarn-Algorithmen, Index-Verwaltung und verteilten Systemen abzustrahlen. Entwickler wollen nicht über HNSW-Parameter nachdenken, sie wollen einfach, dass es funktioniert.

Sie haben kürzlich den CEO-Posten an Ash Ashutosh abgegeben und sind jetzt Chief Scientist. Was hat diese Entscheidung motiviert, und wie sehen Sie Ihre Rolle in der nächsten Phase von Pinecone?

Pinecone als Unternehmen ist ein KI-Unternehmen und forschungsorientiert. Wir sind so weit gekommen, weil wir die Suche, Systeme und Algorithmen neu definiert haben. Und wir haben sehr akademisch gearbeitet, technische Berichte und Papier veröffentlicht, Vorträge gehalten und den Markt aufgeklärt, sogar Lehrbücher und Universitätskurse über KI und Gedächtnis geschrieben. Als das Unternehmen wächst, müssen wir diese Bemühungen unter einem Forschungslabor formalisieren, das vom Rest des Geschäfts getrennt ist. Denken Sie an DeepMind und Google (GOOGL ) als Beispiel. In Zukunft werde ich mich auf die Leitung unserer Forschung konzentrieren, KI-Kenntnisse vermitteln und die nächsten kontextuellen Produkte von Pinecone aufbauen.

Zugleich wird Ash ein fantastischer CEO und Leiter für Pinecone sein. Er hat mehrere Infrastruktur-Unternehmen gegründet und kennt sich damit aus, wie man ein Unternehmen wie Pinecone sehr effektiv führt. Er ist tief in unserer Technologie und unserem Markt verwurzelt. Und er ist intensiv kundenorientiert. Ash und ich werden tief in der Partnerschaft bei der Weiterentwicklung des Unternehmens und unseres Geschäfts zusammenarbeiten.

In Ihrem Blog-Beitrag haben Sie über die Konzentration auf “KI-Kenntnisse” geschrieben. Können Sie erklären, was das in der Praxis bedeutet und wie Pinecones Technologie einzigartig positioniert ist, um dies zu ermöglichen?

KI ohne Gedächtnis ist wie ein brillanter Mensch mit Amnesie: viel Intelligenz, aber kein Kontext. “KI-Kenntnisse” bedeuten, dass KI-Systeme die Fähigkeit haben, auf große Mengen an Informationen in Echtzeit zuzugreifen, zu verstehen und darüber zu argumentieren.

Wir ermöglichen es KI-Anwendungen, relevante Erkenntnisse in Echtzeit zu liefern, die aus semantisch verstandenen und organisierten Daten gezogen werden und sicherstellen, dass KI-Systeme nicht nur raten, sondern in der Lage sind, Wissen auf Abruf zu erlangen und zu synthetisieren. Dies führt zu genauereren, besser informierten und aktuellsten Ausgaben für Endbenutzer.

Wir bieten alle Komponenten und Fähigkeiten für hochwertige, genaue End-to-End-Retrieval in einem einzigen Ort, zusammen mit branchenführender Leistung für große Skalierungs-Retrieval.

Als Sie “Langzeitgedächtnis in KI” an der Princeton-Universität unterrichteten, wie sehen Sie die Beziehung zwischen Vektor-Datenbanken und der Zukunft von KI-Modellen? Glauben Sie, dass Gedächtnis und Kontext die fehlenden Zutaten für heutige große Modelle sind?

Absolut. LLMs sind Muster-Erkennungsmaschinen – brillante, aber fundamental begrenzt durch ihre Trainingsdaten und Kontextfenster. Der Kurs, den ich mit Matthijs Douze von Meta unterrichtete, konzentrierte sich auf die Algorithmen, die Vektor-Suche über große Datenmengen ermöglichen. Die Zukunft ist nicht in größeren Modellen, sondern in intelligenterer Retrieval über mehr Daten in Echtzeit.

Viele Unternehmen haben Schwierigkeiten, von KI-Piloten zu produktionsreifen Bereitstellungen überzugehen. Wie hilft Pinecone bei der Überbrückung dieser Lücke, und welche Best Practices haben Sie von erfolgreichen Kunden beobachtet?

Die Lücke kommt normalerweise auf drei Dinge zurück: Leistung (und Kosten) bei Skalierung, Sicherheit und Komplexität. Ein Demo, das mit 10 Millionen Dokumenten funktioniert, bricht bei 10 Milliarden zusammen. Etwas für eine Stunde zu betreiben ist anders, als es 24/7 mit keiner Toleranz für Ausfallzeiten zu betreiben. Deshalb haben wir uns auf unsere serverlose Architektur, Unternehmensfunktionen und Benutzerfreundlichkeit konzentriert.

Das Wichtigste ist, einfach anzufangen. Unsere Kunden sind oft überrascht, wie viel sie tun können, ohne uns überhaupt anzusprechen. Wir haben es so konzipiert, aber sind immer da, wenn unsere Kunden uns brauchen.

Sie haben Ihre Karriere zwischen Akademie, großer Technikforschung (Yahoo, AWS) und Unternehmertum verbracht. Wie haben diese verschiedenen Umgebungen Ihre Herangehensweise an den Aufbau von Pinecone geprägt?

Die Akademie hat mich gelehrt, von ersten Prinzipien aus zu denken. Wie man großartige Lösungen entwirft und abstrahiert. Bei Yahoo und AWS habe ich gelernt, wie man einfache Datenplattformen aufbaut, die Ingenieure lieben.

Unternehmertum ist, wo man lernt, dass die beste Technologie nur gewinnt, wenn sie reale Probleme auf eine Weise löst, die Menschen tatsächlich nutzen können.

Diese Mischung ist entscheidend für das, was wir aufbauen. Wir schreiben nicht nur Forschungspapiere oder bauen Technologie für Technologiezwecke. Jede Innovation muss das Leben von Entwicklern einfacher machen und Unternehmensanwendungen leistungsfähiger.

Die Konvergenz von Suche und KI scheint einer der größten Umbrüche in der Computertechnologie zu sein. Wohin denken Sie, dass dies in den nächsten fünf Jahren gehen wird, und wie wird Pinecones Arbeit diese Zukunft mitgestalten?

Die Suche wird konversationell und kontextuell. In fünf Jahren werden Sie nicht “suchen” – Sie werden Dialoge mit KI-Systemen führen, die nicht nur Ihre Anfrage, sondern auch Ihre Absicht, Ihren Kontext, Ihre Geschichte verstehen. Jede Interaktion wird von großen Wissensbasen informiert, die in Echtzeit aktualisiert werden.

Wir bauen die Infrastruktur dafür. Unsere Vektor-Datenbank ist nur der Anfang. Ich sehe eine Zukunft, in der jede Anwendung eingebetteten Kontext hat, in der KI nicht halluziniert, weil sie in Daten verwurzelt ist, in der die Grenze zwischen Suchen und Wissen verschwindet.

Als Chief Scientist werden Sie sich mehr mit Daten, Modellen und Prototyping beschäftigen. Welche Forschungsbereiche sind Sie persönlich am meisten begeistert, in die Sie sich jetzt einarbeiten?

Ach, wo soll ich anfangen? Für den kurzen bis mittleren Zeitraum tauche ich tiefer in Effizienz und Benutzerfreundlichkeit ein. Können wir Vektor-Suche 10-mal schneller machen, während wir sie 10-mal günstiger machen? Können wir unsere APIs noch einfacher machen, als sie es heute sind? Das sind harte Probleme.

Für den längeren Zeitraum bin ich besessen von der Kreuzung von Retrieval und Argumentation. Wie baut man Systeme, die nicht nur relevante Fakten finden, sondern die Beziehungen zwischen ihnen verstehen? Und dann verwenden sie diesen Kontext, um kenntnisreiche KI und leistungsfähigere Agenten zu schaffen.

Schließlich, auf persönlicher Ebene: Die Rückkehr in die Rolle des CEO, was begeistert Sie am meisten an diesem Übergang, und welche Durchbrüche hoffen Sie, in Pinecones nächster Phase zu ermöglichen?

Ich bin am glücklichsten, wenn ich tief im Code bin, mit unserem Forschungsteam zusammenarbeite und diese “Wow, das funktioniert tatsächlich!”-Momente um 2 Uhr morgens erlebe.

Mein Traum? Die Retrieval-Funktion so gut zu machen, dass sie unsichtbar wird. Wo Entwickler kontextuelle Anwendungen bauen können, ohne über Einbettungen oder Indizes oder irgendetwas anderes nachdenken zu müssen, und es einfach funktioniert.

Wir sind in diesem unglaublichen Moment, in dem KI und Daten konvergieren. Das Potenzial ist grenzenlos, und ich kann meine Tage damit verbringen, diese Zukunft zu gestalten.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Pinecone besuchen.