Edo Liberty, grundare och chefsforskare på Pinecone – Intervjuserie

Edo Liberty, grundare och chefsforskare på Pinecone, är en ledande expert inom storskaliga datasystem och maskinlärning. Innan han lanserade Pinecone – en vektordatabas byggd för prestanda och skala – var han forskningschef på AWS och chef för Amazon (AMZN ) AI Labs, där hans team utvecklade kärnteknologier bakom SageMaker, OpenSearch, Kinesis och mer. Tidigare ledde han Yahools forskningslaboratorium i New York, där han främjade maskinlärningsplattformar och tillämpningar inom sökning, reklam och säkerhet. Hans arbete fokuserar på algoritmer och matematiska grunder för att hantera massiva datamängder, som omfattar dimensionsreduktion, kluster, strömning och storskalig linjär algebra.

Pinecone är en fullständigt hanterad vektordatabas byggd för att möjliggöra skalbar och effektiv sökning över stora, dynamiska datamängder. Den stöder både täta och glesa inbäddningar, realtidsindexering och metadata-baserad filtrering samtidigt som den integreras sömlöst med ledande moln, modeller och ramverk. Med serverless autoskalning, företagsklassad säkerhet och efterlevnad av standarder som SOC 2, ISO 27001, GDPR och HIPAA, erbjuder Pinecone en pålitlig grund för distribution av storskaliga AI-applikationer.

Du grundade Pinecone 2019 efter att ha lett forskning på Amazon AI Labs och byggt system som SageMaker. Vad inspirerade dig att lansera Pinecone och fokusera specifikt på vektordatabaser?

På AWS byggde vårt ML-team fantastiska system, men när det gällde minne fanns det inget sätt att semantiskt söka igenom enorma mängder ostrukturerad data. Det krävde extremt specialiserade ingenjörer som visste hur man byggde komplexa vektorsökningsbaserade lösningar. Jag visste att om det fanns ett sätt för människor att enkelt komma åt den semantiska rikedomen som vektorer fångar och kombinera det med sofistikerade modeller, då kunde vem som helst accelerera värdet av AI för sig själv. Så jag lämnade AWS med målet att verkligen omvandla hur man kan göra det så enkelt som möjligt att få ut det mesta av eget, ostrukturerat data med kraften av AI.

Pinecone har vuxit till att bli det definierande företaget inom vektordatabasområdet. När du ser tillbaka, vad var de största tekniska eller marknadsrelaterade hinder du måste övervinna för att etablera denna nya kategori?

Den största utmaningen? Ingen visste vad en vektordatabas var! Vi var tvungna att utbilda marknaden om vad vi byggde och varför det var viktigt. Vi frågade våra kunder vad de kallade det själva och de sa att det var en vektordatabas.

När andra började förstå, frågade de varför de inte kunde använda öppen källkod? Och vi var tvungna att förklara alla begränsningar med öppen källkod och prestanda-skalekompromisser du skulle få – och efter allt det skulle du fortfarande behöva erfarna ingenjörer för att bygga din infrastruktur. Det är därför vi alltid har varit en hanterad tjänst och fokuserar på användarupplevelsen. Vårt system är extremt komplicerat under huven eftersom du behöver denna specialiserade infrastruktur för sökning av likhet i miljardskalan. Men vi gör det tillgängligt med ett API-anrop som varje utvecklare kan använda.

Detta innebar att abstrahera bort all komplexitet kring approximativa närmaste granne-algoritmer, indexhantering och distribuerade system. Utvecklare vill inte tänka på HNSW-parametrar, de vill bara att det ska fungera.

Du har nyligen gått från VD till chefsforskare och tagit in Ash Ashutosh för att leda företaget. Vad motiverade detta beslut, och hur ser du din roll utvecklas i Pinecones nästa kapitel?

Pinecone, som företag, är ett AI-företag och forskningscentrerat företag. Vi har kommit dit vi är idag för att vi har omdefinierat sökning, system och algoritmer. Och vi har varit mycket akademiskt aktiva, publicerat tekniska rapporter och papper, gett föreläsningar och utbildat marknaden, till och med skrivit läroböcker och gett universitetskurser i AI och minne. När företaget växer behöver vi formalisera dessa insatser under ett forskningslaboratorium som är skilt från resten av verksamheten. Tänk på DeepMind och Google (GOOGL ) som exempel. Framöver kommer jag att fokusera min energi på att leda vår forskning, göra AI-kunnig och bygga nästa uppsättning kontextuella produkter från Pinecone.

Samtidigt kommer Ash att vara en fantastisk VD och ledare för Pinecone. Han grundade och skalförde flera infrastrukturföretag och vet hur man opererar ett företag som Pinecone mycket effektivt. Han är djupt insatt och kreativ när det gäller vår teknik och vår marknad. Och han är intensivt kundfixerad. Ash och jag kommer att samarbeta djupt för att växa företaget och vår verksamhet.

I din bloggpost skrev du om att fokusera på “att göra AI-kunnig”. Kan du förklara vad det innebär i praktiken och hur Pinecones teknik är unikt positionerad för att möjliggöra det?

AI utan minne är som en briljant person med amnesi: mycket intelligens, men ingen kontext. “Att göra AI-kunnig” innebär att ge AI-systemer förmågan att komma åt, förstå och resonera över enorma mängder information i realtid.

Vi möjliggör AI-drivna applikationer för att ge relevanta insikter i realtid, dragna från semantiskt förstådda och organiserade data och säkerställer att AI-systemen inte bara gissar, utan kan hämta och syntetisera kunskap på begäran. Detta resulterar i mer precisa, välunderrättade och uppdaterade utdata för slutanvändare.

Vi gör detta genom att tillhandahålla alla komponenter och funktioner för högkvalitativ, exakt slut-till-slut-hämtning på en och samma plats, tillsammans med branschledande prestanda för storskalig hämtning.

Med tanke på att du har undervisat “Långsiktigt minne i AI” på Princeton, hur ser du på relationen mellan vektordatabaser och framtiden för AI-modeller? Tror du att minne och kontext är de saknade ingredienserna för dagens stora modeller?

Absolut. LLM är mönstermatchningsmaskiner – briljanta, men fortfarande grundläggande begränsade av deras träningsdataavsnitt och kontextfönster. Kursen jag undervisade med Matthijs Douze från Meta fokuserade på algoritmerna som gör vektorsökning möjlig över enorma mängder data. Framtiden är inte större modeller, utan smartare hämtning över mer data, i realtid.

Många företag kämpar med att flytta från AI-piloter till produktionsskaliga distributioner. Hur hjälper Pinecone till att överbrygga detta gap, och vilka bästa metoder har du observerat från framgångsrika kunder?

Klyftan beror vanligtvis på tre saker: prestanda (och kostnad) i skala, säkerhet och komplexitet. En demo som fungerar med 10 miljoner dokument fungerar inte med 10 miljarder. Att köra något i en timme är annorlunda än att köra det 24/7 med noll tolerans för nedtid. Det är därför vi har fokuserat på vår serverless-arkitektur, företagsklassade funktioner och enkelhet.

Det viktigaste är att bara komma igång. Våra kunder är ofta förvånade över hur mycket de kan göra utan att ens prata med oss. Vi har designat det så medvetet, men är alltid där när våra kunder behöver oss också.

Du har tillbringat din karriär med att flytta mellan akademi, storteknisk forskning (Yahoo, AWS) och entreprenörskap. Hur har dessa olika miljöer format din tillvägagångssätt för att bygga Pinecone?

Akademien lärde mig att tänka från första principer. Hur man abstraherar och designar stora lösningar. På Yahoo och AWS lärde jag mig hur man bygger enkla dataplattformar som ingenjörer älskar att bygga på.

Entreprenörskap är där du lär dig att den bästa tekniken bara vinner om den löser riktiga problem på ett sätt som människor faktiskt kan använda.

Denna mix är avgörande för vad vi bygger. Vi bygger inte bara forskningspapper eller teknologi för teknologins skull. Varje innovation måste göra utvecklares liv enklare och företagsapplikationer mer kraftfulla.

Konvergensen av sökning och AI känns som en av de största förändringarna inom datorkommunikation. Vart tror du att detta är på väg under de kommande fem åren, och hur kommer Pinecones arbete att forma den framtiden?

Sökning blir konversationell och kontextuell. Om fem år kommer du inte att “söka” – du kommer att ha dialoger med AI-system som förstår inte bara din fråga utan också din avsikt, din kontext, din historia. Varje interaktion kommer att informeras av enorma kunskapsbaser som uppdateras i realtid.

Vi bygger infrastrukturen för detta. Vår vektordatabas är bara början. Jag ser en framtid där varje applikation har inbäddad kontext, där AI inte hallucinerar för att den är grundad i data, där gränsen mellan sökning och kunskap försvinner.

Som chefsforskare kommer du att vara mer hands-on med data, modeller och prototyper. Vilka områden av forskning är du personligen mest entusiastisk över att dyka in i just nu?

Oh man, var ska jag ens börja? På kort till medellång sikt dyker jag djupare in i effektivitet och enkelhet. Kan vi göra vektorsökning 10 gånger snabbare medan vi gör det 10 gånger billigare? Kan vi göra våra API:er ännu enklare än de är idag? Detta är svåra problem.

På lång sikt är jag besatt av skärningspunkten mellan hämtning och resonemang. Hur bygger man system som inte bara hittar relevanta fakta utan förstår relationerna mellan dem? Och sedan använder den kontexten för att skapa kunnig AI och mer kraftfulla agenter.

Till sist, på en personlig nivå: att ta ett steg tillbaka från VD-rollen, vad exciterar dig mest över denna övergång, och vilka genombrott hoppas du på att låsa upp i Pinecones nästa skede?

Jag är lyckligast när jag är djupt i koden, arbetar med vårt forskningsteam, har dessa “wow, det fungerar faktiskt!”-ögonblick klockan 02.00.

Min dröm? Att göra hämtning så bra att det blir osynligt. Där utvecklare kan bygga kontextuella applikationer utan att tänka på inbäddningar eller index eller något annat och det bara fungerar.

Vi är i detta otroliga ögonblick där AI och data konvergerar. Potentialen är obegränsad och jag får tillbringa mina dagar med att göra den framtiden hända nu.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Pinecone.