Edo Liberty, grundare och chefsforskare på Pinecone – Intervjuserie

Edo Liberty, grundare och chefsforskare på Pinecone, är en ledande expert inom storskaliga datasystem och maskinlärning. Innan han lanserade Pinecone – den vektordatabas som är byggd för prestanda och skala – var han forskningschef på AWS och chef för Amazon AI Labs, där hans team utvecklade kärnteknologier bakom SageMaker, OpenSearch, Kinesis och mer. Tidigare ledde han Yahoos forskningslaboratorium i New York, där han främjade maskinlärningsplattformar och applikationer inom sökning, reklam och säkerhet. Hans arbete fokuserar på algoritmer och matematiska grunder för att hantera massiva datamängder, som omfattar dimensionsreduktion, kluster, strömning och storskalig linjär algebra.

Pinecone är en fullständigt hanterad vektordatabas som är byggd för att möjliggöra skalbar och effektiv sökning i stora, dynamiska datamängder. Den stöder både täta och glesa inbäddningar, realtidsindexering och metadata-baserad filtrering, samtidigt som den integreras sömlöst med ledande molntjänster, modeller och ramverk. Med serverless auto-skalning, företagsklassad säkerhet och regelefterlevnad som SOC 2, ISO 27001, GDPR och HIPAA, erbjuder Pinecone en tillförlitlig grund för distribution av storskaliga AI-applikationer.

Du grundade Pinecone 2019 efter att ha lett forskning på Amazon AI Labs och byggt system som SageMaker. Vad inspirerade dig att lansera Pinecone och fokusera specifikt på vektordatabaser?

På AWS byggde vårt ML-team fantastiska system, men när det gällde minne fanns det inget sätt att semantiskt söka igenom stora mängder ostrukturerade data. Det krävde extremt specialiserade ingenjörer som visste hur man byggde komplexa vektorsökningsbaserade lösningar. Jag visste att om det fanns ett sätt för människor att enkelt komma åt den semantiska rikedom som vektorer fångar och kombinera den med avancerade modeller, då kunde vem som helst accelerera värdet av AI för sig själv. Så jag lämnade AWS med målet att verkligen förändra hur man kan göra det så enkelt som möjligt att få ut det mesta av eget ostrukturerat data med hjälp av AI-kraften.

Pinecone har vuxit till att bli det definierande företaget inom vektordatabasområdet. När du ser tillbaka, vad var de största tekniska eller marknadsrelaterade hinder du måste övervinna för att etablera denna nya kategori?

Den största utmaningen? Ingen visste vad en vektordatabas var! Vi var tvungna att utbilda marknaden om vad vi byggde och varför det var viktigt. Vi frågade våra kunder vad de kallade det själva och de sa att det var en vektordatabas.

När andra började förstå, frågade de varför de inte kunde använda öppen källkod? Och vi var tvungna att förklara alla begränsningar med öppen källkod och prestanda-skalekonomin – och efter allt det skulle de fortfarande behöva erfarna ingenjörer för att bygga sin infrastruktur. Det är därför vi alltid har varit en hanterad tjänst och fokuserat på användarupplevelsen. Vårt system är extremt komplicerat under huven eftersom du behöver denna specialiserade infrastruktur för miljard-skala likhetsökning. Men vi gör det tillgängligt med ett API-anrop som varje utvecklare kan använda.

Detta innebar att abstrahera bort all komplexitet kring approximativa närmaste granne-algoritmer, indexhantering och distribuerade system. Utvecklare vill inte tänka på HNSW-parametrar, de vill bara att det ska fungera.

Du har nyligen gått från VD till chefsforskare och tagit in Ash Ashutosh för att leda företaget. Vad motiverade detta beslut, och hur ser du din roll utvecklas i Pinecones nästa kapitel?

Pinecone, som företag, är ett AI-företag och forskningscentrerat företag. Vi har kommit dit vi är idag för att vi har omdefinierat sökning, system och algoritmer. Och vi har varit mycket akademiskt aktiva, publicerat tekniska rapporter och papper, hållit föreläsningar och utbildat marknaden, till och med skrivit läroböcker och gett universitetskurser i AI och minne. När företaget växer behöver vi formalisera dessa ansträngningar under ett forskningslaboratorium som är separerat från resten av verksamheten. Tänk på DeepMind och Google som exempel. Framöver kommer jag att fokusera min energi på att leda vår forskning, göra AI-kunnig och bygga nästa uppsättning kontextuella produkter från Pinecone.

Samtidigt kommer Ash att vara en fantastisk VD och ledare för Pinecone. Han grundade och skalförde flera infrastrukturföretag och vet hur man driver ett företag som Pinecone mycket effektivt. Han är djupt insatt och kreativ när det gäller vår teknik och vår marknad. Och han är intensivt kundfixerad. Ash och jag kommer att samarbeta djupt för att växa företaget och vår verksamhet.

I din bloggpost skrev du om att fokusera på “att göra AI-kunnig”. Kan du förklara vad det innebär i praktiken och hur Pinecones teknik är unikt positionerad för att möjliggöra det?

AI utan minne är som en begåvad person med minnesförlust: mycket intelligens, men ingen kontext. “Att göra AI-kunnig” innebär att ge AI-system förmågan att komma åt, förstå och resonera över stora mängder information i realtid.

Vi möjliggör AI-drivna applikationer för att ge relevanta insikter i realtid, baserat på semantiskt förstådda och organiserade data, och säkerställer att AI-system inte bara gissar, utan kan hämta och syntetisera kunskap på begäran. Det resulterar i mer exakta, välinformerade och uppdaterade utdata för slutanvändare.

Vi gör detta genom att tillhandahålla alla komponenter och funktioner för högkvalitativ, exakt slut-till-slut-återvinning på en och samma plats, tillsammans med branschledande prestanda för storskalig återvinning.

Med tanke på att du har undervisat “Långsiktigt minne i AI” på Princeton, hur ser du på relationen mellan vektordatabaser och framtiden för AI-modeller? Tror du att minne och kontext är de saknade ingredienserna för dagens stora modeller?

Absolut. LLM är mönstermatchningsmaskiner – briljanta, men fortfarande grundläggande begränsade av deras träningsdataavskäring och kontextfönster. Kursen jag undervisade med Matthijs Douze från Meta fokuserade på algoritmerna som gör vektorsökning möjlig över massiva mängder data. Framtiden är inte större modeller, det är smartare återvinning över mer data, i realtid.

Många företag kämpar med att gå från AI-piloter till produktionsskala. Hur hjälper Pinecone till att överbrygga detta gap, och vilka bästa metoder har du observerat från framgångsrika kunder?

Gapet beror vanligtvis på tre saker: prestanda (och kostnad) i skala, säkerhet och komplexitet. En demo som fungerar med 10 miljoner dokument fungerar inte vid 10 miljarder. Att köra något i en timme är annorlunda än att köra det 24/7 med noll tolerans för nedtid. Det är därför vi har fokuserat på vår serverless-arkitektur, företagsklassade funktioner och enkelhet.

Det viktigaste är att bara komma igång. Våra kunder är ofta förvånade över hur mycket de kan göra utan att ens prata med oss. Vi har designat det så medvetet, men är alltid där när våra kunder behöver oss också.

Du har tillbringat din karriär med att växla mellan akademi, storteknikforskning (Yahoo, AWS) och entreprenörskap. Hur har dessa olika miljöer format din approach till att bygga Pinecone?

Akademin lärde mig att tänka från första principer. Hur man abstraherar och designar bra lösningar. På Yahoo och AWS lärde jag mig hur man bygger enkla dataplattformar som ingenjörer älskar att bygga på.

Entreprenörskap är där du lär dig att den bästa tekniken bara vinner om den löser riktiga problem på ett sätt som människor kan använda.

Denna mix är avgörande för vad vi bygger. Vi bygger inte bara forskningspapper eller bygger teknologi för teknologins skull. Varje innovation måste göra utvecklares liv enklare och företagsapplikationer mer kraftfulla.

Konvergensen av sökning och AI känns som en av de största förändringarna inom datorkraft. Vart tror du att detta är på väg under de närmaste fem åren, och hur kommer Pinecones arbete att forma den framtiden?

Sökning blir konversationell och kontextuell. Om fem år kommer du inte att “söka” – du kommer att ha dialoger med AI-system som förstår inte bara din fråga utan också din avsikt, din kontext, din historia. Varje interaktion kommer att informeras av stora kunskapsbaser som uppdateras i realtid.

Vi bygger infrastrukturen för detta. Vår vektordatabas är bara början. Jag ser en framtid där varje applikation har inbäddad kontext, där AI inte hallucinerar för att den är grundad i data, där gränsen mellan att söka och veta försvinner.

Som chefsforskare kommer du att vara mer hands-on med data, modeller och prototyper. Vilka områden av forskning är du personligen mest entusiastisk över att dyka in i just nu?

Oh, var ska jag börja? På kort till medellång sikt dyker jag djupare in i effektivitet och enkelhet. Kan vi göra vektorsökning 10 gånger snabbare samtidigt som vi gör det 10 gånger billigare? Kan vi göra våra API:er ännu enklare än de är idag? Detta är svåra problem.

På lång sikt är jag besatt av skärningspunkten mellan återvinning och resonemang. Hur bygger man system som inte bara hittar relevanta fakta utan förstår relationerna mellan dem? Och sedan använder den kontexten för att skapa kunnig AI och mer kraftfulla agenter.

Slutligen, på en personlig nivå: att ta ett steg tillbaka från VD-rollen, vad exciterar dig mest över denna övergång, och vilka genombrott hoppas du låsa upp i Pinecones nästa skede?

Jag är lyckligast när jag är djupt i koden, arbetar med vårt forskningsteam, har dessa “wow, detta fungerar verkligen!”-ögonblick klockan 02.00.

Min dröm? Att göra återvinning så bra att den blir osynlig. Där utvecklare kan bygga kontextuella applikationer utan att tänka på inbäddningar eller index eller något annat, och det bara fungerar.

Vi är i detta otroliga ögonblick där AI och data konvergerar. Potentialen är obegränsad och jag får tillbringa mina dagar med att göra den framtiden verklighet nu.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Pinecone.