Dr. Ram Sriharsha, VP of Engineering at Pinecone – Interviewserie

Dr. Ram Sriharsha er VP of Engineering og R&D hos Pinecone.

Før han kom til Pinecone, havde Ram VP-roller hos Yahoo, Databricks og Splunk. Hos Yahoo var han både principal software engineer og research scientist; hos Databricks var han produkt- og ingeniørleder for det unified analytics-platform for genomics; og i hans tre år hos Splunk spillede han multiple roller, herunder Sr Principal Scientist, VP Engineering og Distinguished Engineer.

Pinecone er en fuldt administreret vektor-database, der gør det nemt at tilføje vektor-søgning til produktionsapplikationer. Den kombinerer vektor-søgningsbiblioteker, funktioner som filtrering og distribueret infrastruktur for at give høj ydelse og pålidelighed i enhver skala.

Hvad var det, der oprindeligt tiltrak dig til maskinlæring?

Statistik i høj dimension, læringsteori og emner som disse var det, der tiltrak mig til maskinlæring. De er matematisk veldefinerede, kan forstås og har nogle grundlæggende indsigt i, hvad læring indebærer, og hvordan man designer algoritmer, der kan lære effektivt.

Tidligere var du Vice President of Engineering hos Splunk, en data-platform, der hjælper med at omdanne data til handling for Observability, IT, Security og mere. Hvad var nogle af dine vigtigste erfaringer fra denne oplevelse?

Jeg havde ikke realiseret, før jeg kom til Splunk, hvor diverse brugsområderne er i enterprise-søgning: folk bruger Splunk til log-analyse, observability og security-analyse blandt mange andre brugsområder. Og hvad der er fælles for mange af disse brugsområder, er idéen om at opdage lignende begivenheder eller meget ulige (eller anomale) begivenheder i ustuktureret data. Dette viser sig at være et hårdt problem, og traditionelle metoder til søgning i sådan en data er ikke meget skalerbare. Under min tid hos Splunk iværksatte jeg forskning omkring disse områder om, hvordan vi kunne bruge maskinlæring (og dyb læring) til log-mining, security-analyse osv. Gennem dette arbejde kom jeg til at realisere, at vektor-indlejninger og vektor-søgning ville ende med at blive en grundlæggende primitiv for nye tilgange til disse domæner.

Kan du beskrive for os, hvad vektor-søgning er?

I traditionel søgning (også kendt som nøgleords-søgning) søger du efter nøgleords-matches mellem en forespørgsel og dokumenter (dette kan være tweets, webdokumenter, juridiske dokumenter osv.). For at gøre dette opdeler du din forespørgsel i dens tokens, henter dokumenter, der indeholder den givne token, og sammenligner og rangerer for at bestemme de mest relevante dokumenter for en given forespørgsel.

Hovedproblemet er selvfølgelig, at for at få relevante resultater, skal din forespørgsel have nøgleords-matches i dokumentet. Et klassisk problem med traditionel søgning er: hvis du søger efter “pop”, vil du matche “pop-musik”, men vil ikke matche “sodavand”, osv., fordi der ikke er nøgleords-overlappende mellem “pop” og dokumenter, der indeholder “sodavand”, selvom vi ved, at i mange områder i USA, “pop” betyder det samme som “sodavand”.

I vektor-søgning starter du med at konvertere både forespørgsler og dokumenter til en vektor i et højt dimensionalt rum. Dette gøres normalt ved at sende teksten gennem en dyb læring-model som OpenAI’s LLM’er eller andre sprogmodeller. Hvad du får som resultat er en array af flydende punkt-numre, der kan betragtes som en vektor i et højt dimensionalt rum.

Den grundlæggende idé er, at nærliggende vektorer i dette højt dimensionale rum også er semantisk lignende. Gå tilbage til vores eksempel på “sodavand” og “pop”, hvis modellen er trænet på det rigtige korpus, er det sandsynligt, at den vil betragte “pop” og “sodavand” som semantisk lignende, og derfor vil de tilsvarende indlejninger være tæt på hinanden i indlejnings-rummet. Hvis det er tilfældet, bliver det at hente nærliggende dokumenter for en given forespørgsel problemet med at søge efter de nærmeste naboer af den tilsvarende forespørgsels-vektor i dette højt dimensionale rum.

Kan du beskrive, hvad en vektor-database er, og hvordan den muliggør opbygning af høj-ydelses-vektor-søgningsapplikationer?

En vektor-database gemmer, indexerer og administrerer disse indlejninger (eller vektorer). De primære udfordringer, en vektor-database løser, er:

• At opbygge en effektiv søgningsindeks over vektorer for at besvare nærmeste nabo-forespørgsler
• At opbygge effektive hjælpe-indekser og datastrukturer for at understøtte forespørgsels-filtrering. For eksempel, hvis du ønsker at søge over kun en undermængde af korpusset, skal du være i stand til at udnytte den eksisterende søgningsindeks uden at skulle genopbygge den

At understøtte effektive opdateringer og holde både data og søgningsindekset friskt, konsistent, holdbart osv.

Hvad er de forskellige typer maskinlæringsalgoritmer, der bruges hos Pinecone?

Vi arbejder generelt med approximative nærmeste nabo-søgningsalgoritmer og udvikler nye algoritmer for effektivt at opdatere, forespørge og på anden måde håndtere store mængder data på en så kosteffektiv måde som muligt.

Vi arbejder også på algoritmer, der kombinerer tæt og sparsom henting for forbedret søgnings-relevans.

Hvad er nogle af udfordringerne bag opbygning af skalerbar søgning?

mens approximative nærmeste nabo-søgning har været forsket i årtier, mener vi, at der er meget mere at opdage.

I særdeleshed, når det kommer til at designe stor skala-nærmeste nabo-søgning, der er kosteffektiv, i at udføre effektiv filtrering i stor skala, eller i at designe algoritmer, der understøtter høj-volumen-opdateringer og generelt friske indekser, er alle disse udfordringer i dag.

Hvad er nogle af de forskellige typer brugsområder, som denne teknologi kan bruges til?

Spektret af brugsområder for vektor-databaser vokser dag for dag. Ud over dets brug i semantisk søgning ser vi det også blive brugt til billed-søgning, billed-henting, generativ AI, security-analyse osv.

Hvad er din vision for fremtidens søgning?

Jeg mener, at fremtidens søgning vil være AI-dreven, og jeg tror ikke, at det er meget langt væk. I den fremtid forventer jeg, at vektor-databaser vil være en grundlæggende primitiv. Vi ser vektor-databaser som den lange-term-memory (eller den eksterne viden-basis) for AI.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge Pinecone.