Dr. Ram Sriharsha, VP of Engineering at Pinecone – Interview Serie

Dr. Ram Sriharsha, er VP of Engineering og R&D hos Pinecone.

Før han kom til Pinecone, havde Ram VP-roller hos Yahoo, Databricks og Splunk. Hos Yahoo var han både principal software engineer og research scientist; hos Databricks var han produkt- og teknologi-leder for den unified analytics-platform for genomics; og i hans tre år hos Splunk, havde han flere roller, herunder Sr Principal Scientist, VP Engineering og Distinguished Engineer.

Pinecone er en fuldt administreret vektor-database, der gør det let at tilføje vektor-søgning til produktionsapplikationer. Den kombinerer vektor-søgebiblioteker, funktioner som f.eks. filtrering og distribueret infrastruktur for at give høj ydelse og pålidelighed i enhver skala.

Hvad var det, der oprindeligt tiltrak dig til maskinlæring?

Høj-dimensionel statistik, læringsteori og emner som disse var det, der tiltrak mig til maskinlæring. De er matematisk veldefinerede, kan forstås og har nogle grundlæggende indsigt i, hvad læring betyder, og hvordan man designer algoritmer, der kan lære effektivt.

Tidligere var du Vice President of Engineering hos Splunk, en data-platform, der hjælper med at omdanne data til handling for Observability, IT, Security og mere. Hvad var nogle af dine vigtigste erfaringer fra denne oplevelse?

Jeg havde ikke realiseret, før jeg kom til Splunk, hvor diverse brugsændelser er i enterprise-søgning: folk bruger Splunk til log-analyse, observability og security-analyse blandt mange andre brugsændelser. Og hvad der er fælles for mange af disse brugsændelser, er idéen om at detektere lignende begivenheder eller meget ulige (eller anomale) begivenheder i ustruktureret data. Dette viser sig at være et hårdt problem, og traditionelle metoder til søgning gennem sådan data er ikke meget skalerbare. Under min tid hos Splunk iværksatte jeg forskning omkring disse områder om, hvordan vi kunne bruge maskinlæring (og dyb læring) til log-mining, security-analyse osv. Gennem dette arbejde kom jeg til at realisere, at vektor-indlejring og vektor-søgning ville blive en grundlæggende primitiv for nye tilgange til disse domæner.

Kunne du beskrive for os, hvad vektor-søgning er?

I traditionel søgning (også kendt som nøgleords-søgning) søger du efter nøgleords-matcher mellem en forespørgsel og dokumenter (dette kan være tweets, web-dokumenter, juridiske dokumenter osv.). For at gøre dette, splitter du din forespørgsel op i dens token, henter dokumenter, der indeholder det givne token, og merger og rangerer for at bestemme de mest relevante dokumenter for en given forespørgsel.

Hovedproblemet er selvfølgelig, at for at få relevante resultater, skal din forespørgsel have nøgleords-matcher i dokumentet. Et klassisk problem med traditionel søgning er: hvis du søger efter “pop”, vil du matche “pop-musik”, men vil ikke matche “sodavand” osv., da der ikke er nøgleords-overlappende mellem “pop” og dokumenter, der indeholder “sodavand”, selvom vi ved, at “pop” betyder det samme som “sodavand” i mange områder i USA.

I vektor-søgning starter du med at konvertere både forespørgsler og dokumenter til en vektor i et høj-dimensionelt rum. Dette gøres normalt ved at sende teksten gennem en dyb læring-model som OpenAI’s LLM’er eller andre sprog-modeller. Det, du får som resultat, er en række flydende punkt-tal, der kan betragtes som en vektor i et høj-dimensionelt rum.

Kern-idéen er, at nærliggende vektorer i dette høj-dimensionelle rum også er semantisk lignende. Gå tilbage til vores eksempel på “sodavand” og “pop”, hvis modellen er trænet på det rigtige korpus, er det sandsynligt, at den vil betragte “pop” og “sodavand” som semantisk lignende, og derefter vil de tilsvarende indlejringer være tæt på hinanden i indlejring-rummet. Hvis det er tilfældet, så bliver det at hente nærliggende dokumenter for en given forespørgsel til at søge efter de nærmeste naboer af den tilsvarende forespørgsels-vektor i dette høj-dimensionelle rum.

Kunne du beskrive, hvad en vektor-database er, og hvordan den muliggør opbygning af høj-ydelses-vektor-søgeapplikationer?

En vektor-database gemmer, indekserer og administrerer disse indlejringer (eller vektorer). De primære udfordringer, en vektor-database løser, er:

• At opbygge en effektiv søge-indeks over vektorer for at besvare nærmeste nabo-forespørgsler
• At opbygge effektive hjælpe-indekser og data-strukturer for at understøtte forespørgsels-filtrering. For eksempel, hvis du ønskede at søge over kun en undermængde af korpus, skulle du være i stand til at udnytte den eksisterende søge-indeks uden at skulle genopbygge den

Støt effektive opdateringer og hold både data og søge-indeks friske, konsistente, holdbare osv.

Hvad er de forskellige typer maskinlærings-algoritmer, der bruges hos Pinecone?

Vi arbejder generelt med approximative nærmeste nabo-søge-algoritmer og udvikler nye algoritmer for effektivt at opdatere, forespørgsle og på anden vis håndtere store mængder data på en så kost-effektiv måde som muligt.

Vi arbejder også på algoritmer, der kombinerer tæt og sparsom indhentning for forbedret søge-relevans.

Hvad er nogle af de udfordringer bag opbygning af skalerbar søgning?

Selvom approximativ nærmeste nabo-søgning har været forsket i årtier, tror vi, der er meget tilbage at opdage.

I særdeleshed, når det kommer til at designe stor skala-nærmeste nabo-søgning, der er kost-effektiv, i udførelse af effektiv filtrering i stor skala, eller i design af algoritmer, der understøtter høj-volumen-opdateringer og generelt friske indekser, er alle disse udfordringer i dag.

Hvad er nogle af de forskellige typer brugsændelser, denne teknologi kan bruges til?

Spektret af brugsændelser for vektor-databaser er voksende dag for dag. Ud over dens brug i semantisk søgning, ser vi også, at den bruges til billed-søgning, billed-indhentning, generativ AI, security-analyse osv.

Hvad er din vision for fremtidens søgning?

Jeg tror, fremtidens søgning vil være AI-dreven, og jeg tror ikke, det er meget langt væk. I denne fremtid forventer jeg, at vektor-databaser vil være en grundlæggende primitiv. Vi kan lide at tænke på vektor-databaser som den lange hukommelse (eller den eksterne viden-basis) for AI.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Pinecone.