Dr. Ram Sriharsha, VP of Engineering ved Pinecone – Intervjuserie

Dr. Ram Sriharsha, er VP of Engineering and R&D hos Pinecone.

Før han begynte i Pinecone, hadde Ram VP-roller hos Yahoo, Databricks og Splunk. Hos Yahoo var han både hovedprogramvareingeniør og deretter forsker; hos Databricks var han produkt- og ingeniørleder for den enhetlige analyseplattformen for genomikk; og i sine tre år på Splunk spilte han flere roller inkludert Sr Principal Scientist, VP Engineering og Distinguished Engineer.

konglen er en fullstendig administrert vektordatabase som gjør det enkelt å legge til vektorsøk i produksjonsapplikasjoner. Den kombinerer vektorsøkebiblioteker, funksjoner som filtrering og distribuert infrastruktur for å gi høy ytelse og pålitelighet i alle skalaer.

Hva tiltrakk deg i utgangspunktet til maskinlæring?

Høydimensjonal statistikk, læringsteori og slike emner var det som tiltrakk meg til maskinlæring. De er matematisk godt definert, kan begrunnes og har noen grunnleggende innsikter å tilby om hva læring betyr, og hvordan man kan designe algoritmer som kan lære effektivt.

Tidligere var du Vice President of Engineering hos Splunk, en dataplattform som hjelper til med å gjøre data om til handling for Observability, IT, Security og mer. Hva var noen av de viktigste kildene dine fra denne opplevelsen?

Jeg hadde ikke innsett før jeg kom til Splunk hvor varierte brukstilfellene i bedriftssøk er: folk bruker Splunk for logganalyse, observerbarhet og sikkerhetsanalyse blant myriader av andre brukstilfeller. Og det som er felles for mange av disse brukstilfellene er ideen om å oppdage lignende hendelser eller svært forskjellige (eller unormale) hendelser i ustrukturerte data. Dette viser seg å være et vanskelig problem, og tradisjonelle måter å søke gjennom slike data på er ikke særlig skalerbare. I løpet av tiden min på Splunk satte jeg i gang forskning rundt disse områdene om hvordan vi kunne bruke maskinlæring (og dyp læring) for loggutvinning, sikkerhetsanalyse osv. Gjennom dette arbeidet innså jeg at vektorinnbygging og vektorsøk ville ende opp med å bli en grunnleggende primitiv for nye tilnærminger til disse domenene.

Kan du beskrive for oss hva som er vektorsøk?

I tradisjonelle søk (ellers kjent som nøkkelordsøk), ser du etter søkeordtreff mellom en spørring og dokumenter (dette kan være tweets, nettdokumenter, juridiske dokumenter, hva har du). For å gjøre dette deler du opp søket ditt i tokens, henter dokumenter som inneholder det gitte tokenet og slår sammen og rangerer for å bestemme de mest relevante dokumentene for en gitt spørring.

Hovedproblemet er selvfølgelig at for å få relevante resultater, må søket ditt ha søkeordtreff i dokumentet. Et klassisk problem med tradisjonelle søk er: hvis du søker etter "pop" vil du matche "popmusikk", men vil ikke samsvare med "brus" osv. siden det ikke er noen nøkkelordoverlapping mellom "pop" og dokumenter som inneholder "brus", selv om vi vet at i mange områder i USA betyr "pop" det samme som "brus".

I vektorsøk starter du med å konvertere både spørringer og dokumenter til en vektor i et eller annet høydimensjonalt rom. Dette gjøres vanligvis ved å sende teksten gjennom en dyp læringsmodell som OpenAIs LLM-er eller andre språkmodeller. Det du får som et resultat er en rekke flytende kommatall som kan betraktes som en vektor i et eller annet høydimensjonalt rom.

Kjerneideen er at nærliggende vektorer i dette høydimensjonale rommet også er semantisk like. Går vi tilbake til vårt eksempel på "brus" og "pop", hvis modellen er trent på riktig korpus, vil den sannsynligvis betrakte "pop" og "brus" som semantisk like, og dermed vil de tilsvarende innbyggingene være nær hverandre i innbyggingsplassen. Hvis det er tilfelle, blir det å hente nærliggende dokumenter for en gitt spørring problemet med å søke etter de nærmeste naboene til den tilsvarende spørringsvektoren i dette høydimensjonale rommet.

Kan du beskrive hva vektordatabasen er og hvordan den muliggjør bygging av høyytelses vektorsøkeapplikasjoner?

En vektordatabase lagrer, indekserer og administrerer disse innebyggingene (eller vektorene). Hovedutfordringene en vektordatabase løser er:

• Bygge en effektiv søkeindeks over vektorer for å svare på nærmeste nabospørsmål
• Bygge effektive hjelpeindekser og datastrukturer for å støtte søkefiltrering. Anta for eksempel at du bare ønsket å søke over en delmengde av korpuset, bør du kunne utnytte den eksisterende søkeindeksen uten å måtte bygge den på nytt

Støtt effektive oppdateringer og hold både dataene og søkeindeksen friske, konsistente, holdbare osv.

Hva er de forskjellige typene maskinlæringsalgoritmer som brukes hos Pinecone?

Vi jobber generelt med omtrentlige nærmeste nabosøkealgoritmer og utvikler nye algoritmer for effektiv oppdatering, spørring og ellers håndtering av store datamengder på en så kostnadseffektiv måte som mulig.

Vi jobber også med algoritmer som kombinerer tett og sparsom gjenfinning for forbedret søkerelevans.

 Hva er noen av utfordringene bak å bygge skalerbart søk?

Mens omtrentlig nærmeste nabosøk har blitt forsket på i flere tiår, tror vi det er mye igjen å avdekke.

Spesielt når det gjelder å designe søk etter nærmeste nabo i stor skala som er kostnadseffektivt, å utføre effektiv filtrering i skala, eller å utforme algoritmer som støtter høyvolumoppdateringer og generelt ferske indekser, er alle utfordrende problemer i dag.

Hva er noen av de forskjellige typene brukstilfeller som denne teknologien kan brukes til?

Spekteret av brukstilfeller for vektordatabaser vokser for hver dag. Bortsett fra bruken i semantisk søk, ser vi det også brukt i bildesøk, bildehenting, generativ AI, sikkerhetsanalyse, etc.

Hva er din visjon for fremtiden for søk?

Jeg tror fremtiden for søk vil være AI-drevet, og jeg tror ikke dette er veldig langt unna. I den fremtiden forventer jeg at vektordatabaser vil være en kjerneprimitiv. Vi liker å tenke på vektordatabaser som langtidsminnet (eller den eksterne kunnskapsbasen) til AI.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke konglen.