Tohtori Ram Sriharsha, Pineconen teknologiajohtaja – Haastattelusarja

Tohtori Ram Sriharsha on Pineconen teknologia- ja tutkimusjohtaja.

Ennen Pineconeen liittymistään Ramilla oli johtotehtäviä Yahoossa, Databricksissä ja Splunkissa. Yahoossa hän toimi sekä pääohjelmistosuunnittelijana että tutkijana; Databricksissä hän oli yhdistetyn analytiikka-alustan tuote- ja teknologiajohtaja genomiikassa; ja kolmen vuoden aikana Splunkissa hänellä oli useita rooleja, mukaan lukien vanhempi tieteilijä, teknologiajohtaja ja erityisinsinööri.

Pinecone on täysin hallittu vektorigrafiikkatietokanta, joka tekee vektorigrafiikka-haun lisäämisen tuotantosovelluksiin helppoa. Se yhdistää vektorigrafiikkakirjastot, ominaisuuksia kuten suodattamista, ja jakelupohjaisen infrastruktuurin tarjoamaan korkean suorituskyvyn ja luotettavuuden kaikilla mittareilla.

Mikä aluksi kiinnosti sinua koneoppimisessa?

Korkean dimensionaaliset tilastot, oppimisteoria ja aiheet kuten nämä olivat se, mikä kiinnosti minua koneoppimisessa. Ne ovat matemaattisesti hyvin määriteltyjä, niistä voidaan tehdä johtopäätöksiä ja niissä on perustavanlaatuisia näkemyksiä siitä, mitä oppiminen tarkoittaa ja miten suunnitella algoritmeja, jotka voivat oppia tehokkaasti.

Aikaisemmin olit Splunkin teknologiajohtaja, data-alustana, joka auttaa muuttamaan datan toiminnaksi havainnollistamisessa, IT:ssä, turvallisuudessa ja muissa. Mitkä olivat johtopäätöksesi tästä kokemuksesta?

En ollut tajunnut, kunnes pääsin Splunkiin, kuinka moninaiset ovat käyttötapaukset yritysten haussa: ihmiset käyttävät Splunkia lokianalytiikkaan, havainnollistamiseen ja turvallisuusanalytiikkaan lukuisissa muissa käyttötarkoituksissa. Ja mikä on yhteistä monille näistä käyttötarkoituksista, on ajatus siitä, että havaitaan samankaltaisia tapahtumia tai erittäin epätyypillisiä (tai poikkeuksellisia) tapahtumia rakenteettomissa tiedoissa. Tämä osoittautuu vaikeaksi ongelman, ja perinteiset hakutavat eivät ole kovin skaalautuvia. Splunkin aikana aloin tutkia näitä aiheita siitä, miten voimme käyttää koneoppimista (ja syvää oppimista) lokien kaivamiseen, turvallisuusanalytiikkaan jne. Tämän kautta tulin tietoiseksi siitä, että vektorigrafiikka ja vektorigrafiikkahaku tulevat olemaan perusprimitiivi uusille lähestymistavoille näihin aloihin.

Voitko kuvata meille, mitä vektorigrafiikkahaku on?

Perinteisessä haussa (tunnetaan myös avainsanahaun nimellä) etsit avainsanayhdistelmiä hakukyselyssä ja asiakirjoissa (tämä voi olla twiittejä, verkkodokumentteja, lakidokumentteja jne.). Tämä tehdään jakamalla hakukyselyynsi tokeneihin, noutamalla asiakirjoja, jotka sisältävät annetun tokenin, ja yhdistämällä ja priorisoimalla määritellään hakukyselylle relevantimmat asiakirjat.

Pääongelma on tietysti se, että saat relevantteja tuloksia, hakukyselyysi on oltava avainsanayhdistelmä asiakirjassa. Klassinen ongelma perinteisessä haussa on: jos etsit “pop”-sanaa, löydät “pop-musiikin”, mutta et löydä “limonadia” jne., koska ei ole avainsanayhdistelmää “pop” ja asiakirjoissa, jotka sisältävät “limonadia”, vaikka tiedämme, että puhekielen monilla alueilla Yhdysvalloissa “pop” tarkoittaa samaa kuin “limonadi”.

Vektorigrafiikkahaussa aloitat muuttamalla sekä hakukyselyt että asiakirjat vektoreiksi jossakin korkean dimensionaalisessa avaruudessa. Tämä tehdään yleensä ohittamalla teksti syvän oppimismallin kautta, kuten OpenAI:n LLM:ien tai muiden kielimallien kautta. Saat tulokseksi joukon liukulukuja, jotka voidaan ajatella vektoreina jossakin korkean dimensionaalisessa avaruudessa.

Perusidea on, että lähellä toisiaan olevat vektorit tässä korkean dimensionaalisessa avaruudessa ovat myös semanttisesti samankaltaisia. Palatakseni esimerkkiin “limonadi” ja “pop”, jos malli on koulutettu oikeaan korpusiin, se on todennäköisesti samaa mieltä siitä, että “pop” ja “limonadi” ovat semanttisesti samankaltaisia, ja vastaavat upotukset ovat lähellä toisiaan upotusavaruudessa. Jos tämä on tapahtunut, hakeminen lähimmistä naapureista annetulle hakukyselylle muuttuu lähimmän naapureiden etsimiseksi tässä korkean dimensionaalisessa avaruudessa.

Voitko kuvata, mitä vektorigrafiikkatietokanta on ja miten se mahdollistaa korkean suorituskyvyn vektorigrafiikkahakusovellusten rakentamisen?

Vektorigrafiikkatietokanta tallentaa, indeksoi ja hallinnoi näitä upotuksia (tai vektoreita). Vektorigrafiikkatietokannan päähaasteita ovat:

• Tehokkaan hakuhakemiston rakentaminen vektoreiden ylle lähimmän naapureiden kyselyjen vastaamiseksi
• Tehokkaiden apuindeksien ja tietorakenteiden rakentaminen kyselysuodatuksen tukemiseksi. Esimerkiksi, jos haluat hakea vain korpuksen alijoukkoa, sinun pitäisi pystyä hyödyntämään olemassa olevaa hakuhakemistoa ilman, että sinun tarvitsee rakentaa sitä uudelleen

Tukea tehokkaita päivityksiä ja pitää sekä tietoja että hakuhakemistoa tuoreina, yhdenmukaisina, kestävinä jne.

Mitkä ovat erilaiset koneoppimisalgoritmit, joita käytetään Pineconessa?

Tyypillisesti työskentelemme likimääräisistä lähimmän naapureiden hakualgoritmeista ja kehitämme uusia algoritmeja suurten tietomäärien tehokkaaseen päivittämiseen, kyselyyn ja muuhun kustannustehokkaaseen tarkasteluun.

Työskentelemme myös algoritmeista, jotka yhdistävät tiheän ja harvan hakemisen parantamaan hakutuloksia.

Mitkä ovat haasteita skaalautuvan haun rakentamisessa?

Vaikka likimääräinen lähimmän naapureiden haku on ollut tutkittu vuosikymmenien ajan, uskomme, että siinä on vielä paljon selvitettävää.

Erityisesti suunniteltaessa suurten mittakaavojen lähimmän naapureiden hakua, joka on kustannustehokasta, tehokkaan suodatuksen suorittamista suuressa mittakaavassa tai suunniteltaessa algoritmeja, jotka tukevat suurta määrää päivityksiä ja yleensä tuoreita indeksejä, ovat haasteellisia ongelmia tänään.

Mitkä ovat erilaiset käyttötapaukset, joita tämä teknologia voidaan käyttää?

Vektorigrafiikkatietokantojen käyttötapausten kirjo on kasvamassa päivä päivältä. Sen käytön lisäksi semanttisessa haussa näemme sen käytettävän myös kuvahaussa, kuvan palauttamisessa, generatiivisessa tekoälyssä, turvallisuusanalytiikassa jne.

Mikä on visiosi haun tulevaisuudesta?

Uskon, että haun tulevaisuus on tekoälyvetoinen, ja en usko, että se on kovin kaukana. Tulevaisuudessa odotan, että vektorigrafiikkatietokannat tulevat olemaan perusprimitiivi. Ajattelemme vektorigrafiikkatietokantoja tekoälyn pitkäaikaisena muistina (tai ulkoisena tietopohjana).

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Pineconessa.