Sean Mullaney, Chief Technology Officer bij Algolia – Interviewreeks

Sean Mullaney is de Chief Technology Officer bij Algolia, een end-to-end, AI-gepowered zoek- en ontdekkingsplatform.

Sean is een voormalig Stripe- en Google (GOOGL ) -executive met een achtergrond in het schalen van engineeringorganisaties, het ontwikkelen van AI-gepowered zoek- en ontdekkingsgereedschap en het wereldwijd groeien van API-gebaseerde oplossingen. Bij Algolia is hij verantwoordelijk voor de technologie achter de op één na grootste zoekmachine na Google, die jaarlijks voor meer dan 1,5 biljoen zoekopdrachten wordt gebruikt. Onlangs leidde hij de lancering van AlgoliaNeuralSearch – ‘s werelds snelste, hyper-schaalbare en kosteneffectieve vector- en trefwoordzoek-API.

Wat trok je aanvankelijk aan tot informatica?

Toen ik 10 jaar oud was, kochten mijn ouders onze eerste computer voor thuis. Het eerste wat ik wilde doen, was leren hoe ik een tekstavontuurgame kon schrijven die ik uit een boek kopieerde. Een paar jaar later begon ik C++ te leren, maar het ontwerpen en bouwen van computerspellen bleef een grote passie van me als tiener die net informatica begon te verkennen.

Je hebt meer dan 7 jaar bij Google gewerkt, waar je hebt geholpen om teams te bouwen en te leiden die werkten aan strategie, operaties, big data en machine learning. Wat was je favoriete project en wat heb je van deze ervaring geleerd?

We hebben ontdekt hoe we alle big data die we hadden over hoe adverteerders onze producten gebruikten, konden gebruiken om de verkoopsteams te helpen. We hebben aangepaste regels ontwikkeld (later meer complexe neurale netwerken) om te voorspellen welke klanten we met welke producten op welke momenten moesten benaderen om de kans op omzet te maximaliseren. Met meer dan 1 miljoen adverteerders op Google, hielp dit gereedschap de verkoopsteams aanzienlijk om de spelden in de hooiberg te vinden.

In een recente DevBit-samenvatting beschreef je de doelstelling van Algolia als het mogelijk maken voor gebruikers om de wereld te indexeren en inhoud in beweging te zetten. Kun je uitleggen wat deze verklaring betekent?

Uiteindelijk willen we onze klanten helpen om waarde te halen uit hun data. Het internet heeft een enorme explosie van inhoud en e-commerceproducten teweeggebracht en, hoewel deze ontwikkeling zeker een belangrijke mijlpaal is, betekent de overweldigende hoeveelheid informatie die nu beschikbaar is dat het moeilijker is dan ooit – en steeds moeilijker wordt – om te vinden wat je als gebruiker echt zoekt. Echter, wanneer zoek- en ontdekkingsfunctionaliteit wordt aangedreven door AI, kan de groeiende lijst met inhoud op intelligente wijze worden benaderd en in beweging worden gezet om gebruikers echt te helpen, in plaats van ze te overweldigen.

In september 2022 werd Search.io en zijn eigendomsflagshipsproduct NeuralSearch™ overgenomen door Algolia, kun je discussiëren over wat deze zoektechnologie specifiek is?

In een notendop combineert Algolia NeuralSearch trefwoordovereenkomst met vectorgebaseerde natuurlijke taalverwerking, aangedreven door LLM’s, in één API – een primeur in de industrie. De oplossing omvat onze eigendoms- en eerste-in-het-soort Neural Hashing-techniek die het gebruik van vectoren schaalbaar en 90% goedkoper maakt – een probleem dat andere AI-bedrijven, waaronder ChatGPT, tegenkomen. Wat echt spannend is aan dit doorbraakproduct, is dat het echte AI-zoekmogelijkheden schaalbaar maakt voor ondernemingsklasseorganisaties.

De nieuwe technologie stelt klanten, zoals retailers, ook in staat om inhoud te begrijpen en te leveren die overeenkomt met queries die normaal gesproken te conversational zijn om nauwkeurige of enige resultaten te leveren (gezien als long-tail). Deze maken 55% van de huidige sitezoekopdrachten uit. Als enige end-to-end AI-zoekoplossing die AI toepast op querybegrip, ophalen en rangschikking van resultaten, begrijpt NeuralSearch deze queries echt en zet gemiste kansen om in omzet.

Buiten Neuralsearch™ om, welke andere machine learning-methodologieën worden gebruikt?

We hebben AI toegepast op drie primaire functies – querybegrip, query-ophalen en rangschikking van resultaten. We noemen dit bij Algolia de AI-zoeksandwich:

• Querybegrip: Algolia’s geavanceerde natuurlijke taalbegrip (NLU) en AI-gepowered vectorzoek bieden vrije natuurlijke taaluitdrukking en AI-gepowered querycategorisatie die een query voorbereidt en structureert voor analyse. Bovendien fine-tune Adaptive Learning op basis van gebruikersfeedback het begrip van intentie.
• Ophalen: De meest relevante resultaten worden vervolgens opgehaald en gerangschikt van meest tot minst relevant. Het ophaalproces combineert de Neural Hashing-resultaten in parallel met trefwoorden met behulp van dezelfde index voor eenvoudige ophaling en rangschikking. Deze aanpak lost het ‘null resultaten’-probleem op en verbetert aanzienlijk de klikposities en klikfrequenties. Geen enkel ander zoekplatform in de zoek- en ontdekkingsruimte biedt deze krachtige functionaliteit.
• Rangschikking: Tenslotte worden de beste resultaten naar de top geduwd door Algolia’s AI-gepowered Re-rangschikking, die rekening houdt met de vele signalen die zijn gekoppeld aan de zoekquery (inclusief de exacte trefwoordovereenkomstscore, het contextuele personalisatieprofiel, de waargenomen populariteit van items, de semantische overeenkomstscore, enz.) en leert om de maximale relevantie te bereiken.

Bovendien zal het AI-gepowered Algolia NeuralSearch-product leren en zich aanpassen naarmate de index verandert, nieuwe producten worden toegevoegd, nieuwe inhoud wordt geüpload of termen een nieuwe betekenis krijgen. Het vereist geen extra personeel of handmatige bewerkingen. Het zal automatisch trefwoorden of concepten – mogelijk een combinatie van beide – overeenkomen, afhankelijk van de query of zoekwoord. Dit zet zoekfuncties echt op autopilot.

Algolia heeft onlangs het gratis abonnement uitgebreid van 10.000 records naar 1 miljoen records, wat was de gedachte achter deze beslissing en hoe heeft de markt hierop gereageerd?

We hebben specifiek gekozen om de prijzen en pakketten van Algolia te wijzigen om nog meer ontwikkelaarsvriendelijk te zijn met de introductie van twee nieuwe ontwikkelaarsgerichte abonnementen: een “build”-abonnement dat gratis is en een “Grow”-abonnement dat eenvoudige schaalbaarheid biedt tegen betaalbare prijzen. Het nieuwe Build-abonnement verhoogt het aantal gratis records dat een ontwikkelaar in Algolia kan opslaan van 10.000 naar nu 1 miljoen records. Dit vertegenwoordigt een verhoging van 100 keer het aantal gratis records dat ontwikkelaars nu in Algolia kunnen indexeren. Bovendien heeft Algolia de kosten van zoekopdrachten in het Grow-abonnement met 50% verlaagd en records met 60%.

Het idee achter ons bijgewerkte “Build”-prijsplan is om ontwikkelaars gratis toegang te bieden tot de volledige set functionaliteiten in het AI-gepowered zoek- en ontdekkingsplatform. Het “Grow”-abonnement, voor wanneer een ontwikkelaar zijn applicatie wil schalen, biedt ontwikkelaars een gebruiksvriendelijke, op basis van gebruik gebaseerde prijsstelling voor live productieomgevingen.

Een belangrijke opmerking hier is dat elke ontwerper, maker of bouwer – of het nu een occasionele of volledig toegewijde software-ingenieur is – snel en eenvoudig toegang kan krijgen tot alle tools, documentatie, voorbeeldcode, educatief materiaal en cross-platformintegratiefunctionaliteiten die nodig zijn om te beginnen met het beheren van hun data, het bouwen van een zoekinterface, het configureren van analytics en meer – allemaal gratis. Bovendien hebben ze onmiddellijke toegang tot een groeiende ontwikkelaarsgemeenschap van meer dan 5 miljoen bouwers.

Kun je discussiëren over de zoekpersonalisatie-instrumenten die worden aangeboden?

Algolia biedt verschillende zoekpersonalisatie-instrumenten voor bedrijven om data te benutten om aanbevelingen te verbeteren, waaronder verschillende soorten aanbevelingen en unieke manieren om data te benutten om deze aanbevelingen daadwerkelijk te stimuleren.

Enkele voorbeelden zijn:

• Trending: Andere items suggereren die populair zijn en gerelateerd zijn aan de zoekopdrachten die uw klant heeft uitgevoerd.
• Op basis van beoordelingen: Mensen willen producten kopen met de beste beoordelingen.
• Persoonlijk: Op basis van wat je de vorige keer hebt gekocht, browsegeschiedenis, locatie of andere factoren, raden we deze andere producten aan.

Deze data-gedreven methoden kunnen helpen om resultaten snel te verbeteren op basis van hoe klanten interactie hebben met producten, zodat je meer kans hebt om de producten aan te bevelen die het beste omzetten.

Je hebt Algolia beschreven als de meest schaalbare hybride AI-zoekmachine ter wereld. Hoe is Algolia ontworpen om zo efficiënt te schalen?

Het komt allemaal terug op Neural Hashing. Deze baanbrekende oplossing comprimeert en versnelt elke query aanzienlijk. Het is veel sneller om gehashte overeenkomst te berekenen dan standaardvectorovereenkomsten en retourneert resultaten in milliseconden.

Neural Hashing vertegenwoordigt een doorbraak voor het in productie brengen van AI-ophaling voor een enorme variëteit aan use-cases. In combinatie met AI-gepowered queryverwerking en herschikking, belooft het de volle kracht van AI op de site-zoekfunctie los te laten. Voordat Algolia’s eigendomsdoorbraak plaatsvond, was vectorgebaseerde zoekfunctie te computationeel duur om in productie te brengen.

Het deel van de sandwich dat ik het meest wil benadrukken, is het vlees: ophalen. De reden waarom we zeggen dat we de enige echte end-to-end AI-zoekmachine zijn, is omdat er een constante strijd achter de schermen in de zoekindustrie is geweest om AI toe te voegen aan ophaling. Informatie-ophaling is een ontzettend complex proces en het is nog complexer om hoge prestaties, kosteneffectieve AI-ophaling op schaal te beheersen. We hebben het met onze baanbrekende Neural Hashing-techniek onder de knie gekregen. Daarmee hebben we in wezen de queeste voor de Heilige Graal van AI-zoek gewonnen.

Is er nog iets anders dat je over Algolia wilt delen?

Het is een spannende tijd om bij Algolia te werken en we zijn altijd op zoek naar gesprekken met getalenteerde, gepassioneerde mensen die ons willen vergezellen op onze reis om de beste zoektechnologie ter wereld te bouwen. Als dat bij jou past, nodig ik je uit om onze huidige vacatures te bekijken op https://www.algolia.com/careers/.