Sean Mullaney, dyrektor ds. technologii w Algolia – seria wywiadów

Sean Mullaney jest dyrektorem ds. technologii w firmie Algolia, kompleksową platformę wyszukiwania i odkrywania opartą na sztucznej inteligencji.

Sean to były dyrektor Stripe i Google, posiadający doświadczenie w skalowaniu organizacji inżynieryjnych, opracowywaniu narzędzi wyszukiwania i odkrywania opartych na sztucznej inteligencji oraz globalnym opracowywaniu rozwiązań opartych na interfejsach API. W Algolii nadzoruje technologię stojącą za drugą co do wielkości wyszukiwarką po Google, z której każdego roku przeprowadza się ponad 1.5 biliona wyszukiwań. Ostatnio kierował wprowadzeniem przez firmę AlgoliaNeuralSearch – najszybszego na świecie, hiperskalowalnego i ekonomicznego interfejsu API do wyszukiwania wektorów i słów kluczowych.

Co początkowo przyciągnęło Cię do informatyki?

Kiedy miałem 10 lat, moi rodzice kupili nam pierwszy komputer do domu. Pierwszą rzeczą, którą chciałem zrobić, było wymyślenie, jak napisać tekstową grę przygodową, którą przepisałem z książki. Kilka lat później zacząłem uczyć się C++, ale projektowanie i tworzenie gier komputerowych pozostało moją wielką pasją jako nastolatka dopiero zaczynającego zgłębiać informatykę.

Spędziłeś ponad 7 lat w Google, gdzie pomagałeś budować i kierować zespołami pracującymi nad strategią, operacjami, big data i uczeniem maszynowym. Jaki był Twój ulubiony projekt i czego nauczyłeś się z tego doświadczenia?

Dowiedzieliśmy się, jak wykorzystać wszystkie posiadane duże dane na temat sposobu, w jaki reklamodawcy korzystali z naszych produktów, aby pomóc zespołom sprzedaży. Napisaliśmy opracowane niestandardowe reguły (później bardziej złożone sieci neuronowe), aby przewidzieć, z którymi klientami powinniśmy się kontaktować, z jakimi produktami i w jakich godzinach, aby zmaksymalizować prawdopodobieństwo, że czas sprzedawcy przełoży się na wzrost przychodów. Dzięki ponad milionowi reklamodawców w Google narzędzie to znacząco pomogło zespołom sprzedaży znaleźć igły w stogach siana.

W niedawnym podsumowaniu DevBit opisałeś cel Algolii jako umożliwienie użytkownikom indeksowania świata i wprawiania treści w ruch. Czy mógłbyś rozwinąć, co oznacza to stwierdzenie?

Docelowo chcemy pomóc naszym klientom uzyskać wartość z ich danych. Internet spowodował tak ogromną eksplozję treści i produktów handlu elektronicznego i chociaż rozwój ten jest z pewnością znaczącym kamieniem milowym, sama przytłaczająca ilość dostępnych obecnie informacji oznacza, że ​​znalezienie tego, czego szukasz, jest również trudniejsze niż kiedykolwiek – i staje się coraz trudniejsze – którego faktycznie szukasz jako użytkownik. Jeśli jednak wyszukiwanie i odkrywanie jest wspomagane przez sztuczną inteligencję, można uzyskać inteligentny dostęp do rosnącej listy treści i uruchomić ją, aby naprawdę pomóc użytkownikom, a nie tylko ich przytłoczyć.

We wrześniu 2022 r. firma Search.io i jej zastrzeżony flagowy produkt NeuralSearch™ zostały przejęte przez Algolia. Czy możesz omówić, czym konkretnie jest ta technologia wyszukiwania?

W skrócie, Algolia NeuralSearch integruje dopasowywanie słów kluczowych z wektorowym przetwarzaniem języka naturalnego, wspomaganym przez LLM, w jednym API – jako pierwsze w branży. Rozwiązanie wykorzystuje naszą zastrzeżoną i pierwszą w swoim rodzaju technikę Neural Hashing, która sprawia, że ​​użycie wektorów jest skalowalne i o 90% bardziej opłacalne w użyciu – jest to problem, z którym borykają się inne firmy zajmujące się sztuczną inteligencją, w tym ChatGPT. To, co naprawdę ekscytujące w tym przełomowym produkcie, to fakt, że umożliwia skalowanie prawdziwego wyszukiwania AI dla organizacji klasy korporacyjnej.

Nowa technologia umożliwia także klientom, takim jak sprzedawcy detaliczni, zrozumienie i dostarczanie treści odpowiadających zapytaniom, które zwykle są zbyt konwersacyjne, aby zapewnić dokładne lub jakiekolwiek wyniki (uważane za długoterminowe). Stanowią one 55% bieżących wyszukiwań w witrynie. Jako jedyne kompleksowe rozwiązanie wyszukiwania AI, które wykorzystuje sztuczną inteligencję do rozumienia zapytań, wyszukiwania i rankingu, NeuralSearch naprawdę rozumie te zapytania i zamienia utracone możliwości w przychody.

Jakie inne metodologie uczenia maszynowego są stosowane poza Neuralsearch™?

Włączyliśmy sztuczną inteligencję do trzech głównych funkcji – rozumienia zapytań, wyszukiwania zapytań i rankingu wyników. W Algolii nazywamy to kanapką wyszukiwania AI:

• Rozumienie zapytania: Zaawansowane rozumienie języka naturalnego (NLU) Algolii i wyszukiwanie wektorów oparte na sztucznej inteligencji zapewniają swobodne rozumienie wyrażeń w języku naturalnym i kategoryzację zapytań opartą na sztucznej inteligencji, która przygotowuje i konstruuje zapytanie do analizy. Co więcej, uczenie się adaptacyjne oparte na opiniach użytkowników pozwala na lepsze zrozumienie intencji.
• Wyszukiwanie: Następnie pobierane są najbardziej istotne wyniki i porządkowane od najbardziej do najmniej istotnych. Proces wyszukiwania łączy wyniki Neural Hashing równolegle ze słowami kluczowymi korzystającymi z tego samego indeksu, co ułatwia wyszukiwanie i ranking. Takie podejście rozwiązuje problem „zerowych wyników” i znacznie poprawia pozycje kliknięć i współczynniki klikalności. Żadna inna platforma wyszukiwania w przestrzeni wyszukiwania i odkrywania nie oferuje tak potężnych możliwości.
• Zaszeregowanie: Wreszcie, najlepsze wyniki są wypychane na sam szczyt dzięki opartej na sztucznej inteligencji funkcji Re-rankingu Algolii, która uwzględnia wiele sygnałów dołączonych do wyszukiwanego hasła (w tym dokładny wynik dopasowania słowa kluczowego, profil personalizacji kontekstowej, zaobserwowaną popularność elementów , wynik dopasowania semantycznego itp.) i uczy się osiągać maksymalną trafność.

Dodatkowo, gdy indeks się zmienia, dodawane są nowe produkty, przesyłana jest nowa treść lub gdy terminy nabierają nowego znaczenia, produkt Algolia NeuralSearch oparty na sztucznej inteligencji będzie się uczyć i dostosowywać automatycznie. Nie wymaga dodatkowego zatrudnienia ani ręcznych operacji. Automatycznie dopasuje słowa kluczowe lub pojęcia – być może mieszankę obu – w zależności od zapytania lub wyszukiwanej frazy. To naprawdę stawia wyszukiwanie na autopilocie.

Algolia niedawno zwiększyła swój bezpłatny plan z oferowania 10000 1 płyt do XNUMX miliona płyt. Jaki był za tym pomysł i jak zareagował rynek?

W szczególności zdecydowaliśmy się na ewolucję cen i opakowań Algolii, aby były jeszcze bardziej przyjazne dla programistów, wprowadzając dwa nowe plany zorientowane na programistów: plan „kompiluj”, który jest bezpłatny i plan „Rozwijaj”, który zapewnia łatwą skalowalność po przystępnych cenach. Nowy plan Build zwiększa liczbę bezpłatnych rekordów, które programista może przechowywać w Algolii, z 10,000 1 do obecnie 100 miliona rekordów. Oznacza to 50-krotny wzrost liczby bezpłatnych rekordów, które programiści mogą teraz indeksować w Algolii. Dodatkowo Algolia obniżyła koszt żądań wyszukiwania w swoim planie Grow o 60% i rekordy o XNUMX%.

Ideą naszego zaktualizowanego planu cenowego „Buduj” jest zapewnienie programistom bezpłatnego dostępu do całego zestawu funkcji platformy wyszukiwania i odkrywania opartej na sztucznej inteligencji. Plan „Rozwój”, gdy programista jest gotowy do skalowania swojej aplikacji, zapewnia programistom bardziej przyjazne dla programistów ceny oparte na użytkowaniu w przypadku ustawień produkcji na żywo.

Ważną informacją jest to, że każdy projektant, twórca lub konstruktor — niezależnie od tego, czy jest inżynierem oprogramowania dorywczym, czy w pełni zaangażowanym — może szybko i łatwo uzyskać dostęp do wszystkich narzędzi, dokumentacji, przykładowego kodu, treści edukacyjnych i możliwości integracji międzyplatformowej potrzebnych do zacznij od zarządzania swoimi danymi, tworzenia interfejsu wyszukiwania, konfigurowania analiz i nie tylko – wszystko za darmo. Co więcej, będą mieli natychmiastowy dostęp do rosnącej społeczności programistów, liczącej ponad 5 milionów konstruktorów.

Czy możesz omówić oferowane narzędzia do personalizacji wyszukiwania?

Algolia oferuje firmom kilka narzędzi do personalizacji wyszukiwania, które umożliwiają wykorzystanie danych w celu lepszego ulepszania rekomendacji, w tym różne rodzaje rekomendacji i unikalne sposoby wykorzystania danych do faktycznego generowania tych rekomendacji.

Kilka przykładów to:

• Trendy: Zaproponuj inne elementy cieszące się popularnością i powiązane z wyszukiwaniami przeprowadzanymi przez Twojego klienta.
• Oparte na ocenach: Ludzie chcą kupować produkty z najlepszymi ocenami.
• Spersonalizowane: Na podstawie tego, co kupiłeś ostatnim razem, historii przeglądania, lokalizacji i innych czynników, zalecamy te inne produkty.

Te metody oparte na danych mogą pomóc w szybkim udoskonalaniu i ulepszaniu wyników w oparciu o interakcję klientów z produktami, dzięki czemu istnieje większe prawdopodobieństwo, że polecisz produkty, które faktycznie zapewniają najlepsze efekty.

Opisałeś Algolię jako najbardziej skalowalną hybrydową wyszukiwarkę AI na świecie. W jaki sposób Algolia została zaprojektowana pod kątem tak efektywnego skalowania?

Wszystko sprowadza się do Neural Hashing. To najnowocześniejsze rozwiązanie kompresuje i znacznie przyspiesza każde zapytanie. Obliczanie zahaszowanego podobieństwa jest znacznie szybsze niż standardowe podobieństwa wektorów, a wyniki zwracane są w milisekundach.

Neural Hashing stanowi przełom we wdrażaniu odzyskiwania sztucznej inteligencji do produkcji w ogromnej liczbie różnych przypadków użycia. W połączeniu z przetwarzaniem zapytań i ponownym rankingiem opartym na sztucznej inteligencji, obiecuje uwolnić pełną moc wyszukiwania na miejscu przez sztuczną inteligencję. Przed przełomowym rozwiązaniem Algolii wyszukiwanie oparte na wektorach było zbyt kosztowne obliczeniowo, aby można je było uruchomić w środowisku produkcyjnym.

Częścią kanapki, na której chciałbym się najbardziej skupić, jest mięso: aportowanie. Powodem, dla którego mówimy, że jesteśmy jedyną prawdziwie kompleksową wyszukiwarką AI, jest fakt, że za kulisami branży wyszukiwania toczy się ciągła walka o dodanie sztucznej inteligencji do wyszukiwania. Wyszukiwanie informacji to niezwykle złożony proces, a jeszcze trudniejsze jest opanowanie wydajnego i opłacalnego wyszukiwania sztucznej inteligencji na dużą skalę. Opanowaliśmy to dzięki naszej przełomowej technice Neural Hashing. W ten sposób zasadniczo wygraliśmy poszukiwania Świętego Graala w wyszukiwarce AI.

Czy jest coś jeszcze, czym chciałbyś się podzielić na temat Algolii?

Praca w Algolii to ekscytujący czas i zawsze staramy się rozpocząć rozmowy z utalentowanymi, pełnymi pasji ludźmi, którzy chcą dołączyć do nas w naszej podróży ku tworzeniu najlepszej na świecie technologii wyszukiwania. Jeśli to brzmi podobnie, zapraszam do sprawdzenia naszych aktualnych ofert pracy na stronie https://www.algolia.com/careers/.