Edo Liberty, Założyciel i Główny Naukowiec w Pinecone – Wywiad

Edo Liberty, Założyciel i Główny Naukowiec w Pinecone, jest wiodącym ekspertem w dziedzinie dużych systemów danych i sztucznej inteligencji. Przed założeniem Pinecone – bazy danych wektorowej zbudowanej z myślą o wydajności i skali – był Dyrektorem Badań w AWS i Kierownikiem Laboratoriów AI Amazon (AMZN ), gdzie jego zespół opracował podstawowe technologie za SageMaker, OpenSearch, Kinesis i wiele innych. Wcześniej kierował laboratorium badawczym Yahoo w Nowym Jorku, rozwijając platformy i aplikacje sztucznej inteligencji w zakresie wyszukiwania, reklamy i bezpieczeństwa. Jego praca koncentruje się na algorytmach i podstawach matematycznych do obsługi ogromnych zbiorów danych, obejmujących redukcję wymiarowości, klastering, przetwarzanie strumieniowe i dużą algebra liniową.

Pinecone to w pełni zarządzana baza danych wektorowych zaprojektowana do obsługi skalowalnego i wydajnego wyszukiwania w dużych, dynamicznych zbiorach danych. Obsługuje zarówno gęste, jak i rzadkie wektory, indeksowanie w czasie rzeczywistym oraz filtrowanie oparte na metadanych, integrując się bezproblemowo z wiodącymi chmurami, modelami i frameworkami. Dzięki automatycznemu skalowaniu serwerów, zaawansowanemu bezpieczeństwu na poziomie przedsiębiorstw i standardom zgodności, takim jak SOC 2, ISO 27001, GDPR i HIPAA, Pinecone zapewnia niezawodną podstawę dla wdrożeń aplikacji sztucznej inteligencji w dużym stopniu.

Założyłeś Pinecone w 2019 roku po kierowaniu badaniami w Amazon AI Labs i budowaniu systemów takich jak SageMaker. Co skłoniło Cię do założenia Pinecone i skupienia się konkretnie na bazach danych wektorowych?

W AWS nasz zespół ML zbudował niesamowite systemy, ale gdy chodziło o pamięć, nie było sposobu, aby semantycznie wyszukiwać ogromne ilości nieustrukturyzowanych danych. Wymagało to niezwykle wyspecjalizowanych inżynierów, którzy wiedzieli, jak budować złożone rozwiązania wyszukiwania wektorowego. Wiedziałem, że jeśli byłaby możliwość, aby ludzie łatwo dostępować bogactwo semantyczne, które wektory ujmują, i łączyć je z zaawansowanymi modelami, to każdy mógłby przyspieszyć wartość sztucznej inteligencji dla siebie. Więc opuściłem AWS z celem prawdziwej transformacji, aby uczynić to tak proste, jak to tylko możliwe, aby uzyskać największą wartość z własnych nieustrukturyzowanych danych przy użyciu mocy sztucznej inteligencji.

Pinecone rozwinął się w definiującą firmę w przestrzeni baz danych wektorowych. Spoglądając wstecz, jakie były największe techniczne lub rynkowe przeszkody, które musiałeś pokonać, aby ustanowić tę nową kategorię?

Największe wyzwanie? Nikt nie wiedział, co to jest baza danych wektorowa! Musieliśmy edukować rynek na temat tego, co budowaliśmy i dlaczego było to ważne. Zapytaliśmy naszych klientów, jak oni sami to nazywają, i powiedzieli nam, że to baza danych wektorowa.

Gdy inni zaczynali to rozumieć, ludzie pytali, dlaczego nie mogą po prostu używać oprogramowania open source? I musieliśmy wyjaśniać wszystkie ograniczenia oprogramowania open source i wymiany pomiędzy skalą a wydajnością, które bylibyśmy w stanie uzyskać – i po tym wszystkim wciąż potrzebowaliby doświadczonych inżynierów, aby zbudować infrastrukturę. Dlatego zawsze byliśmy usługą zarządzaną i koncentrujemy się na doświadczeniu użytkownika. Nasz system jest niezwykle skomplikowany pod powierzchnią, ponieważ potrzebujesz tej specjalistycznej infrastruktury dla wyszukiwania podobieństwa w skali miliardów. Ale robimy to dostępnym za pomocą wywołania API, które każdy deweloper może użyć.

To oznaczało abstrahowanie całej złożoności algorytmów najbliższych sąsiadów, zarządzania indeksami i systemów rozproszonych. Deweloperzy nie chcą myśleć o parametrach HNSW, oni po prostu chcą, aby to działało.

Przeszedłeś niedawno z roli CEO na stanowisko Chief Scientist, wprowadzając Asha Ashutosh, aby poprowadzić firmę. Co skłoniło Cię do tej decyzji, i jak widzisz ewolucję swojej roli w następnym rozdziale Pinecone?

Pinecone, jako firma, jest firmą sztucznej inteligencji i firmą skupioną na badaniach. Doszliśmy do tego, gdzie jesteśmy dzisiaj, ponieważ zdefiniowaliśmy wyszukiwanie, systemy i algorytmy. I byliśmy bardzo aktywni akademicko, publikując raporty techniczne i artykuły, wygłaszając prelekcje i edukując rynek, nawet pisząc podręczniki i prowadząc kursy uniwersyteckie na temat sztucznej inteligencji i pamięci. Gdy firma rośnie, musimy sformalizować te wysiłki w ramach laboratorium badawczego, które jest oddzielone od reszty biznesu. Pomyśl o DeepMind i Google (GOOGL ) jako przykład. W przyszłości będę koncentrował swoją energię na prowadzeniu naszych badań, robieniu sztucznej inteligencji bardziej świadomej, i budowaniu następnej serii produktów kontekstowych z Pinecone.

Jednocześnie Ash będzie fantastycznym CEO i liderem dla Pinecone. Założył i skalował wiele firm infrastrukturalnych i wie, jak skutecznie operować firmą taką jak Pinecone. Jest głęboko świadomy i kreatywny w odniesieniu do naszej technologii i naszego rynku. I jest intensywnie skupiony na klientach. Ash i ja będziemy głęboko współpracować przy rozwoju firmy i naszego biznesu.

W swoim poście na blogu napisałeś o skupieniu się na „uczynieniu sztucznej inteligencji bardziej świadomą”. Czy możesz wyjaśnić, co to oznacza w praktyce, i jak technologia Pinecone jest unikalnie pozycjonowana, aby umożliwić to?

Sztuczna inteligencja bez pamięci jest jak genialna osoba z amnezją: wiele inteligencji, ale brak kontekstu. “Uczynienie sztucznej inteligencji bardziej świadomą” oznacza nadanie systemom sztucznej inteligencji możliwości dostępu, zrozumienia i wnioskowania na podstawie ogromnych ilości informacji w czasie rzeczywistym.

Włączamy aplikacje napędzane sztuczną inteligencją, aby dostarczać istotne informacje w czasie rzeczywistym, pochodzące z semantycznie zrozumianych i zorganizowanych danych, oraz zapewniając, że systemy sztucznej inteligencji nie tylko zgadują, ale są w stanie pobrać i syntetyzować wiedzę na żądanie. To skutkuje bardziej dokładnymi, poinformowanymi i aktualnymi wyjściami dla użytkowników końcowych.

Robimy to, dostarczając wszystkie komponenty i możliwości dla wysokiej jakości, dokładnego odzyskiwania końcowego w jednym miejscu, wraz z wiodącą wydajnością dla dużych zbiorów odzyskiwania.

Będąc wykładowcą “Długotrwałej pamięci w sztucznej inteligencji” na Uniwersytecie Princeton, jak widzisz relację pomiędzy bazami danych wektorowych a przyszłością modeli sztucznej inteligencji? Uważasz, że pamięć i kontekst są brakującymi składnikami dzisiejszych dużych modeli?

Zdecydowanie. LLM są maszynami dopasowującymi wzorce – genialnymi, ale fundamentalnie ograniczonymi przez ich dane szkoleniowe i okna kontekstowe. Kurs, który wykładałem z Matthijs Douze z Meta, koncentrował się na algorytmach, które umożliwiają wyszukiwanie wektorowe nad ogromnymi ilościami danych. Przyszłość nie jest większymi modelami, ale bardziej inteligentnym odzyskiwaniem nad większymi zbiorami danych w czasie rzeczywistym.

Wiele przedsiębiorstw ma trudności z przeniesieniem się z pilotów sztucznej inteligencji do wdrożeń na dużą skalę. Jak Pinecone pomaga przełamać tę lukę, i jakie najlepsze praktyki obserwowałeś u udanych klientów?

Przerwa ta zwykle sprowadza się do trzech rzeczy: wydajności (i kosztu) w skali, bezpieczeństwa i złożoności. Demo, które działa z 10 milionami dokumentów, rozpadają się przy 10 miliardach. Uruchamianie czegoś przez godzinę jest inne niż uruchamianie go 24/7 z zerową tolerancją na przestoje. Dlatego zawsze byliśmy obsesjonowani naszą architekturą serwerless, funkcjami na poziomie przedsiębiorstw i łatwością użycia.

Najważniejszą rzeczą do zrobienia jest po prostu zacząć. Nasi klienci są często zaskoczeni tym, ile mogą zrobić, nie rozmawiając nawet z nami. Zaprojektowaliśmy to specjalnie, ale zawsze tam jesteśmy, gdy nasi klienci nas potrzebują.

Spędziłeś swoją karierę, przechodząc pomiędzy środowiskami akademickimi, badawczymi (Yahoo, AWS) i przedsiębiorczymi. Jak te różne środowiska ukształtowały Twoje podejście do budowy Pinecone?

Środowisko akademickie nauczyło mnie myślenia od podstaw. Jak abstrahować i projektować wspaniałe rozwiązania. W Yahoo i AWS nauczyłem się, jak budować proste platformy danych, które inżynierom się podoba budować.

Przedsiębiorczość to miejsce, gdzie uczysz się, że najlepsza technologia wygrywa tylko wtedy, gdy rozwiązuje prawdziwe problemy w sposób, który ludzie mogą naprawdę użyć.

Te mieszanka jest kluczowa dla tego, co budujemy. Nie tylko piszemy artykuły naukowe lub budujemy technologię dla samej technologii. Każde innowacje musi sprawić, że życie deweloperów staje się łatwiejsze, a aplikacje przedsiębiorstw stają się bardziej potężne.

Łączność wyszukiwania i sztucznej inteligencji wydaje się jedną z największych zmian w informatyce. Gdzie, Twoim zdaniem, zmierza to w ciągu najbliższych pięciu lat, i jak praca Pinecone pomoże ukształtować tę przyszłość?

Wyszukiwanie staje się konwersacyjne i kontekstowe. W ciągu pięciu lat nie “wyszukujesz” – będziesz miał dialogi z systemami sztucznej inteligencji, które rozumieją nie tylko Twoje zapytanie, ale także Twoją intencję, kontekst, historię. Każda interakcja będzie informowana przez ogromne bazy wiedzy, które są aktualizowane w czasie rzeczywistym.

Budujemy infrastrukturę dla tego. Nasza baza danych wektorowa to tylko początek. Widzę przyszłość, w której każda aplikacja ma wbudowany kontekst, w której sztuczna inteligencja nie “halucynuje”, ponieważ jest zakorzeniona w danych, w której granica pomiędzy wyszukiwaniem a wiedzą znika.

Jako Chief Scientist, będziesz miał więcej do czynienia z danymi, modelami i prototypowaniem. Jakie obszary badań są Ci najbardziej interesujące w tej chwili?

Oh, gdzie nawet zacząć? W krótkim i średnim terminie, zagłębiam się w wydajność i łatwość użycia. Czy możemy uczynić wyszukiwanie wektorowe 10 razy szybszym, jednocześnie robiąc je 10 razy tańszym? Czy możemy uczynić nasze API jeszcze prostszymi niż są dzisiaj? To są trudne problemy.

W dłuższej perspektywie, jestem obsesjonowany przecięciem odzyskiwania i wnioskowania. Jak zbudować systemy, które nie tylko znajdują istotne fakty, ale także rozumieją relacje między nimi? I potem użyć tego kontekstu, aby stworzyć bardziej świadomą sztuczną inteligencję i potężniejsze agenty.

Wreszcie, na poziomie osobistym: wycofując się z roli CEO, co najbardziej cieszy Cię w tej transformacji, i jakie przełomy liczyłeś na odblokowanie w następnym etapie Pinecone?

Jestem najszczęśliwszy, gdy jestem głęboko w kodzie, pracując z naszym zespołem badawczym, mając te “wow, to naprawdę działa!” momenty o 2 nad ranem.

Mój sen? Uczynienie odzyskiwania tak dobrym, że staje się niewidocznym. Gdzie deweloperzy mogą budować aplikacje kontekstowe bez myślenia o wektorach, indeksach lub czymkolwiek innym, i po prostu działa.

Jesteśmy w tym niesamowitym momencie, w którym sztuczna inteligencja i dane się zbiegają. Potencjał jest nieograniczony, i spędzam swoje dni, robiąc tę przyszłość teraz.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą się dowiedzieć więcej, powinni odwiedzić Pinecone.