Shahar Azulay, CEO i współzałożyciel groundcover

Shahar Azulay, CEO i współzałożyciel groundcover to doświadczony lider w dziedzinie badań i rozwoju. Shahar posiada doświadczenie w dziedzinie bezpieczeństwa cybernetycznego i sztucznej inteligencji, pochodzące z pracy w firmach takich jak Apple, DayTwo i Cymotive Technologies. Shahar spędził wiele lat w dziale cyberbezpieczeństwa w biurze premiera Izraela i posiada trzy tytuły licencjata w dziedzinie fizyki, inżynierii elektrycznej i informatyki na Uniwersytecie Technicznym w Izraelu oraz Uniwersytecie w Tel Awiwie. Shahar stara się wykorzystywać wiedzę techniczną z tego bogatego doświadczenia i wprowadzać ją na współczesne pole bitwy w chmurze w najbardziej innowacyjnej formie, aby uczynić świat deweloperów lepszym miejscem.

groundcover to platforma obserwacyjności natywnie chmurowa, zaprojektowana w celu zapewnienia zespołom inżynierskim pełnej, rzeczywistej widoczności ich systemów bez złożoności lub kosztów tradycyjnych narzędzi monitorujących. Zbudowana na technologii eBPF, zbiera i koreluje logi, metryki, ślady i zdarzenia w środowiskach chmurowych i Kubernetes bez zmian w kodzie, umożliwiając szybszą analizę przyczyn i jaśniejszy wgląd w system. Platforma kładzie nacisk na przewidywalne ceny, elastyczną wdrożenie, które utrzymuje dane w chmurze klienta, oraz obserwację od końca do końca, obejmującą infrastrukturę, aplikacje i nowoczesne obciążenia napędzane przez sztuczną inteligencję.

Spójrzmy na Twoją podróż – od kierowania zespołami badań i rozwoju w biurze premiera Izraela do zarządzania inicjatywami związanymi z uczeniem maszynowym w Apple – jakie doświadczenia ostatecznie skłoniły Cię do założenia groundcover, i kiedy po raz pierwszy zauważyłeś lukę w obserwacji systemów sztucznej inteligencji?

Pchnięcie do założenia groundcover pochodziło z mojego czasu w Apple i DayTwo. Nawet z ogromnymi budżetami, byliśmy zmuszeni wybierać pomiędzy płaceniem fortuny za rejestrowanie wszystkiego, a próbkowaniem i leczeniem na ślepo. Wtedy szukaliśmy technologii, która by to rozwiązała. Gdy tylko natknęliśmy się na rozszerzony filtr pakietów Berkeley (eBPF), stało się jasne, że to zmieni wszystko. eBPF pozwala nam zobaczyć wszystko, co dzieje się w jądrze, bez polegania na zmianach w aplikacji. Nie mogłem zrozumieć, dlaczego narzędzia obserwacyjności nie korzystają z tego.

Jak Twoje doświadczenie w dziedzinie bezpieczeństwa cybernetycznego, systemów osadzonych i badań nad sztuczną inteligencją wpłynęło na wizję stojącą za groundcover, i jakie wczesne wyzwania musiałeś pokonać, budując firmę skupioną na obserwacji aplikacji i agenci napędzanych przez sztuczną inteligencję?

Moje doświadczenie w dziedzinie bezpieczeństwa cybernetycznego ukształtowało DNA firmy. W świecie wywiadu zakłada się, że nie kontroluje się aplikacji. To podejście jest powodem, dla którego groundcover nie wymaga instrumentacji. Wiem z doświadczenia, że prośba do deweloperów o modyfikację kodu jest najszybszym sposobem na zablokowanie przyjęcia.

Jak definiujesz obserwację modeli językowych, i co ją różni od tradycyjnego monitorowania lub monitorowania sztucznej inteligencji?

Obserwacja modeli językowych to praktyka instrumentacji i monitorowania systemów produkcyjnych, które wykorzystują duże modele językowe, tak aby można było przechwytywać pełny kontekst każdej inferencji: podpowiedź, kontekst, uzupełnienie, użycie tokenów, opóźnienia, błędy, metadane modelu i idealnie opinie zwrotne lub sygnały jakości.

Jakie wyzwania wprowadzają aplikacje napędzane przez modele językowe, które czynią tradycyjne narzędzia obserwacyjności niewystarczające?

Aplikacje napędzane przez modele językowe wprowadzają kilka wyzwań, które ujawniają ograniczenia tradycyjnych narzędzi:

• Złożone, wieloetapowe przepływy pracy – Przeszliśmy od prostych przepływów “wywołaj model, otrzymaj odpowiedź” do agentów wieloetapowych, potoków wieloetapowych, generacji wzmocnionej odzyskiwaniem i użyciem narzędzi. Cicha awaria w którymkolwiek z tych kroków, takich jak odzyskiwanie, wzbogacanie, osadzanie lub wywołanie modelu, może przerwać całe doświadczenie. Tradycyjne monitorowanie zwykle nie zapewnia pełnego, śladowego widoku tych łańcuchów z podpowiedziami i odpowiedziami włączonymi.
• Szybko ewoluujące stosy sztucznej inteligencji – Zespoły dodają nowe modele, narzędzia i dostawców w tempie, jakiego nigdy wcześniej nie widzieli. W wielu firmach nikt nie może z pewnością wymienić, które modele są w produkcji w danym momencie. Klasyczna obserwację zakłada, że masz czas na instrumentację SDK, wdrożenie i staranne kuratorowanie tego, co mierzy. To po prostu nie nadąża za tempem, w jakim sztuczna inteligencja jest przyjmowana.
• Ekonomika oparta na tokenach i limity – Ceny i limity są powiązane z tokenami i długością kontekstu, które są często kontrolowane przez deweloperów, podpowiedzi lub zachowanie użytkownika, a nie przez centralne operacje. Tradycyjne narzędzia nie są zaprojektowane tak, aby pokazywać “kto spalił ile tokenów na którym modelu, w którym przepływie pracy, z jakim opóźnieniem”.
• Poprawność semantyczna zamiast binarnego powodzenia – Model językowy może zwrócić 200 i nadal hallucynować, oddalić się od Twojej podpowiedzi lub naruszyć politykę. Tradycyjne narzędzia widzą to jako sukces. Potrzebujesz obserwacji, która może ujawnić podpowiedzi i odpowiedzi, oraz dać Ci wystarczający kontekst, aby zbadać zachowanie i, z czasem, włączyć automatyczne kontrole jakości.
• Wrażliwe dane wejściowe płynące do stron trzecich – Modele językowe zapraszają użytkowników do udostępnienia bardzo wrażliwych informacji za pośrednictwem interfejsów w stylu czatu. Teraz jesteś odpowiedzialny za te dane, gdzie są przechowywane i które poddostawcy są zaangażowane. To ma poważne implikacje dla RODO, rezydencji danych i zaufania klienta.

Wszystko to oznacza, że systemy modeli językowych wymagają obserwacji, która jest świadoma sztucznej inteligencji, bogata w kontekst i znacznie mniej zależna od ręcznej instrumentacji niż narzędzia, których używają większość zespołów.