Raj Shukla, CTO of SymphonyAI – Interview Series

Raj Shukla prowadzi mapę technologiczną i wykonanie SymphonyAI, kierując zespołem inżynierów, który buduje platformę Eureka Gen AI. Z prawie 20-letnim doświadczeniem w inżynierii i badaniach AI/ML, Shukla ma również rozległe doświadczenie w przedsiębiorstwach AI SaaS, pochodzące z jego ról przywódczych w dziale inżynierii w firmie Microsoft, gdzie jego udana 14-letnia kariera obejmowała kierowanie globalnymi organizacjami nauki i inżynierii AI na platformach Azure, Dynamics 365, MSR oraz w dziale wyszukiwania i reklam. Raj ma rozległe doświadczenie w AI/ML w dziedzinach wyszukiwania, reklam i przedsiębiorstw AI oraz zbudował kilka udanych produktów AI SaaS w dziedzinach konsumenckich i biznesowych.

SymphonyAI jest firmą przedsiębiorstw AI, skupioną na budowaniu branżowych aplikacji AI, które dostarczają natychmiastową wartość biznesową. Zamiast ogólnych modeli, oferuje rozwiązania pionowe dla handlu detalicznego, artykułów spożywczych, usług finansowych, produkcji, mediów i IT, rozwiązując wyzwania takie jak prognozowanie, zapobieganie oszustwom, optymalizacja operacyjna i analiza. Produkty te są napędzane przez platformę Eureka AI, która łączy predykcyjne, generatywne i agenty możliwości w przepływach pracy dostosowanych do każdego sektora. Założona w 2017 roku, firma rozrosła się do globalnego lidera w pionowych AI, obsługując tysiące klientów przedsiębiorstw z rozwiązaniami skalowalnymi i ukierunkowanymi na dziedzinę.

Pracowałeś na czele innowacji AI w Microsoft, Oracle i teraz SymphonyAI—co pierwotnie skłoniło cię do świata przedsiębiorstw AI, i jak twoja perspektywa ewoluowała na przestrzeni lat?

Moja podróż do przedsiębiorstw AI zaczęła się od podstawowej wiary, że firmy powinny wdrażać AI, które rozwiązują prawdziwe problemy biznesowe, a nie tworzyć AI dla samego AI. Widziałem, że ogólne, szeroko zakrojone rozwiązania AI rzadko dostarczają przełomowej wartości. W SymphonyAI zbudowaliśmy strategię firmy i kulturę na rozwijaniu AI, które rozumie specyficzne wyzwania branżowe, od wykrywania przestępstw finansowych po merchandising detaliczny ukierunkowany na klienta i wzmocnienie połączonego pracownika przemysłowego. Gotowość do przedsiębiorstwa dodaje kolejny wymiar – udane AI przedsiębiorstwa wymagają więcej niż wielka technologia, wymagają wybitnej gouvernance danych i architektury, wyrafinowanej współpracy cross-funkcyjnej i przepływów pracy, oraz pełnej przejrzystości i audytowalności.

Jakie konkretnie niedociągnięcia spotykają przedsiębiorstwa przy użyciu ogólnych, wstępnie wytrenowanych modeli, szczególnie w ściśle regulowanych sektorach, takich jak finanse czy ochrona zdrowia? 

Ogólne, wstępnie wytrenowane modele nie są przeznaczone dla środowisk o wysokim ryzyku, ściśle regulowanych, takich jak finanse, ochrona zdrowia i spożywcza. Ogólne, wstępnie wytrenowane modele napotykają krytyczne bariery, w tym potrzebę podstawowej wiedzy branżowej, aby rozwiązać specyficzne nuansy branżowe i spełnić ścisłe wymagania regulacyjne i zgodności, które różnią się w zależności od geografii. Co najważniejsze, nie mogą one dostarczyć dokładności i śledzenia, których wymagają przedsiębiorstwa, gdzie błędy mogą szkodzić konsumentom lub wywoływać naruszenia regulacyjne. Niezależnie od tego, czy jest to zgodność z regulacjami przeciwdziałania praniu brudnych pieniędzy, czy umożliwienie sklepowi szybkiego usunięcia produktów z dystrybucji i półek, technologia AI pionowa SymphonyAI jest specjalnie zaprojektowana dla branż, w których działamy, i szkolona na ontologiach tych branż, umożliwiając im podejmowanie lub automatyzację decyzji, które bezpośrednio tworzą biznesowy wpływ.

Połączenie wstępnie wytrenowanych modeli z głęboką logiką branżową jest coraz częściej postrzegane jako klucz do odblokowania zwrotu z inwestycji w przedsiębiorstwie AI—jakie są niezbędne składniki, takie jak wiedza branżowa, wyrównanie KPI i regulacyjne barierki bezpieczeństwa, które sprawiają, że ten podejście jest skuteczne? 

Połączenie wstępnie wytrenowanych modeli z głęboką logiką branżową odblokowuje wartość, tworząc systemy AI, które rozumieją kontekst biznesowy i wymagania operacyjne. Podejście to udaje się, gdy modele są uzupełnione o ontologie branżowe, wyrównane z KPI przedsiębiorstwa, aby zapewnić, że dane wyjściowe bezpośrednio służą mierzalnym celom biznesowym i są wyposażone w regulacyjne barierki bezpieczeństwa, które zapewniają niezbędne ramy zgodności i ślady audytowe. Gdy te elementy współpracują, ogólne AI przekształcają się w rozwiązania biznesowe, które napędzają mierzalne wyniki, utrzymując przy tym niezawodność i zgodność, których wymagają przedsiębiorstwa.

IBM niedawno nabył Seek AI i uruchomił Watsonx Labs w Nowym Jorku, co może sygnalizować potencjalną strategiczną zmianę w krajobrazie AI—co to wskazuje na przyszłość tendencji fuzji i inwestycyjnych w przedsiębiorstwach AI? 

Nabycie Seek AI przez IBM i uruchomienie Watsonx Labs to potwierdzenie fundamentalnej zmiany, której się spodziewaliśmy: krajobraz przedsiębiorstw AI uległ zmianie, sygnalizując, że następna fala fuzji i przejęć będzie priorytetowo traktować firmy z wstępnie wytrenowanymi modelami AI pionowymi, które przychodzą z głęboką wiedzą branżową, gouvernance i regulacyjnymi barierkami bezpieczeństwa oraz KPI ukierunkowanymi na wynik. Strategiczni nabywcy, tacy jak IBM, rozpoznają, że agenci AI skoncentrowani na danych przedsiębiorstwa dostarczają natychmiastowy zwrot z inwestycji, gdy rozumieją specyficzne przepływy pracy branżowe. Rynek konsoliduje się wokół uznania, że ogólna inteligencja wymaga specjalizacji pionowej, aby napędzać transformację przedsiębiorstwa.

W którym momencie model podstawowy ewoluuje w agenta specyficznego dla danej dziedziny—jakie architektoniczne kamienie milowe sygnalizują tę transformację? 

Model podstawowy nie dojrzewa naturalnie do agenta dziedzinowego; musi być inżyniersko przekształcony w niego. Nie ma bezpośredniej ścieżki, na której ogólny model po prostu “staje się mądrzejszy” i staje się detektywem bankowym. Transformacja następuje tylko wtedy, gdy zespoły inżynierskie przestają polegać na surowej inteligencji modelu i zaczynają budować zarządzaną architekturę wokół niego—szczególnie wstrzykując warstwę kontekstową (jak Graf Wiedzy) i warstwę orchestracji, aby zmusić model do podążania za procesem biznesowym, a nie jego własnymi tendencjami prawdopodobieństwa.

Jakie są podstawowe wyzwania w budowaniu agentywnych przepływów pracy, które są zarówno wytrzymałe, jak i specyficzne dla danej branży, i jak SymphonyAI radzi sobie z nimi? 

Podstawowymi wyzwaniami w budowaniu agentywnych przepływów pracy, które są zarówno wytrzymałe, jak i specyficzne dla danej branży, jest utrzymanie niezawodności w złożonych, wieloetapowych procesach. SymphonyAI radzi sobie z tymi wyzwaniami poprzez swoją wielowarstwową architekturę, która wbudowuje wiedzę branżową bezpośrednio w agenta, implementuje obsługę błędów z odzyskiwaniem po awarii i utrzymuje trwałe zarządzanie kontekstem w procesach przedsiębiorstwa wielosesyjnych. To umożliwia naszym agentom działać niezawodnie w środowiskach o wysokim ryzyku i ściśle regulowanych, gdzie wytrzymałość oznacza utrzymanie dokładności, zgodności i integralności operacyjnej.

SymphonyAI kładzie nacisk na solidne podstawy danych, grafy wiedzy i warstwy metadanych—dlaczego te możliwości są krytyczne dla agentów AI pionowych, i dlaczego wiele przedsiębiorstw ma trudności z ich wdrożeniem? 

Solidne podstawy danych i grafy wiedzy są niezbędne dla agentów AI pionowych, aby mieć znaczące źródła, dostarczać kontekstualizowane rekomendacje i pozostawać na bieżąco z rynkowymi, klientowskimi i procesowymi zmianami we wszystkich poziomach przedsiębiorstwa. Większość przedsiębiorstw ma trudności z wdrożeniem tych możliwości, ponieważ wymagają one znaczących inwestycji na początku w architekturę danych, specjalistyczną wiedzę ontologiczną i podstawowe zmiany w istniejących praktykach danych, których wiele organizacji uważa za organizacyjnie i technicznie trudne. To jest miejsce, w którym partner technologiczny AI z głębokim doświadczeniem i wiedzą w tej dziedzinie jest niezwykle cenny, w tym ich zdolność do wstępnego szkolenia AI na ogromnych ilościach danych dziedzinowych i źródeł w różnych realnych klientach w tej branży.

W scenariuszach rzeczywistych—takich jak wykrywanie przestępstw finansowych lub prognozowanie w handlu detalicznym—jak SymphonyAI łączy predykcyjne, generatywne i agenty AI w spójne “umiejętności”?

SymphonyAI łączy predykcyjne, generatywne i agenty AI w spójne “umiejętności”, tworząc zintegrowane przepływy pracy, w których każdy produkt AI rozwiązuje specyficzny problem biznesowy. W wykrywaniu przestępstw finansowych nasze modele predykcyjne identyfikują podejrzane wzorce transakcji, a AI generatywne tworzy szczegółowe raporty śledcze i oceny ryzyka. W tym samym czasie AI agenty orchestrują cały przepływ pracy, automatycznie eskalując przypadki, koordynując z zespołami compliance i dostosowując strategie śledcze na podstawie wyników w czasie rzeczywistym.

Kluczem jest to, że nie są to osobne narzędzia AI, ale zintegrowane możliwości w ramach agentów specyficznych dla danej dziedziny, które rozumieją kontekst biznesowy, utrzymują stan przepływu pracy i mogą bezproblemowo przechodzić między analizą predykcyjną, generowaniem treści a autonomicznym działaniem, aby dostarczyć pełne wyniki biznesowe, a nie fragmentaryczne dane wyjściowe AI.

Warniałeś, że wiele agentów AI przedsiębiorstw może potknąć się bez solidności—jakie są kluczowe cechy dobrze zaprojektowanego, wytrzymałego agenta AI przedsiębiorstwa? 

Dobrze zaprojektowani, zbudowani do kontroli agenci AI przedsiębiorstwa wymagają kilku krytycznych cech. Chociaż wiele firm szybko inwestuje w i wdraża agenty AI, aby poprawić wydajność, produktywność i innowacje, często zaniżają niezbędne prace przygotowawcze do sukcesu. Niektóre istotne aspekty, które dobrze zaprojektowani agenci muszą mieć, aby odnieść sukces, to:

• Agenci AI przedsiębiorstwa działają na danych przedsiębiorstwa, które często są rozproszone i pozbawione odpowiedniego programowego dostępu, uprawnień i kontroli dostępu. Agenci muszą być wyposażeni w te same przepustki i uprawnienia, co pracownicy.
• Agenci również muszą odzyskać się z wszystkich rodzajów awarii systemów przedsiębiorstwa, przerw sieciowych i niepewnych punktów końcowych. Warstwa orchestracji musi umożliwiać długotrwałe, trwałe, wytrzymałe przepływy pracy, czego większość popularnych orchestratorów LLM nie oferuje.
• LLM będą nieodwracalne i zawiodą w zadaniach. Odzyskiwanie po awarii, ponowne próby i odkrywanie optymalnej ścieżki muszą być kluczowymi funkcjami systemów agentywnych.

Dla CTO, którzy rozważają budowę platform AI pionowych wewnętrznie w porównaniu z partnerstwem z dostawcami niszowymi, jakie porady byś im zaoferował? 

Budowanie rozwiązań AI przedsiębiorstwa w różnych branżach, w tym handlu detalicznym/CPG, przemyśle, usługach finansowych i innych, wymaga opanowania zarówno najnowocześniej szkieł AI, jak i głębokiej wiedzy branżowej, aby osiągnąć prawdziwą wartość z rozwiązań AI przedsiębiorstwa. Nasza platforma Eureka AI pokazuje, jak źródła danych pionowych, grafy wiedzy, modele predykcyjne i agenci muszą być dostosowane do każdej branży, ale reprezentuje to lata inwestycji w badania i iterację z klientami, których większość zespołów wewnętrznych nie posiada. Dla firm i CTO, którzy chcą zainwestować w AI, radzę im wybierać rozwiązania, które dostarczają prawdziwe rezultaty od pierwszego dnia. Rozwiązania AI pionowe dostarczają te rezultaty, dostarczając użytkownikom danych, które mogą następnie wykorzystać do tworzenia wartości biznesowej.

Spójrzając w przyszłość, jak wyobrażasz sobie architektury AI przedsiębiorstwa—czy federacyjni agenci pionowi zbudowani na wspólnych modelach podstawowych staną się normą?

Nie zobaczymy tylko “federacyjnych” agentów; zobaczymy zarządzane architektury agentywne. Podczas gdy wspólne modele podstawowe zapewniają silnik rozumowania, są one podstawowo towarami. Normą dla udanych przedsiębiorstw będzie wdrożenie specjalistycznych, pionowych agentów, które nie tylko “rozmawiają” ze sobą, ale są rygorystycznie orchestrowane przez wspólną warstwę kontekstową. Jeśli masz tylko “federacyjnych” agentów zbudowanych na modelach podstawowych, otrzymujesz hałaśliwy, skłonny do halucynacji system—co nazywamy “przeciekiem rury” AI przedsiębiorstwa. Aby uczynić tę architekturę skalowalną w produkcji, potrzebujesz trzech konkretnych warstw, które idą poza proste federację:

• Kontekst (Graf Wiedzy): Agenci muszą dzielić jeden źródło prawdy, a nie tylko wymieniać prawdopodobieństwa.
• Orchestracja: Potrzebujesz “głównego architekta”, który decyduje, kiedy użyć specjalistycznego agenta i kiedy utrzymać człowieka w pętli.
• Zarządzanie: Dane wyjściowe muszą być prawnie i operacyjnie bezpieczne, zanim opuszczą system.

Dziękuję za wspaniałe wywiady, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić SymphonyAI.