Daniel Ciołek, dyrektor ds. badań i rozwoju w InvGate – seria wywiadów

Daniel jest pasjonatem IT z ponad 15-letnim doświadczeniem w branży. Ma doktorat. doktorat z informatyki i długą karierę w badaniach technologicznych. Jego zainteresowania obejmują wiele dziedzin, takich jak sztuczna inteligencja, inżynieria oprogramowania i obliczenia dużej wydajności.

Daniel jest dyrektorem ds. badań i rozwoju w InvGate, gdzie kieruje inicjatywami badawczo-rozwojowymi. Współpracuje z zespołami ds. rozwoju produktu i biznesu przy projektowaniu, wdrażaniu i monitorowaniu strategii badawczo-rozwojowej firmy. Kiedy nie prowadzi badań, uczy.

InvGate wzmacnia pozycję organizacji, zapewniając narzędzia umożliwiające świadczenie bezproblemowych usług między działami, od IT po obiekty.

Kiedy i jak zainteresowałeś się informatyką?

Moje zainteresowanie informatyką sięga wczesnego dzieciństwa. Zawsze fascynowały mnie urządzenia elektroniczne, często odkrywając je i próbując zrozumieć, jak działają. Gdy dorastałem, ta ciekawość zaprowadziła mnie do kodowania. Wciąż pamiętam radość, jaką sprawiało mi pisanie moich pierwszych programów. Od tego momentu nie miałem wątpliwości, że chcę kontynuować karierę w informatyce.

Obecnie prowadzisz inicjatywy badawczo-rozwojowe i wdrażasz nowatorskie aplikacje generatywnej sztucznej inteligencji. Czy możesz omówić niektóre ze swoich prac?

Absolutnie. W naszym dziale badawczo-rozwojowym zajmujemy się złożonymi problemami, których przedstawienie i skuteczne rozwiązanie może być trudne. Nasza praca nie ogranicza się do generatywnych aplikacji AI, ale ostatnie postępy w tej dziedzinie stworzyły wiele możliwości, które chętnie wykorzystamy.

Jednym z naszych głównych celów w InvGate zawsze była optymalizacja użyteczności naszego oprogramowania. Robimy to poprzez monitorowanie sposobu jego wykorzystania, identyfikowanie wąskich gardeł i pilną pracę nad ich usunięciem. Jedno z takich wąskich gardeł, z którym często się spotykamy, jest związane ze zrozumieniem i wykorzystaniem języka naturalnego. Był to szczególnie trudny problem do rozwiązania bez użycia modeli wielkojęzykowych (LLM).

Jednak wraz z niedawnym pojawieniem się opłacalnych LLM udało nam się usprawnić te przypadki użycia. Nasze możliwości obejmują teraz dostarczanie rekomendacji dotyczących pisania, automatyczne tworzenie artykułów z bazy wiedzy i podsumowywanie obszernych fragmentów tekstu, a także wiele innych funkcji opartych na języku.

W InvGate Twój zespół stosuje strategię zwaną „agnostyczną sztuczną inteligencją”. Czy mógłbyś zdefiniować, co to oznacza i dlaczego jest to ważne?

Agnostyczna sztuczna inteligencja zasadniczo opiera się na elastyczności i możliwościach adaptacji. Zasadniczo nie chodzi o wiązanie się z jednym modelem lub dostawcą sztucznej inteligencji. Zamiast tego staramy się zachować otwarte opcje, wykorzystując to, co najlepsze w ofercie każdego dostawcy sztucznej inteligencji, unikając jednocześnie ryzyka zamknięcia w jednym systemie.

Można o tym pomyśleć w ten sposób: czy powinniśmy używać GPT OpenAI, Gemini Google czy Llama-2 Meta firmy do naszych generatywnych funkcji AI? Czy powinniśmy zdecydować się na wdrożenie w chmurze z płatnością zgodnie z rzeczywistym użyciem, instancję zarządzaną czy wdrożenie na własnym serwerze? Nie są to trywialne decyzje i mogą nawet zmieniać się z biegiem czasu w miarę pojawiania się nowych modeli i wchodzenia na rynek nowych dostawców.

Podejście Agnostic AI gwarantuje, że nasz system jest zawsze gotowy do adaptacji. Nasza implementacja składa się z trzech kluczowych komponentów: interfejsu, routera i samych modeli AI. Interfejs wyodrębnia szczegóły implementacji systemu AI, ułatwiając innym częściom naszego oprogramowania interakcję z nim. Router decyduje, gdzie wysłać każde żądanie, na podstawie różnych czynników, takich jak rodzaj żądania i możliwości dostępnych modeli AI. Wreszcie modele wykonują rzeczywiste zadania AI, które mogą wymagać niestandardowych procesów wstępnego przetwarzania danych i formatowania wyników.

Czy możesz opisać aspekty metodologiczne, które kierują Twoim procesem decyzyjnym przy wyborze najodpowiedniejszych modeli sztucznej inteligencji i dostawców do konkretnych zadań?

Dla każdej nowej funkcji, którą opracowujemy, zaczynamy od stworzenia punktu odniesienia oceny. Ten benchmark ma na celu ocenę efektywności różnych modeli sztucznej inteligencji w rozwiązywaniu danego zadania. Ale nie skupiamy się tylko na wydajności, bierzemy również pod uwagę szybkość i koszt każdego modelu. Daje nam to całościowy obraz wartości każdego modelu, co pozwala nam wybrać najbardziej opłacalną opcję kierowania żądań.

Jednak nasz proces na tym się nie kończy. W szybko rozwijającej się dziedzinie sztucznej inteligencji stale pojawiają się nowe modele, a istniejące są regularnie aktualizowane. Zatem za każdym razem, gdy dostępny będzie nowy lub zaktualizowany model, ponownie przeprowadzamy ocenę porównawczą. Dzięki temu możemy porównać wydajność nowego lub zaktualizowanego modelu z wydajnością naszego obecnego wyboru. Jeśli nowy model przewyższa bieżący, aktualizujemy moduł routera, aby odzwierciedlić tę zmianę.

Jakie wyzwania wiążą się z płynnym przełączaniem między różnymi modelami sztucznej inteligencji i dostawcami?

Płynne przełączanie między różnymi modelami sztucznej inteligencji i dostawcami rzeczywiście wiąże się z szeregiem wyjątkowych wyzwań.

Po pierwsze, każdy dostawca AI wymaga danych wejściowych sformatowanych w określony sposób, a modele AI mogą inaczej reagować na te same żądania. Oznacza to, że musimy przeprowadzić optymalizację indywidualnie dla każdego modelu, co może być dość skomplikowane, biorąc pod uwagę różnorodność opcji.

Po drugie, modele AI mają różne możliwości. Na przykład niektóre modele mogą generować dane wyjściowe w formacie JSON, co jest funkcją, która okazuje się przydatna w wielu naszych wdrożeniach. Inne mogą przetwarzać duże ilości tekstu, co pozwala nam na wykorzystanie bardziej kompleksowego kontekstu w przypadku niektórych zadań. Zarządzanie tymi możliwościami w celu maksymalizacji potencjału każdego modelu jest istotną częścią naszej pracy.

Wreszcie musimy zadbać o to, aby odpowiedzi generowane przez sztuczną inteligencję były bezpieczne w użyciu. Modele generatywne AI mogą czasami powodować „halucynacje” lub generować odpowiedzi, które są fałszywe, wyrwane z kontekstu, a nawet potencjalnie szkodliwe. Aby temu zaradzić, wdrażamy rygorystyczne filtry oczyszczające po przetwarzaniu, aby wykrywać i odfiltrowywać niewłaściwe odpowiedzi.

W jaki sposób interfejs Twojego agnostycznego systemu sztucznej inteligencji jest zaprojektowany, aby skutecznie wyodrębniać złożoność leżących u jego podstaw technologii sztucznej inteligencji i zapewniać interakcje przyjazne dla użytkownika?

Projekt naszego interfejsu jest efektem współpracy zespołów badawczo-rozwojowych i inżynieryjnych. Pracujemy indywidualnie, określając wymagania i dostępne dane dla każdej funkcji. Następnie projektujemy API, które płynnie integruje się z produktem, wdrażając je w naszym wewnętrznym AI-Service. Dzięki temu zespoły inżynieryjne mogą skoncentrować się na logice biznesowej, podczas gdy nasza usługa AI zajmuje się złożonością współpracy z różnymi dostawcami sztucznej inteligencji.

Proces ten nie opiera się na najnowocześniejszych badaniach, ale na zastosowaniu sprawdzonych praktyk inżynierii oprogramowania.

Biorąc pod uwagę działalność globalną, jak InvGate radzi sobie z wyzwaniem, jakim jest dostępność regionalna i zgodność z lokalnymi przepisami dotyczącymi danych?

Zapewnienie regionalnej dostępności i zgodności z lokalnymi przepisami dotyczącymi danych jest kluczową częścią naszej działalności w InvGate. Starannie wybieramy dostawców sztucznej inteligencji, którzy mogą nie tylko działać na dużą skalę, ale także utrzymywać najwyższe standardy bezpieczeństwa i przestrzegać przepisów regionalnych.

Na przykład bierzemy pod uwagę wyłącznie dostawców, którzy przestrzegają przepisów takich jak Ogólne rozporządzenie o ochronie danych (RODO) w UE. Dzięki temu możemy bezpiecznie wdrażać nasze usługi w różnych regionach, mając pewność, że działamy w ramach lokalnych ram prawnych.

Główni dostawcy usług w chmurze, tacy jak AWS, Azure i Google Cloud, spełniają te wymagania i oferują szeroki zakres funkcjonalności AI, co czyni ich odpowiednimi partnerami dla naszych globalnych operacji. Ponadto stale monitorujemy zmiany w lokalnych przepisach dotyczących danych, aby zapewnić ciągłą zgodność, dostosowując nasze praktyki w razie potrzeby.

Jak ewoluowało podejście InvGate do tworzenia rozwiązań IT w ciągu ostatniej dekady, szczególnie wraz z integracją Generative AI?

W ciągu ostatniej dekady podejście InvGate do tworzenia rozwiązań IT znacząco ewoluowało. Rozszerzyliśmy naszą bazę funkcji o zaawansowane możliwości, takie jak zautomatyzowane przepływy pracy, wykrywanie urządzeń i baza danych zarządzania konfiguracją (CMDB). Funkcje te znacznie uprościły obsługę IT naszych użytkowników.

Niedawno zaczęliśmy integrować GenAI z naszymi produktami. Stało się to możliwe dzięki niedawnym postępom wśród dostawców LLM, którzy zaczęli oferować opłacalne rozwiązania. Integracja GenAI pozwoliła nam ulepszyć nasze produkty dzięki wsparciu opartemu na sztucznej inteligencji, dzięki czemu nasze rozwiązania są bardziej wydajne i przyjazne dla użytkownika.

Chociaż jest to jeszcze początek, przewidujemy, że sztuczna inteligencja stanie się wszechobecnym narzędziem w operacjach IT. W związku z tym planujemy dalszy rozwój naszych produktów poprzez dalszą integrację technologii AI.

Czy możesz wyjaśnić, w jaki sposób generatywna sztuczna inteligencja w AI Hub zwiększa szybkość i jakość reakcji na typowe incydenty IT?

Generatywna sztuczna inteligencja w naszym AI Hub znacznie zwiększa zarówno szybkość, jak i jakość reakcji na typowe incydenty IT. Robi to poprzez wieloetapowy proces:

Pierwszy kontakt: Gdy użytkownik napotka problem, może otworzyć czat z naszym wirtualnym agentem (VA) opartym na sztucznej inteligencji i opisać problem. VA samodzielnie przeszukuje firmową bazę wiedzy (KB) i publiczną bazę danych zawierającą przewodniki dotyczące rozwiązywania problemów IT, udzielając wskazówek w sposób konwersacyjny. Często rozwiązuje to problem szybko i skutecznie.

Tworzenie biletów: Jeśli problem jest bardziej złożony, VA może utworzyć zgłoszenie, automatycznie wyodrębniając istotne informacje z rozmowy.

Przydział biletów: System przydziela zgłoszenie agentowi pomocy technicznej na podstawie kategorii zgłoszenia, priorytetu i doświadczenia agenta z podobnymi problemami.

Interakcja agenta: Agent może skontaktować się z użytkownikiem w celu uzyskania dodatkowych informacji lub powiadomienia o rozwiązaniu problemu. Interakcja jest wzmocniona przez sztuczną inteligencję, która zapewnia pisanie zaleceń w celu poprawy komunikacji.

Eskalacja: Jeśli problem wymaga eskalacji, funkcje automatycznego podsumowania pomagają menedżerom szybko zrozumieć problem.

Analiza pośmiertna: Po zamknięciu biletu sztuczna inteligencja przeprowadza analizę pierwotnej przyczyny, pomagając w analizie pośmiertnej i sporządzaniu raportów. Agent może także wykorzystać sztuczną inteligencję do napisania artykułu w bazie wiedzy, ułatwiając rozwiązywanie podobnych problemów w przyszłości.

Chociaż większość z tych funkcji już wdrożyliśmy, stale pracujemy nad dalszymi ulepszeniami i ulepszeniami.

Jakie są oczekiwane udoskonalenia w zakresie wsparcia konwersacyjnego w związku z nadchodzącymi funkcjami, takimi jak inteligentniejszy agent wirtualny MS Teams?

Obiecującą ścieżką naprzód jest rozszerzenie konwersacji na „drugiego pilota”, który nie tylko będzie w stanie odpowiadać na pytania i podejmować proste działania, ale także podejmować bardziej złożone działania w imieniu użytkowników. Może to być przydatne do poprawy możliwości samoobsługi użytkowników, a także do zapewnienia agentom dodatkowych zaawansowanych narzędzi. Ostatecznie te potężne interfejsy konwersacyjne sprawią, że sztuczna inteligencja stanie się wszechobecnym towarzyszem.

Dziękuję za wspaniały wywiad. Czytelnicy chcący dowiedzieć się więcej powinni odwiedzić nas InvGate.