Daniel Ciolek, Kierownik Badań i Rozwoju w InvGate – Wywiad

Daniel to pasjonowany profesjonalista IT z ponad 15-letnim doświadczeniem w branży. Ma tytuł doktora w dziedzinie informatyki i długą karierę w badaniach technologicznych. Jego zainteresowania obejmują wiele obszarów, takich jak sztuczna inteligencja, inżynieria oprogramowania i obliczenia o wysokiej wydajności.

Daniel jest Kierownikiem Badań i Rozwoju w InvGate, gdzie kieruje inicjatywami badawczo-rozwojowymi. Współpracuje z zespołami Produktu i Rozwoju Biznesu, aby projektować, wdrażać i monitorować strategię badawczo-rozwojową firmy. Kiedy nie prowadzi badań, uczy.

InvGate umożliwia organizacjom dostarczanie bezproblemowych usług we wszystkich działach, od IT do zaplecza.

Kiedy i jak zacząłeś interesować się informatyką?

Mój zainteresowanie informatyką sięga mojego wczesnego dzieciństwa. Zawsze fascynowały mnie urządzenia elektroniczne, często próbując zrozumieć, jak one działają. Gdy dorastałem, ta ciekawość skierowała mnie ku programowaniu. Wciąż pamiętam, jak się bawiłem, pisząc swoje pierwsze programy. Od tego momentu nie było wątpliwości, że chcę podjąć karierę w informatyce.

Obecnie kierujesz inicjatywami badawczo-rozwojowymi i wdrażasz nowe aplikacje sztucznej inteligencji. Czy możesz opowiedzieć o swojej pracy?

Oczywiście. W naszym dziale badań i rozwoju zajmujemy się złożonymi problemami, które mogą być trudne do przedstawienia i rozwiązania w sposób wydajny. Nasza praca nie ogranicza się do aplikacji sztucznej inteligencji, ale ostatnie postępy w tej dziedzinie stworzyły wiele możliwości, których chcemy skorzystać.

Jednym z naszych głównych celów w InvGate zawsze było optymalizowanie użyteczności naszego oprogramowania. Robimy to, monitorując, jak jest ono używane, identyfikując wąskie gardła i starannie pracując nad ich usunięciem. Jednym z takich wąskich gardeł, których często spotykamy, jest związany z zrozumieniem i wykorzystaniem języka naturalnego. Był to szczególnie trudny problem do rozwiązania bez użycia modeli językowych (LLM).

Jednakże, dzięki niedawnym postępom w dziedzinie modeli językowych, byliśmy w stanie usprawnić te przypadki użycia. Nasze możliwości obejmują teraz zapewnianie rekomendacji pisarskich, automatyczne tworzenie artykułów w bazie wiedzy i podsumowywanie obszernych tekstów, wśród wielu innych funkcji opartych na języku.

W InvGate stosujecie strategię, którą nazywacie „agnostyczną sztuczną inteligencją”. Czy możesz wyjaśnić, co to oznacza i dlaczego jest to ważne?

Agnostyczna sztuczna inteligencja jest fundamentalnie elastyczna i adaptacyjna. Chodzi o to, aby nie związać się z jednym modelem sztucznej inteligencji lub dostawcą. Zamiast tego, staramy się zachować otwarte opcje, wykorzystując to, co najlepsze, co oferują poszczególni dostawcy sztucznej inteligencji, unikając ryzyka związanego z zablokowaniem w jednym systemie.

Można to porównać do tego: czy powinniśmy używać modelu GPT od OpenAI, Gemini od Google , czy Llama-2 od Meta do naszych funkcji sztucznej inteligencji? Czy powinniśmy wybrać wersję pay-as-you-go w chmurze, zarządzaną instancję, czy samodzielną instalację? Te decyzje nie są trywialne i mogą nawet ulegać zmianie wraz z czasem, gdy nowe modele są wydawane i nowi dostawcy wkraczają na rynek.

Podejście agnostyczne sztucznej inteligencji zapewnia, że nasz system jest zawsze gotowy do adaptacji. Nasza implementacja składa się z trzech kluczowych komponentów: interfejsu, routera i samych modeli sztucznej inteligencji. Interfejs abstrahuje szczegóły implementacyjne systemu sztucznej inteligencji, ułatwiając innym częściom naszego oprogramowania interakcję z nim. Router decyduje, gdzie wysłać każde żądanie, opierając się na różnych czynnikach, takich jak typ żądania i możliwości dostępnych modeli sztucznej inteligencji. Wreszcie, modele wykonują rzeczywiste zadania sztucznej inteligencji, które mogą wymagać niestandardowych procesów wstępnego przetwarzania danych i formatowania wyników.

Czy możesz opisać aspekty metodologiczne, które kierują procesem decyzyjnym przy wyborze najbardziej odpowiednich modeli i dostawców sztucznej inteligencji dla konkretnych zadań?

Dla każdej nowej funkcji, którą rozwijamy, tworzymy benchmark oceny. Ten benchmark jest zaprojektowany do oceny wydajności różnych modeli sztucznej inteligencji w rozwiązywaniu zadania. Nie koncentrujemy się jednak tylko na wydajności, ale także na szybkości i koszcie każdego modelu. To daje nam całościowy widok wartości każdego modelu, pozwalając nam wybrać najbardziej opłacalną opcję do routingu żądań.

Jednak nasz proces nie kończy się tam. W szybko ewoluującej dziedzinie sztucznej inteligencji nowe modele są ciągle wydawane, a istniejące są regularnie aktualizowane. Zatem, gdy nowy lub zaktualizowany model staje się dostępny, ponownie uruchamiamy nasz benchmark oceny. To pozwala nam porównać wydajność nowego lub zaktualizowanego modelu z wydajnością naszego bieżącego wyboru. Jeśli nowy model przewyższa bieżący, aktualizujemy nasz moduł routera, aby odzwierciedlić tę zmianę.

Jakie są niektóre z wyzwań związanych z bezproblemowym przełączaniem między różnymi modelami i dostawcami sztucznej inteligencji?

Bezproblemowe przełączanie między różnymi modelami i dostawcami sztucznej inteligencji rzeczywiście przedstawia zestaw unikalnych wyzwań.

Po pierwsze, każdy dostawca sztucznej inteligencji wymaga danych wejściowych sformatowanych w określony sposób, a modele sztucznej inteligencji mogą reagować inaczej na te same żądania. Oznacza to, że musimy optymalizować indywidualnie dla każdego modelu, co może być dość złożone, biorąc pod uwagę różnorodność opcji.

Po drugie, modele sztucznej inteligencji mają różne możliwości. Na przykład niektóre modele mogą generować dane wyjściowe w formacie JSON, co okazuje się przydatne w wielu naszych implementacjach. Inne mogą przetwarzać duże ilości tekstu, umożliwiając nam korzystanie z bardziej kompleksowego kontekstu dla niektórych zadań. Zarządzanie tymi możliwościami, aby maksymalnie wykorzystać potencjał każdego modelu, jest niezbędną częścią naszej pracy.

Wreszcie, musimy zapewnić, że odpowiedzi generowane przez sztuczną inteligencję są bezpieczne do użycia. Modele sztucznej inteligencji mogą czasami generować „halucynacje” lub generować odpowiedzi, które są fałszywe, poza kontekstem lub nawet potencjalnie szkodliwe. Aby temu przeciwdziałać, wdrażamy rygorystyczne filtry sanitarnych po przetworzeniu, aby wykryć i odfiltrować nieodpowiednie odpowiedzi.

Jak jest zaprojektowany interfejs w ramach Twojego systemu agnostycznej sztucznej inteligencji, aby skutecznie abstrahować złożoności podstawowych technologii sztucznej inteligencji dla przyjaznych interakcji?

Projekt interfejsu jest wspólnym wysiłkiem zespołów badań i rozwoju oraz inżynieryjnych. Pracujemy nad każdą funkcją, definiując wymagania i dostępne dane. Następnie projektujemy interfejs API, który bezproblemowo integruje się z produktem, wdrażając go w naszym wewnętrznym usłudze sztucznej inteligencji. To pozwala zespołom inżynieryjnym skupić się na logice biznesowej, podczas gdy nasza usługa sztucznej inteligencji zajmuje się złożonościami współpracy z różnymi dostawcami sztucznej inteligencji.

Ten proces nie opiera się na najnowszych badaniach, ale raczej na zastosowaniu sprawdzonych praktyk inżynierii oprogramowania.

Biorąc pod uwagę działania globalne, jak InvGate radzi sobie z wyzwaniem regionalnej dostępności i zgodności z lokalnymi przepisami dotyczącymi danych?

Zapewnienie regionalnej dostępności i zgodności z lokalnymi przepisami dotyczącymi danych jest kluczową częścią naszych operacji w InvGate. Ostrożnie wybieramy dostawców sztucznej inteligencji, którzy nie tylko mogą działać w skali, ale także przestrzegać najwyższych standardów bezpieczeństwa i zgodności z przepisami regionalnymi.

Na przykład, bierzemy pod uwagę tylko dostawców, którzy przestrzegają przepisów, takich jak Ogólne Rozporządzenie o Ochronie Danych (RODO) w Unii Europejskiej. To zapewnia, że możemy bezpiecznie wdrożyć nasze usługi w różnych regionach, mając pewność, że działamy w ramach lokalnych przepisów.

Główni dostawcy chmury, tacy jak AWS, Azure i Google Cloud, spełniają te wymagania i oferują szeroki zakres funkcji sztucznej inteligencji, co czyni ich odpowiednimi partnerami dla naszych globalnych operacji. Ponadto, ciągle monitorujemy zmiany w lokalnych przepisach dotyczących danych, aby zapewnić ciągłą zgodność, dostosowując nasze praktyki, gdy jest to konieczne.

Jak podejście InvGate do rozwoju rozwiązań IT ewoluowało w ciągu ostatniej dekady, szczególnie z integracją sztucznej inteligencji?

W ciągu ostatniej dekady podejście InvGate do rozwoju rozwiązań IT ewoluowało znacznie. Rozszerzyliśmy naszą bazę funkcjonalną o zaawansowane możliwości, takie jak automatyczne przepływy pracy, odkrywanie urządzeń i bazy danych konfiguracyjnych (CMDB). Te funkcje znacznie uprościły operacje IT dla naszych użytkowników.

Ostatnio zaczęliśmy integrować sztuczną inteligencję z naszymi produktami. To było możliwe dzięki niedawnym postępom w dziedzinie dostawców modeli językowych, którzy zaczęli oferować rozwiązania opłacalne. Integracja sztucznej inteligencji pozwoliła nam wzbogacić nasze produkty o wsparcie zasilane sztuczną inteligencją, czyniąc nasze rozwiązania bardziej efektywnymi i przyjaznymi dla użytkowników.

Chociaż jest to wciąż wczesne dni, przewidujemy, że sztuczna inteligencja stanie się powszechnym narzędziem w operacjach IT. W związku z tym, planujemy kontynuować ewolucję naszych produktów, integrując dalej technologie sztucznej inteligencji.

Czy możesz wyjaśnić, jak sztuczna inteligencja w AI Hub zwiększa szybkość i jakość odpowiedzi na typowe incydenty IT?

Sztuczna inteligencja w naszym AI Hub znacznie zwiększa szybkość i jakość odpowiedzi na typowe incydenty IT. Robi to poprzez wieloetapowy proces:

Początkowy Kontakt: Gdy użytkownik napotyka problem, może otworzyć czat z naszym agentem wirtualnym (VA) i opisać problem. VA samodzielnie wyszukuje w bazie wiedzy firmy i publicznej bazie przewodników rozwiązywania problemów IT, zapewniając wskazówki w sposób konwersacyjny. To często rozwiązuje problem szybko i efektywnie.

Utworzenie Biletu: Jeśli problem jest bardziej złożony, VA może utworzyć bilet, automatycznie wyodrębniając istotne informacje z rozmowy.

Przypisanie Biletu: System przypisuje bilet do agenta wsparcia, opierając się na kategorii biletu, priorytecie i doświadczeniu agenta w podobnych sprawach.

Interakcja z Agentem: Agent może skontaktować się z użytkownikiem w celu uzyskania dodatkowych informacji lub powiadomić go, że problem został rozwiązany. Interakcja jest wzmocniona sztuczną inteligencją, zapewniając rekomendacje pisarskie, aby poprawić komunikację.

Escalacja: Jeśli problem wymaga eskalacji, automatyczne funkcje podsumowywania pomagają menedżerom szybko zrozumieć problem.

Analiza Postmortem: Po zamknięciu biletu, sztuczna inteligencja wykonuje analizę przyczynową, ułatwiając analizę postmortem i raporty. Agent może również użyć sztucznej inteligencji do napisania artykułu w bazie wiedzy, ułatwiając rozwiązanie podobnych problemów w przyszłości.

Chociaż już wdrożyliśmy większość tych funkcji, ciągle pracujemy nad dalszymi udoskonaleniami.

Z nadchodzącymi funkcjami, takimi jak inteligentniejszy wirtualny agent MS Teams, jakie są oczekiwane ulepszenia w doświadczeniach wsparcia konwersacyjnego?

Jedną z obiecujących ścieżek do przodu jest rozszerzenie doświadczenia konwersacyjnego w „kopilot”, nie tylko zdolny do odpowiedzi na pytania i podejmowania prostych działań, ale także do podejmowania bardziej złożonych działań w imieniu użytkowników. To mogłoby być przydatne do poprawy zdolności samoopieki użytkowników, a także do zapewnienia dodatkowych potężnych narzędzi agentom. Ostatecznie, te potężne interfejsy konwersacyjne sprawią, że sztuczna inteligencja stanie się powszechnym towarzyszem.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić InvGate.