Daniel Ciolek, vedoucí výzkumu a vývoje ve společnosti InvGate – Interview Series

Daniel je vášnivý IT profesionál s více než 15 lety zkušeností v oboru. Má titul PhD. v oboru informatiky a dlouhou kariéru v technologickém výzkumu. Jeho zájmy spadají do mnoha oblastí, jako je umělá inteligence, softwarové inženýrství a vysoce výkonné výpočty.

Daniel je vedoucím výzkumu a vývoje ve společnosti InvGate, kde vede iniciativy výzkumu a vývoje. Spolupracuje s týmy Product and Business Development na návrhu, implementaci a sledování strategie výzkumu a vývoje společnosti. Když nebádá, učí.

InvGate umožňuje organizacím poskytováním nástrojů k poskytování bezproblémových služeb napříč odděleními, od IT po zařízení.

Kdy a jak jste se poprvé začal zajímat o informatiku?

Můj zájem o informatiku sahá až do raného dětství. Vždy mě fascinovala elektronická zařízení, často jsem se přistihl, jak zkoumám a snažím se pochopit, jak fungují. Jak jsem stárl, tato zvědavost mě přivedla ke kódování. Dodnes si pamatuji, jak jsem se bavil při psaní svých prvních programů. Od té chvíle už nebylo pochyb o tom, že se chci věnovat kariéře v informatice.

V současné době vedete iniciativy v oblasti výzkumu a vývoje a implementujete nové generativní aplikace umělé inteligence. Můžete probrat něco ze své práce?

Absolutně. V našem oddělení výzkumu a vývoje řešíme složité problémy, které může být náročné efektivně reprezentovat a řešit. Naše práce se neomezuje na generativní aplikace AI, ale nedávný pokrok v této oblasti vytvořil množství příležitostí, které rádi využijeme.

Jedním z našich hlavních cílů v InvGate bylo vždy optimalizovat použitelnost našeho softwaru. Děláme to tak, že sledujeme, jak se používá, identifikujeme úzká místa a pilně pracujeme na jejich odstranění. Jedna taková překážka, se kterou se často setkáváme, souvisí s porozuměním a používáním přirozeného jazyka. Toto bylo obzvláště obtížné řešit bez použití velkých jazykových modelů (LLM).

S nedávným vznikem nákladově efektivních LLM jsme však byli schopni tyto případy použití zefektivnit. Mezi naše schopnosti nyní patří poskytování doporučení pro psaní, automatické vytváření článků znalostní báze a sumarizace rozsáhlých textů a mnoho dalších jazykových funkcí.

V InvGate váš tým uplatňuje strategii, která se nazývá „agnostická AI“. Mohl byste definovat, co to znamená a proč je to důležité?

Agnostic AI je v podstatě o flexibilitě a přizpůsobivosti. V podstatě jde o to, abychom se nezavázali k jedinému modelu nebo poskytovateli umělé inteligence. Namísto toho se snažíme ponechat naše možnosti otevřené, využívat to nejlepší, co každý poskytovatel AI nabízí, a zároveň se vyhnout riziku, že budeme uzamčeni v jednom systému.

Můžete si to představit takto: měli bychom pro naše generativní funkce umělé inteligence použít GPT od OpenAI, Gemini od Googlu nebo Llama-2 od Meta? Měli bychom se rozhodnout pro placené cloudové nasazení, spravovanou instanci nebo vlastní hostované nasazení? Nejedná se o triviální rozhodnutí a mohou se dokonce v průběhu času změnit, protože jsou uváděny nové modely a noví poskytovatelé vstupují na trh.

Přístup Agnostic AI zajišťuje, že náš systém je vždy připraven se přizpůsobit. Naše implementace má tři klíčové komponenty: rozhraní, router a samotné modely AI. Rozhraní abstrahuje detaily implementace systému umělé inteligence, což ostatním částem našeho softwaru usnadňuje interakci s ním. Router rozhoduje, kam má každý požadavek odeslat, na základě různých faktorů, jako je typ požadavku a možnosti dostupných modelů AI. Nakonec modely provádějí skutečné úkoly AI, které mohou vyžadovat vlastní předběžné zpracování dat a procesy formátování výsledků.

Můžete popsat metodologické aspekty, kterými se řídí váš rozhodovací proces při výběru nejvhodnějších modelů AI a poskytovatelů pro konkrétní úkoly?

Pro každou novou funkci, kterou vyvíjíme, začínáme vytvořením hodnotícího benchmarku. Tento benchmark je navržen tak, aby vyhodnotil efektivitu různých modelů umělé inteligence při řešení daného úkolu. Nesoustředíme se ale jen na výkon, ale bereme v úvahu také rychlost a cenu každého modelu. To nám poskytuje holistický pohled na hodnotu každého modelu, což nám umožňuje vybrat si cenově nejefektivnější možnost pro směrování požadavků.

Tím však náš proces nekončí. V rychle se rozvíjející oblasti AI jsou neustále vydávány nové modely a ty stávající jsou pravidelně aktualizovány. Takže kdykoli bude k dispozici nový nebo aktualizovaný model, znovu spustíme náš hodnotící benchmark. To nám umožňuje porovnat výkon nového nebo aktualizovaného modelu s výkonem našeho aktuálního výběru. Pokud nový model překoná ten současný, aktualizujeme náš modul routeru, aby tuto změnu odrážel.

Jaké jsou některé z problémů bezproblémového přepínání mezi různými modely umělé inteligence a poskytovateli?

Plynulé přepínání mezi různými modely umělé inteligence a poskytovateli skutečně představuje řadu jedinečných výzev.

Za prvé, každý poskytovatel umělé inteligence vyžaduje vstupy naformátované specifickým způsobem a modely umělé inteligence mohou na stejné požadavky reagovat odlišně. To znamená, že musíme optimalizovat individuálně pro každý model, což může být vzhledem k rozmanitosti možností poměrně složité.

Za druhé, modely AI mají různé schopnosti. Některé modely mohou například generovat výstup ve formátu JSON, což je funkce, která se ukazuje jako užitečná v mnoha našich implementacích. Jiní mohou zpracovat velké množství textu, což nám umožňuje používat pro některé úkoly komplexnější kontext. Správa těchto schopností za účelem maximalizace potenciálu každého modelu je nezbytnou součástí naší práce.

A konečně musíme zajistit, aby reakce generované umělou inteligencí byly bezpečné. Generativní modely umělé inteligence mohou někdy produkovat „halucinace“ nebo generovat odpovědi, které jsou nepravdivé, vytržené z kontextu nebo dokonce potenciálně škodlivé. Abychom to zmírnili, zavádíme přísné sanitační filtry po zpracování, abychom detekovali a odfiltrovali nevhodné reakce.

Jak je rozhraní navrženo v rámci vašeho agnostického systému AI, aby bylo zajištěno, že efektivně abstrahuje složitosti základních technologií AI pro uživatelsky přívětivé interakce?

Návrh našeho rozhraní je výsledkem spolupráce mezi výzkumnými a vývojovými týmy a inženýrskými týmy. Pracujeme na bázi funkce po funkci, definujeme požadavky a dostupná data pro každou funkci. Poté navrhneme rozhraní API, které se hladce integruje s produktem a implementujeme jej do naší interní služby AI. To umožňuje inženýrským týmům soustředit se na obchodní logiku, zatímco naše AI-Service zvládá složitost jednání s různými poskytovateli AI.

Tento proces se nespoléhá na špičkový výzkum, ale místo toho na aplikaci osvědčených postupů softwarového inženýrství.

Vezmeme-li v úvahu globální operace, jak InvGate zvládá problém regionální dostupnosti a souladu s místními datovými předpisy?

Zajištění regionální dostupnosti a souladu s místními datovými předpisy je klíčovou součástí našich operací v InvGate. Pečlivě vybíráme poskytovatele umělé inteligence, kteří mohou fungovat nejen ve velkém, ale také dodržovat nejvyšší bezpečnostní standardy a dodržovat regionální předpisy.

Například bereme v úvahu pouze poskytovatele, kteří dodržují předpisy, jako je obecné nařízení o ochraně osobních údajů (GDPR) v EU. To zajišťuje, že můžeme bezpečně nasadit naše služby v různých regionech s důvěrou, že působíme v místním právním rámci.

Hlavní poskytovatelé cloudu, jako jsou AWS, Azure a Google Cloud, splňují tyto požadavky a nabízejí širokou škálu funkcí umělé inteligence, díky čemuž jsou vhodnými partnery pro naše globální operace. Kromě toho neustále monitorujeme změny v místních předpisech o údajích, abychom zajistili průběžnou shodu a podle potřeby upravujeme naše postupy.

Jak se za poslední desetiletí vyvinul přístup InvGate k vývoji IT řešení, zejména s integrací generativní umělé inteligence?

Během posledního desetiletí se přístup InvGate k vývoji IT řešení výrazně vyvinul. Rozšířili jsme naši základnu funkcí o pokročilé funkce, jako jsou automatizované pracovní postupy, zjišťování zařízení a Configuration Management Database (CMDB). Tyto funkce našim uživatelům značně zjednodušily provoz IT.

Nedávno jsme začali integrovat GenAI do našich produktů. To bylo umožněno díky nedávnému pokroku poskytovatelů LLM, kteří začali nabízet cenově výhodná řešení. Integrace GenAI nám umožnila vylepšit naše produkty podporou AI, díky čemuž jsou naše řešení efektivnější a uživatelsky přívětivější.

I když je to ještě brzy, předpovídáme, že AI se stane všudypřítomným nástrojem v IT operacích. Proto plánujeme pokračovat ve vývoji našich produktů další integrací technologií AI.

Můžete vysvětlit, jak generativní AI v rámci AI Hub zvyšuje rychlost a kvalitu reakcí na běžné IT incidenty?

Generativní AI v našem centru AI výrazně zvyšuje rychlost i kvalitu reakcí na běžné IT incidenty. Dělá to prostřednictvím vícekrokového procesu:

Počáteční kontakt: Když uživatel narazí na problém, může otevřít chat s naším virtuálním agentem (VA) poháněným umělou inteligencí a problém popsat. VA autonomně prohledává znalostní databázi (KB) společnosti a veřejnou databázi příruček pro odstraňování problémů IT a poskytuje pokyny konverzačním způsobem. To často řeší problém rychle a efektivně.

Vytvoření vstupenky: Pokud je problém složitější, VA může vytvořit tiket a automaticky extrahovat relevantní informace z konverzace.

Přidělování vstupenek: Systém přiřadí lístek agentovi podpory na základě kategorie lístku, priority a zkušeností agenta s podobnými problémy.

Interakce agentů: Zástupce může uživatele kontaktovat pro další informace nebo ho upozornit, že problém byl vyřešen. Interakce je vylepšena pomocí umělé inteligence, která poskytuje doporučení pro psaní pro zlepšení komunikace.

vystupňování: Pokud problém vyžaduje eskalaci, funkce automatického shrnutí pomohou manažerům rychle porozumět problému.

Posmrtná analýza: Po uzavření tiketu provede AI analýzu hlavní příčiny, která pomáhá při posmrtné analýze a zprávách. Agent může také použít AI k návrhu článku znalostní báze, což usnadní řešení podobných problémů v budoucnu.

I když jsme většinu těchto funkcí již implementovali, neustále pracujeme na dalších vylepšeních a vylepšeních.

Jaká jsou očekávaná vylepšení konverzační podpory s připravovanými funkcemi, jako je chytřejší virtuální agent MS Teams?

Jednou slibnou cestou vpřed je rozšířit konverzační zážitek do „kopilota“, schopného nejen odpovídat na otázky a provádět jednoduché akce, ale také provádět složitější akce jménem uživatelů. To by mohlo být užitečné pro zlepšení samoobslužných schopností uživatelů a také pro poskytnutí dalších výkonných nástrojů agentům. Nakonec tato výkonná konverzační rozhraní udělají z umělé inteligence všudypřítomného společníka.

Děkuji za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit InvGate.