Daniel Ciolek, Vedoucí Výzkumu a Vývoje ve Společnosti InvGate – Rozhovorová Série

Daniel je vášnivý IT odborník s více než 15 lety zkušeností v oboru. Má doktorát z počítačových věd a dlouhou kariéru ve výzkumu technologií. Jeho zájmy spadají do několika oblastí, jako je umělá inteligence, softwarové inženýrství a vysokovýkonné výpočty.

Daniel je Vedoucí Výzkumu a Vývoje ve společnosti InvGate, kde řídí iniciativy výzkumu a vývoje. Pracuje spolu s týmy Produktového a Obchodního Vývoje, aby navrhl, implementoval a monitoroval strategii výzkumu a vývoje společnosti. Když není zapojen do výzkumu, učí.

InvGate poskytuje organizacím nástroje pro poskytování bezproblémových služeb napříč odděleními, od IT po Provoz.

Kdy a jak jste se poprvé začal zajímat o počítačové vědy?

Můj zájem o počítačové vědy sahá zpět do mého raného dětství. Byl jsem vždy fascinován elektronikou, často zkoumal a snažil se pochopit, jak funguje. Jak jsem rostl, tato zvědavost mě vedla k programování. Stále si pamatuji, jakou zábavu jsem měl, když jsem psal své první programy. Od té doby nebylo pochyb, že chci sledovat kariéru v počítačových vědách.

Vous vedete iniciativy výzkumu a vývoje a implementujete novou generativní umělou inteligenci. Můžete mluvit o některé z vaší práce?

Ano. V našem oddělení výzkumu a vývoje řešíme složité problémy, které mohou být obtížně reprezentovány a řešeny efektivně. Naše práce není omezena na generativní umělou inteligenci, ale recentní pokroky v tomto oboru vytvořily řadu příležitostí, které chceme využít.

Jednou z našich hlavních cílů ve společnosti InvGate je optimalizovat použitelnost našeho softwaru. To děláme monitorováním, jak je software používán, identifikací úzkých míst a pečlivou prací na odstranění těchto problémů. Jedním z takových úzkých míst, se kterým jsme se často setkali, je související s porozuměním a využitím přirozeného jazyka. Tento problém byl obtížně řešitelný bez použití velkých jazykových modelů (LLM).

Nicméně, s recentním vznikem nákladově efektivní LLM, jsme byli schopni tyto případy zjednodušit. Naše schopnosti nyní zahrnují poskytování psacích doporučení, automatické vytváření článků znalostní báze, shrnutí rozsáhlých textů a mnoho dalších jazykově orientovaných funkcí.

V společnosti InvGate aplikujete strategii nazvanou „agnostic AI“. Můžete definovat, co to znamená a proč je to důležité?

Agnostická umělá inteligence je zásadně o flexibilitě a adaptabilitě. Základní myšlenka spočívá v tom, že se nezavazujeme k jedinému modelu nebo poskytovateli umělé inteligence. Místo toho se snažíme udržet naše možnosti otevřené, využívající nejlepší nabídky každého poskytovatele umělé inteligence, zatímco se vyhýbáme riziku uzamčení do jednoho systému.

Můžete si to představit takto: měli bychom použít OpenAI GPT, Google Gemini nebo Meta Llama-2 pro naše generativní funkce umělá inteligence? Měli bychom zvolit model platby za použití, spravovaný instance nebo self-hostovaný deployment? Tyto nejsou triviální rozhodnutí a mohou se dokonce změnit v průběhu času, jak jsou vydávány nové modely a noví poskytovatelé vstupují na trh.

Agnostický přístup zajišťuje, že náš systém je vždy připraven přizpůsobit se. Naše implementace má tři klíčové komponenty: rozhraní, směrovač a samotné modely umělá inteligence. Rozhraní abstrahuje implementační detaily systému umělá inteligence, což usnadňuje interakci ostatních částí softwaru s ním. Směrovač rozhoduje, kam směrovat každou žádost na základě různých faktorů, jako je typ žádosti a schopnosti dostupných modelů umělá inteligence. Nakonec modely provádějí skutečné úkoly umělá inteligence, které mohou vyžadovat vlastní předzpracování dat a formátování výsledků.

Můžete popsat metodologické aspekty, které řídí váš rozhodovací proces při výběru nejvhodnějších modelů a poskytovatelů umělá inteligence pro konkrétní úkoly?

Pro každou novou funkci, kterou vyvíjíme, začínáme vytvořením evaluační značky. Tato značka je navržena pro hodnocení efektivity různých modelů umělá inteligence při řešení úkolu. Ale neonly se zaměřujeme na výkon, také zvažujeme rychlost a náklady každého modelu. To nám dává komplexní pohled na hodnotu každého modelu, umožňující nám zvolit nejvíce nákladově efektivní možnost pro směrování požadavků.

Nicméně, náš proces nekončí tam. V rychle se vyvíjejícím poli umělá inteligence jsou nové modely neustále vydávány a stávající modely jsou pravidelně aktualizovány. Proto, kdykoli je k dispozici nový nebo aktualizovaný model, spustíme naši evaluační značku znovu. To nám umožňuje porovnat výkon nového nebo aktualizovaného modelu s výkonem našeho současného výběru. Pokud nový model překoná současný, aktualizujeme náš modul směrovače, aby odrážel tuto změnu.

Jaké jsou některé z výzev spojených s bezproblémovým přechodem mezi různými modely a poskytovateli umělá inteligence?

Bezproblémový přechod mezi různými modely a poskytovateli umělá inteligence skutečně představuje řadu jedinečných výzev.

Za prvé, každý poskytovatel umělá inteligence vyžaduje vstupy formátované specifickým způsobem a modely umělá inteligence mohou reagovat odlišně na stejné požadavky. To znamená, že musíme optimalizovat jednotlivě pro každý model, což může být poměrně komplexní vzhledem k rozmanitosti možností.

Za druhé, modely umělá inteligence mají různé schopnosti. Některé modely mohou generovat výstup ve formátu JSON, což je funkce, která se osvědčila v mnoha našich implementacích. Jiné mohou zpracovávat velké množství textu, což nám umožňuje použít více komplexní kontext pro některé úkoly. Řízení těchto schopností, aby se maximalizoval potenciál každého modelu, je důležitou součástí naší práce.

Nakonec musíme zajistit, aby byly odpovědi generované umělou inteligencí bezpečné pro použití. Generativní modely umělá inteligence mohou někdy produkovat „halucinace“, nebo generovat odpovědi, které jsou falešné, mimo kontext nebo dokonce potenciálně škodlivé. Abychom tento problém zmírnili, implementujeme přísné filtry pro post-processing, aby se detekovaly a filtrovaly nevhodné odpovědi.

Jak je rozhraní navrženo ve vašem agnostickém systému umělá inteligence, aby efektivní abstrahovalo komplexity základních technologií umělá inteligence pro uživatelsky přátelské interakce?

Navrhování našeho rozhraní je společnou prací mezi našimi týmy Výzkumu a Vývoje a inženýrství. Pracujeme na základě funkce po funkci, definujeme požadavky a dostupná data pro každou funkci. Poté navrhujeme API, které se integruje bezproblémově s produktem, implementujeme jej v našem interním AI-Servisu. To umožňuje našim inženýrským týmům soustředit se na obchodní logiku, zatímco náš AI-Service zpracovává komplexity spojené s prací s různými poskytovateli umělá inteligence.

Tento proces nezávisí na nejnovějším výzkumu, ale spíše na aplikaci osvědčených softwarových inženýrských praktik.

Při zohlednění globálních operací, jak společnost InvGate zvládá výzvu regionální dostupnosti a dodržování místních předpisů pro ochranu dat?

Zajištění regionální dostupnosti a dodržování místních předpisů pro ochranu dat je kritickou součástí našich operací ve společnosti InvGate. Péčlivě vybíráme poskytovatele umělá inteligence, kteří nejen mohou operovat ve velkém měřítku, ale také dodržují nejvyšší standardy zabezpečení a splňují regionální předpisy.

Například zvažujeme pouze poskytovatele, kteří dodržují předpisy, jako je Obecné nařízení o ochraně osobních údajů (GDPR) v EU. To nám umožňuje bezpečně nasadit naše služby v různých regionech, s jistotou, že operujeme v rámci místního právního rámce.

Velcí poskytovatelé cloudových služeb, jako jsou AWS, Azure a Google Cloud, splňují tyto požadavky a nabízejí širokou škálu funkcí umělá inteligence, což z nich činí vhodné partnery pro naše globální operace. Kromě toho průběžně monitorujeme změny v místních předpisech pro ochranu dat, abychom zajistili pokračující dodržování předpisů, a upravujeme naše postupy podle potřeby.

Jak se přístup společnosti InvGate k vývoji IT řešení vyvinul za posledních deset let, zejména s integrací Generativní Umělá Inteligence?

Za posledních deset let se přístup společnosti InvGate k vývoji IT řešení významně vyvinul. Rozšířili jsme naši základnu funkcí o pokročilé schopnosti, jako jsou automatizované pracovní postupy, zjišťování zařízení a Konfigurační Databáze (CMDB). Tyto funkce výrazně zjednodušily IT operace pro naše uživatele.

Nedávno jsme začali integrovat Generativní Umělou Inteligenci do našich produktů. To bylo umožněno díky recentním pokrokům v poskytovatelích LLM, kteří začali nabízet nákladově efektivní řešení. Integrace Generativní Umělá Inteligence umožnila našim produktům získat AI-podporované funkce, což naše řešení činí efektivnějšími a uživatelsky přívětivějšími.

Ačkoli je to stále v rané fázi, předpovídáme, že umělá inteligence se stane všudypřítomným nástrojem v IT operacích. Jako takový plánujeme pokračovat v evoluci našich produktů další integrací technologií umělá inteligence.

Můžete vysvětlit, jak Generativní Umělá Inteligence v rámci AI Hubu zvyšuje rychlost a kvalitu odpovědí na běžné IT incidenty?

Generativní Umělá Inteligence v našem AI Hubu významně zvyšuje jak rychlost, tak kvalitu odpovědí na běžné IT incidenty. To dělá prostřednictvím vícekrokového procesu:

První Kontakt: Když uživatel narazí na problém, může otevřít chat s naším AI-podporovaným Virtuálním Agentem (VA) a popsat problém. VA autonomně prohledává znalostní základnu (KB) a veřejnou databázi IT řešení, poskytující vedení v konverzačním stylu. To často řeší problém rychle a efektivně.

Vytvoření Ticketu: Pokud je problém složitější, VA může vytvořit ticket, automaticky extrahující relevantní informace z konverzace.

Přiřazení Ticketu: Systém přiřadí ticket podporu agentovi na základě kategorie ticketu, priority a zkušeností agenta s podobnými problémy.

Interakce Agenta: Agent může kontaktovat uživatele pro další informace nebo informovat jej, že problém byl vyřešen. Interakce je vylepšena umělou inteligencí, poskytující psací doporučení pro zlepšení komunikace.

Escalation: Pokud problém vyžaduje eskalaci, automatické shrnutí funkcí pomáhá manažerům rychle pochopit problém.

Postmortem Analýza: Po uzavření ticketu umělá inteligence provede analýzu kořenové příčiny, pomáhající v postmortem analýze a zprávách. Agent může také použít umělou inteligenci k vypracování článku znalostní báze, usnadňující řešení podobných problémů v budoucnu.

Ačkoli jsme již implementovali většinu těchto funkcí, neustále pracujeme na dalších vylepšeních a zlepšeních.

S nadcházejícími funkcemi, jako je chytřejší MS Teams Virtuální Agent, jaké jsou očekávané vylepšení v konverzačních podpůrných zkušenostech?

Jedna slibná cesta vpřed spočívá v prodloužení konverzační zkušenosti do „spolupilotního“ režimu, který není pouze schopen reagovat na otázky a provádět jednoduché akce, ale také provádět složitější akce jménem uživatelů. To by mohlo být užitečné pro zlepšení schopností uživatelů pro samoobsluhu, stejně jako pro poskytnutí dalších silných nástrojů agentům. Nakonec tyto silné konverzační rozhraní udělají umělou inteligenci všudypřítomným společníkem.

Děkujeme za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit InvGate.