Daniel Ciolek, vedúci výskumu a vývoja v InvGate – Interview Series

Daniel je vášnivý IT profesionál s viac ako 15-ročnými skúsenosťami v tomto odvetví. Má titul PhD. v informatike a dlhú kariéru v oblasti technologického výskumu. Jeho záujmy spadajú do viacerých oblastí, ako je umelá inteligencia, softvérové ​​inžinierstvo a vysokovýkonná výpočtová technika.

Daniel je vedúcim výskumu a vývoja v InvGate, kde vedie výskumné a vývojové iniciatívy. Spolupracuje s tímom Product and Business Development na návrhu, implementácii a monitorovaní stratégie výskumu a vývoja spoločnosti. Keď neskúma, učí.

InvGate umožňuje organizáciám poskytovať nástroje na poskytovanie bezproblémových služieb naprieč oddeleniami, od IT až po zariadenia.

Kedy a ako ste sa začali zaujímať o informatiku?

Môj záujem o informatiku sa datuje od raného detstva. Vždy som bol fascinovaný elektronickými zariadeniami, často som sa pristihol, ako ich skúmam a snažím sa pochopiť, ako fungujú. Ako som rástol, táto zvedavosť ma priviedla ku kódovaniu. Dodnes si pamätám tú zábavu, ktorú som mal pri písaní svojich prvých programov. Od toho momentu som už nemal pochýb o tom, že sa chcem venovať počítačovej vede.

V súčasnosti vediete výskumné a vývojové iniciatívy a implementujete nové generatívne aplikácie AI. Môžete porozprávať o niečom zo svojej práce?

Absolútne. V našom oddelení výskumu a vývoja riešime zložité problémy, ktorých reprezentácia a efektívne riešenie môže byť náročné. Naša práca sa neobmedzuje len na generatívne aplikácie AI, ale nedávny pokrok v tejto oblasti vytvoril množstvo príležitostí, ktoré radi využijeme.

Jedným z našich hlavných cieľov v InvGate bolo vždy optimalizovať použiteľnosť nášho softvéru. Robíme to tak, že monitorujeme, ako sa používa, identifikujeme prekážky a usilovne pracujeme na ich odstránení. Jedna taká prekážka, s ktorou sme sa často stretávali, súvisí s porozumením a využívaním prirodzeného jazyka. Tento problém sa riešil obzvlášť ťažko bez použitia veľkých jazykových modelov (LLM).

S nedávnym objavením sa nákladovo efektívnych LLM sme však dokázali tieto prípady použitia zefektívniť. Medzi naše schopnosti teraz patrí poskytovanie odporúčaní na písanie, automatické vytváranie článkov databázy znalostí a sumarizácia rozsiahlych častí textu, okrem mnohých iných funkcií založených na jazyku.

V InvGate váš tím uplatňuje stratégiu, ktorá sa nazýva „agnostická AI“. Mohli by ste definovať, čo to znamená a prečo je to dôležité?

Agnostic AI je v podstate o flexibilite a prispôsobivosti. V podstate ide o to, aby ste sa nezaviazali k jedinému modelu alebo poskytovateľovi AI. Namiesto toho sa snažíme ponechať naše možnosti otvorené, využívať to najlepšie, čo každý poskytovateľ AI ponúka, a zároveň sa vyhýbať riziku, že budeme zablokovaní v jednom systéme.

Môžete si to predstaviť takto: mali by sme použiť GPT od OpenAI, Gemini od Googlu alebo Llama-2 od Meta pre naše generatívne funkcie AI? Mali by sme sa rozhodnúť pre cloudové nasadenie priebežne, spravovanú inštanciu alebo nasadenie s vlastným hosťovaním? Nie sú to triviálne rozhodnutia a dokonca sa môžu časom zmeniť, keď sa uvoľnia nové modely a na trh vstúpia noví poskytovatelia.

Prístup Agnostic AI zaisťuje, že náš systém je vždy pripravený prispôsobiť sa. Naša implementácia má tri kľúčové komponenty: rozhranie, smerovač a samotné modely AI. Rozhranie abstrahuje detaily implementácie systému AI, čím uľahčuje interakciu ostatných častí nášho softvéru s ním. Smerovač sa rozhoduje, kam poslať každú požiadavku, na základe rôznych faktorov, ako je typ požiadavky a možnosti dostupných modelov AI. Nakoniec modely vykonávajú skutočné úlohy AI, ktoré môžu vyžadovať vlastné predbežné spracovanie údajov a procesy formátovania výsledkov.

Môžete popísať metodologické aspekty, ktorými sa riadi váš rozhodovací proces pri výbere najvhodnejších modelov AI a poskytovateľov pre konkrétne úlohy?

Pre každú novú funkciu, ktorú vyvíjame, začíname vytvorením hodnotiaceho benchmarku. Tento benchmark je určený na posúdenie účinnosti rôznych modelov AI pri riešení danej úlohy. Nezameriavame sa však len na výkon, ale zvažujeme aj rýchlosť a cenu každého modelu. To nám poskytuje holistický pohľad na hodnotu každého modelu, čo nám umožňuje vybrať si cenovo najefektívnejšiu možnosť smerovania požiadaviek.

Tým sa však náš proces nekončí. V rýchlo sa rozvíjajúcej oblasti AI neustále vychádzajú nové modely a tie existujúce sa pravidelne aktualizujú. Takže vždy, keď bude k dispozícii nový alebo aktualizovaný model, znova spustíme naše hodnotenie. To nám umožňuje porovnať výkon nového alebo aktualizovaného modelu s výkonom nášho aktuálneho výberu. Ak nový model prekoná súčasný model, aktualizujeme náš modul smerovača, aby odrážal túto zmenu.

Aké sú niektoré z výziev bezproblémového prepínania medzi rôznymi modelmi AI a poskytovateľmi?

Plynulé prepínanie medzi rôznymi modelmi AI a poskytovateľmi skutočne predstavuje súbor jedinečných výziev.

Po prvé, každý poskytovateľ AI vyžaduje vstupy naformátované špecifickým spôsobom a modely AI môžu na rovnaké požiadavky reagovať odlišne. To znamená, že musíme optimalizovať individuálne pre každý model, čo môže byť vzhľadom na rozmanitosť možností dosť zložité.

Po druhé, modely AI majú rôzne schopnosti. Niektoré modely môžu napríklad generovať výstup vo formáte JSON, čo je funkcia, ktorá sa osvedčila v mnohých našich implementáciách. Iní dokážu spracovať veľké množstvo textu, čo nám umožňuje použiť pre niektoré úlohy komplexnejší kontext. Riadenie týchto schopností s cieľom maximalizovať potenciál každého modelu je nevyhnutnou súčasťou našej práce.

Nakoniec musíme zabezpečiť, aby sa odpovede generované AI dali bezpečne používať. Generatívne modely AI môžu niekedy produkovať „halucinácie“ alebo generovať odpovede, ktoré sú nepravdivé, vytrhnuté z kontextu alebo dokonca potenciálne škodlivé. Aby sme to zmiernili, implementujeme prísne dezinfekčné filtre po spracovaní, aby sme zistili a odfiltrovali nevhodné reakcie.

Ako je rozhranie navrhnuté v rámci vášho agnostického systému AI, aby sa zabezpečilo, že efektívne abstrahuje zložitosti základných technológií AI pre užívateľsky prívetivé interakcie?

Dizajn nášho rozhrania je výsledkom spolupráce medzi R&D a inžinierskymi tímami. Pracujeme na základe funkcie po funkcii, pričom pre každú funkciu definujeme požiadavky a dostupné údaje. Potom navrhneme API, ktoré sa hladko integruje s produktom a implementuje ho do našej internej služby AI. To umožňuje inžinierskym tímom zamerať sa na obchodnú logiku, zatiaľ čo naša služba AI zvláda zložitosť rokovaní s rôznymi poskytovateľmi AI.

Tento proces sa nespolieha na špičkový výskum, ale namiesto toho na aplikáciu osvedčených postupov softvérového inžinierstva.

Ak vezmeme do úvahy globálne operácie, ako InvGate zvláda problém regionálnej dostupnosti a súladu s miestnymi nariadeniami o údajoch?

Zabezpečenie regionálnej dostupnosti a súlad s miestnymi nariadeniami o údajoch je kľúčovou súčasťou našej činnosti v InvGate. Starostlivo vyberáme poskytovateľov umelej inteligencie, ktorí dokážu fungovať nielen vo veľkom rozsahu, ale aj dodržiavať najvyššie bezpečnostné štandardy a dodržiavať regionálne predpisy.

Napríklad berieme do úvahy iba poskytovateľov, ktorí dodržiavajú nariadenia, ako je všeobecné nariadenie o ochrane údajov (GDPR) v EÚ. To zaisťuje, že môžeme bezpečne nasadiť naše služby v rôznych regiónoch s dôverou, že pôsobíme v rámci miestneho právneho rámca.

Hlavní poskytovatelia cloudu, ako sú AWS, Azure a Google Cloud, spĺňajú tieto požiadavky a ponúkajú širokú škálu funkcií AI, vďaka čomu sú vhodnými partnermi pre naše globálne operácie. Okrem toho neustále monitorujeme zmeny v miestnych nariadeniach o údajoch, aby sme zabezpečili nepretržité dodržiavanie a podľa potreby upravujeme naše postupy.

Ako sa za posledné desaťročie vyvinul prístup InvGate k vývoju IT riešení, najmä s integráciou generatívnej AI?

Za posledné desaťročie sa prístup InvGate k vývoju IT riešení výrazne zmenil. Rozšírili sme našu základňu funkcií o pokročilé možnosti, ako sú automatizované pracovné postupy, zisťovanie zariadení a databáza správy konfigurácie (CMDB). Tieto funkcie našim používateľom výrazne zjednodušili IT operácie.

Nedávno sme začali integrovať GenAI do našich produktov. Bolo to možné vďaka nedávnemu pokroku v oblasti poskytovateľov LLM, ktorí začali ponúkať nákladovo efektívne riešenia. Integrácia GenAI nám umožnila vylepšiť naše produkty podporou AI, vďaka čomu sú naše riešenia efektívnejšie a užívateľsky prívetivejšie.

Aj keď je to ešte len na začiatku, predpovedáme, že AI sa stane všadeprítomným nástrojom v IT operáciách. Preto plánujeme pokračovať vo vývoji našich produktov ďalšou integráciou technológií AI.

Môžete vysvetliť, ako generatívna AI v rámci centra AI zvyšuje rýchlosť a kvalitu reakcií na bežné IT incidenty?

Generatívna AI v rámci nášho centra AI výrazne zvyšuje rýchlosť aj kvalitu reakcií na bežné IT incidenty. Robí to prostredníctvom viacstupňového procesu:

Počiatočný kontakt: Keď používateľ narazí na problém, môže otvoriť rozhovor s naším virtuálnym agentom (VA) poháňaným AI a opísať problém. VA autonómne prehľadáva databázu znalostí spoločnosti (KB) a verejnú databázu príručiek na riešenie problémov IT, pričom poskytuje poradenstvo konverzačným spôsobom. To často vyrieši problém rýchlo a efektívne.

Tvorba lístkov: Ak je problém zložitejší, VA môže vytvoriť tiket, ktorý automaticky extrahuje relevantné informácie z konverzácie.

Pridelenie lístkov: Systém pridelí lístok agentovi podpory na základe kategórie lístka, priority a skúseností agenta s podobnými problémami.

Interakcia agenta: Zástupca môže používateľa kontaktovať so žiadosťou o ďalšie informácie alebo ho upozorniť, že problém bol vyriešený. Interakcia je vylepšená pomocou AI, ktorá poskytuje odporúčania na písanie na zlepšenie komunikácie.

Vystupňovanie: Ak si problém vyžaduje eskaláciu, funkcie automatického zhrnutia pomôžu manažérom rýchlo pochopiť problém.

Postmortem analýza: Po zatvorení tiketu AI vykoná analýzu hlavnej príčiny, ktorá pomáha pri posmrtnej analýze a správach. Agent môže tiež použiť AI na vypracovanie článku databázy znalostí, čím sa uľahčí riešenie podobných problémov v budúcnosti.

Aj keď sme už väčšinu týchto funkcií implementovali, neustále pracujeme na ďalších vylepšeniach a vylepšeniach.

Aké sú očakávané vylepšenia konverzačnej podpory s pripravovanými funkciami, ako je inteligentnejší virtuálny agent MS Teams?

Jednou sľubnou cestou vpred je rozšírenie konverzačného zážitku na „kopilota“, schopného nielen odpovedať na otázky a vykonávať jednoduché akcie, ale aj vykonávať zložitejšie akcie v mene používateľov. To by mohlo byť užitočné na zlepšenie samoobslužných schopností používateľov, ako aj na poskytnutie ďalších výkonných nástrojov pre agentov. Nakoniec tieto výkonné konverzačné rozhrania urobia z AI všadeprítomného spoločníka.

Ďakujeme za skvelý rozhovor, čitatelia, ktorí sa chcú dozvedieť viac, by mali navštíviť InvGate.