Daniel Ciolek, voditelj istraživanja i razvoja u InvGateu – serija intervjua

Daniel je strastveni IT stručnjak s više od 15 godina iskustva u industriji. Ima doktorat znanosti. doktorirao računarstvo i dugu karijeru u istraživanju tehnologije. Njegovi interesi padaju na više područja, kao što su umjetna inteligencija, softversko inženjerstvo i računalstvo visokih performansi.

Daniel je voditelj istraživanja i razvoja u InvGateu, gdje vodi inicijative za istraživanje i razvoj. Radi zajedno s timovima za razvoj proizvoda i poslovanja na dizajniranju, implementaciji i praćenju strategije istraživanja i razvoja tvrtke. Kad ne istražuje, predaje.

InvGate osnažuje organizacije pružajući alate za pružanje besprijekorne usluge u svim odjelima, od IT-a do objekata.

Kada i kako ste se prvi put zainteresirali za informatiku?

Moje zanimanje za informatiku datira još od ranog djetinjstva. Uvijek sam bio fasciniran elektroničkim uređajima, često sam se zatekao kako istražujem i pokušavam razumjeti kako rade. Kako sam rastao, ta me znatiželja dovela do kodiranja. Još uvijek se sjećam kako sam se zabavljao dok sam pisao svoje prve programe. Od tog trenutka nisam više sumnjao u to da želim nastaviti karijeru u informatici.

Trenutačno vodite inicijative za istraživanje i razvoj i implementirate nove generativne AI aplikacije. Možete li govoriti o nekim svojim radovima?

Apsolutno. U našem odjelu za istraživanje i razvoj bavimo se složenim problemima koje može biti izazovno predstaviti i učinkovito riješiti. Naš rad nije ograničen na generativne AI aplikacije, ali nedavni napredak u ovom polju stvorio je obilje mogućnosti koje rado iskoristimo.

Jedan od naših glavnih ciljeva u InvGateu uvijek je bio optimizirati upotrebljivost našeg softvera. To činimo nadgledanjem kako se koristi, identificiranjem uskih grla i marljivim radom na njihovom uklanjanju. Jedno takvo usko grlo s kojim se često susrećemo povezano je s razumijevanjem i korištenjem prirodnog jezika. To je bilo posebno teško pitanje za rješavanje bez upotrebe velikih jezičnih modela (LLM).

Međutim, s nedavnom pojavom isplativih LLM-ova, uspjeli smo pojednostaviti ove slučajeve upotrebe. Naše mogućnosti sada uključuju davanje preporuka za pisanje, automatsko sastavljanje članaka baze znanja i sažimanje opsežnih dijelova teksta, među mnogim drugim značajkama koje se temelje na jeziku.

U InvGateu vaš tim primjenjuje strategiju koja se naziva "agnostička umjetna inteligencija". Možete li definirati što to znači i zašto je važno?

Agnostička umjetna inteligencija temelji se na fleksibilnosti i prilagodljivosti. U biti, radi se o neobvezivanju na jedan model ili pružatelja AI. Umjesto toga, nastojimo držati naše mogućnosti otvorenima, iskorištavajući ono najbolje što svaki pružatelj AI nudi, a istovremeno izbjegavamo rizik zatvaranja u jedan sustav.

Možete to zamisliti ovako: trebamo li koristiti OpenAI-jev GPT, Googleov Gemini ili Metin Llama-2 za naše generativne AI značajke? Trebamo li se odlučiti za implementaciju u oblaku s plaćanjem prema poslu, upravljanu instancu ili implementaciju s vlastitim hostom? To nisu trivijalne odluke, a mogu se čak i promijeniti tijekom vremena kako se puštaju novi modeli i novi pružatelji usluga ulaze na tržište.

Agnostic AI pristup osigurava da je naš sustav uvijek spreman za prilagodbu. Naša implementacija ima tri ključne komponente: sučelje, usmjerivač i same AI modele. Sučelje apstrahira detalje implementacije AI sustava, olakšavajući drugim dijelovima našeg softvera interakciju s njim. Usmjerivač odlučuje gdje će poslati svaki zahtjev na temelju različitih čimbenika kao što su vrsta zahtjeva i mogućnosti dostupnih AI modela. Konačno, modeli obavljaju stvarne zadatke umjetne inteligencije, što može zahtijevati prilagođenu pretprocesiranje podataka i procese oblikovanja rezultata.

Možete li opisati metodološke aspekte koji vode vaš proces donošenja odluka pri odabiru najprikladnijih modela umjetne inteligencije i pružatelja usluga za određene zadatke?

Za svaku novu značajku koju razvijemo počinjemo stvaranjem referentne vrijednosti za procjenu. Ovo je mjerilo osmišljeno za procjenu učinkovitosti različitih modela umjetne inteligencije u rješavanju zadatka. Ali ne fokusiramo se samo na performanse, već također uzimamo u obzir brzinu i cijenu svakog modela. To nam daje holistički pogled na vrijednost svakog modela, što nam omogućuje da odaberemo najisplativiju opciju za zahtjeve za usmjeravanje.

Međutim, naš proces tu ne završava. U brzo razvijajućem području umjetne inteligencije stalno se objavljuju novi modeli, a postojeći se redovito ažuriraju. Dakle, svaki put kada novi ili ažurirani model postane dostupan, ponovno pokrećemo našu referentnu vrijednost za procjenu. To nam omogućuje da usporedimo performanse novog ili ažuriranog modela s performansama našeg trenutnog odabira. Ako novi model nadmaši trenutni, tada ažuriramo modul usmjerivača kako bi odražavao tu promjenu.

Koji su neki od izazova besprijekornog prebacivanja između različitih AI modela i pružatelja usluga?

Besprijekorno prebacivanje između različitih modela umjetne inteligencije i pružatelja doista predstavlja niz jedinstvenih izazova.

Prvo, svaki pružatelj AI zahtijeva ulaze formatirane na specifične načine, a AI modeli mogu različito reagirati na iste zahtjeve. To znači da moramo optimizirati pojedinačno za svaki model, što može biti prilično složeno s obzirom na raznolikost opcija.

Drugo, AI modeli imaju različite mogućnosti. Na primjer, neki modeli mogu generirati izlaz u JSON formatu, značajka koja se pokazala korisnom u mnogim našim implementacijama. Drugi mogu obraditi velike količine teksta, što nam omogućuje korištenje sveobuhvatnijeg konteksta za neke zadatke. Upravljanje tim mogućnostima kako bi se maksimalno iskoristio potencijal svakog modela bitan je dio našeg rada.

Konačno, moramo osigurati da su odgovori generirani umjetnom inteligencijom sigurni za korištenje. Generativni AI modeli ponekad mogu proizvesti "halucinacije" ili generirati odgovore koji su lažni, izvan konteksta ili čak potencijalno štetni. Kako bismo to ublažili, implementiramo rigorozne filtre za dezinfekciju nakon obrade kako bismo otkrili i filtrirali neprikladne odgovore.

Kako je sučelje dizajnirano unutar vašeg agnostičkog AI sustava kako bi se osiguralo da učinkovito apstrahira složenost temeljnih AI tehnologija za interakcije prilagođene korisniku?

Dizajn našeg sučelja rezultat je suradnje između istraživačkih i razvojnih timova i inženjerskih timova. Radimo od značajke do značajke, definirajući zahtjeve i dostupne podatke za svaku značajku. Zatim dizajniramo API koji se neprimjetno integrira s proizvodom, implementirajući ga u našu internu AI-Service. To omogućuje inženjerskim timovima da se usredotoče na poslovnu logiku, dok se naša AI-Service nosi sa složenošću rada s različitim pružateljima AI-a.

Ovaj se proces ne oslanja na najnovija istraživanja, već na primjenu dokazanih praksi softverskog inženjeringa.

S obzirom na globalne operacije, kako se InvGate nosi s izazovom regionalne dostupnosti i usklađenosti s lokalnim propisima o podacima?

Osiguravanje regionalne dostupnosti i usklađenosti s lokalnim propisima o podacima ključan je dio našeg poslovanja u InvGateu. Pažljivo odabiremo pružatelje AI koji ne samo da mogu djelovati u velikom opsegu, već i podržavati vrhunske sigurnosne standarde i biti u skladu s regionalnim propisima.

Na primjer, uzimamo u obzir samo pružatelje koji se pridržavaju propisa kao što je Opća uredba o zaštiti podataka (GDPR) u EU. To osigurava da možemo sigurno implementirati naše usluge u različitim regijama, s povjerenjem da djelujemo unutar lokalnog pravnog okvira.

Glavni pružatelji usluga oblaka kao što su AWS, Azure i Google Cloud zadovoljavaju ove zahtjeve i nude širok raspon AI funkcionalnosti, što ih čini prikladnim partnerima za naše globalne operacije. Nadalje, kontinuirano pratimo promjene u lokalnim propisima o podacima kako bismo osigurali stalnu usklađenost, prilagođavajući svoje prakse prema potrebi.

Kako se InvGateov pristup razvoju IT rješenja razvio tijekom posljednjeg desetljeća, posebice s integracijom Generative AI?

Tijekom posljednjeg desetljeća InvGateov pristup razvoju IT rješenja značajno je evoluirao. Proširili smo našu bazu značajki naprednim mogućnostima kao što su automatizirani tijek rada, otkrivanje uređaja i baza podataka za upravljanje konfiguracijom (CMDB). Ove značajke uvelike su pojednostavile IT operacije za naše korisnike.

Nedavno smo počeli integrirati GenAI u naše proizvode. To je omogućeno zahvaljujući nedavnom napretku pružatelja LLM-a, koji su počeli nuditi isplativa rješenja. Integracija GenAI-ja omogućila nam je da poboljšamo naše proizvode podrškom koju pokreće AI, čineći naša rješenja učinkovitijima i lakšima za korištenje.

Iako je još rano, predviđamo da će AI postati sveprisutan alat u IT operacijama. Kao takvi, planiramo nastaviti razvijati naše proizvode daljnjom integracijom AI tehnologija.

Možete li objasniti kako generativni AI unutar AI Huba poboljšava brzinu i kvalitetu odgovora na uobičajene IT incidente?

Generativni AI unutar našeg AI Huba značajno poboljšava i brzinu i kvalitetu odgovora na uobičajene IT incidente. To čini kroz proces u više koraka:

Početni kontakt: Kada korisnik naiđe na problem, on ili ona mogu otvoriti chat s našim virtualnim agentom (VA) koji pokreće AI i opisati problem. VA autonomno pretražuje kompanijsku bazu znanja (KB) i javnu bazu podataka vodiča za rješavanje IT problema, pružajući smjernice na način razgovora. Ovo često rješava problem brzo i učinkovito.

Izrada ulaznice: Ako je problem složeniji, VA može stvoriti tiket, automatski izvlačeći relevantne informacije iz razgovora.

Dodjela ulaznica: Sustav dodjeljuje kartu agentu za podršku na temelju kategorije karte, prioriteta i iskustva agenta sa sličnim problemima.

Interakcija agenta: Agent može kontaktirati korisnika za dodatne informacije ili ga obavijestiti da je problem riješen. Interakcija je poboljšana AI, pružajući preporuke za pisanje za poboljšanje komunikacije.

eskalacija: Ako problem zahtijeva eskalaciju, značajke automatskog sažimanja pomažu upraviteljima da brzo razumiju problem.

Postmortem analiza: Nakon što je ulaznica zatvorena, AI izvodi analizu temeljnog uzroka, pomažući u postmortem analizi i izvješćima. Agent također može koristiti AI za nacrt članka baze znanja, olakšavajući rješavanje sličnih problema u budućnosti.

Iako smo već implementirali većinu ovih značajki, kontinuirano radimo na daljnjim poboljšanjima i poboljšanjima.

S nadolazećim značajkama kao što je pametniji MS Teams Virtual Agent, koja su očekivana poboljšanja u iskustvima podrške razgovorom?

Jedan obećavajući put naprijed je proširenje iskustva razgovora u "kopilota", ne samo sposobnog odgovaranja na pitanja i poduzimanja jednostavnih radnji, već i poduzimanja složenijih radnji u ime korisnika. To bi moglo biti korisno za poboljšanje mogućnosti samoposluživanja korisnika, kao i za pružanje dodatnih moćnih alata agentima. Na kraju će ova moćna sučelja za razgovor učiniti AI sveprisutnim suputnikom.

Hvala vam na sjajnom intervjuu, čitatelji koji žele saznati više neka ga posjete InvGate.