Daniel Ciolek, az InvGate kutatási és fejlesztési részlegének vezetője – Interjúsorozat

Daniel szenvedélyes informatikai szakember, több mint 15 éves tapasztalattal az iparágban. PhD-je van. Számítástechnika és hosszú karrier a technológiai kutatásban. Érdeklődése több területre terjed ki, mint például a mesterséges intelligencia, a szoftverfejlesztés és a nagy teljesítményű számítástechnika.

Daniel az InvGate kutatási és fejlesztési vezetője, ahol a K+F kezdeményezéseket vezeti. A termék- és üzletfejlesztési csapatokkal együtt dolgozik a vállalat K+F stratégiájának megtervezésén, megvalósításán és nyomon követésén. Amikor nem kutat, akkor tanít.

InvGate felhatalmazza a szervezeteket azáltal, hogy eszközöket biztosít a részlegek közötti zökkenőmentes szolgáltatás nyújtásához, az IT-től a létesítményekig.

Mikor és hogyan kezdett érdeklődni a számítástechnika iránt?

Az informatika iránti érdeklődésem egészen kora gyermekkoromig nyúlik vissza. Mindig is lenyűgöztek az elektronikus eszközök, gyakran azon kaptam magam, hogy felfedezem és próbálom megérteni, hogyan működnek. Ahogy idősebb lettem, ez a kíváncsiság vezetett el a kódoláshoz. Még mindig emlékszem arra a mókára, amit az első programjaim írásakor élveztem. Ettől a pillanattól kezdve nem volt kétségem afelől, hogy számítástechnikai pályát szeretnék folytatni.

Jelenleg K+F kezdeményezéseket vezetsz, és új, generatív AI-alkalmazásokat vezetsz be. Megbeszélnéd néhány munkádat?

Teljesen. K+F részlegünkön olyan összetett problémákkal foglalkozunk, amelyek képviselete és hatékony megoldása kihívást jelenthet. Munkánk nem korlátozódik a generatív AI-alkalmazásokra, de az ezen a területen elért közelmúltbeli előrelépések rengeteg lehetőséget teremtettek, amelyeket szívesen kiaknázunk.

Az InvGate egyik fő célkitűzése mindig is az volt, hogy optimalizáljuk szoftvereink használhatóságát. Ezt úgy érjük el, hogy figyelemmel kísérjük a használatát, azonosítjuk a szűk keresztmetszeteket, és szorgalmasan dolgozunk azok megszüntetésén. Az egyik ilyen szűk keresztmetszet, amellyel gyakran találkoztunk, a természetes nyelv megértésével és használatával kapcsolatos. Ezt a problémát különösen nehéz volt megoldani a Large Language Models (LLM) használata nélkül.

A költséghatékony LLM-ek közelmúltbeli megjelenésével azonban sikerült racionalizálnunk ezeket a használati eseteket. Lehetőségeink közé tartozik az írási ajánlások biztosítása, a tudásbázis cikkeinek automatikus szerkesztése és a kiterjedt szövegrészek összegzése, sok más nyelvi alapú szolgáltatás mellett.

Az InvGate-nél csapata az „agnosztikus AI” nevű stratégiát alkalmazza. Meg tudnád határozni, hogy ez mit jelent és miért fontos?

Az agnosztikus AI alapvetően a rugalmasságról és az alkalmazkodóképességről szól. Lényegében arról van szó, hogy ne kötelezze el magát egyetlen AI-modell vagy szolgáltató mellett. Ehelyett arra törekszünk, hogy nyitva tartsuk a lehetőségeinket, kihasználva az egyes mesterségesintelligencia-szolgáltatók által kínált legjobbakat, miközben elkerüljük annak kockázatát, hogy egy rendszerbe zárjuk magunkat.

Ezt így képzelheti el: az OpenAI GPT-jét, a Google Gemini-jét vagy a Meta Llama-2-jét használjuk generatív AI-funkcióinkhoz? A felosztó-kirovó felhőalapú telepítést, a felügyelt példányt vagy a saját üzemeltetésű telepítést válasszuk? Ezek nem triviális döntések, sőt idővel változhatnak, ahogy új modellek jelennek meg, és új szolgáltatók lépnek a piacra.

Az agnosztikus AI megközelítés biztosítja, hogy rendszerünk mindig készen álljon az alkalmazkodásra. Megvalósításunk három kulcsfontosságú összetevőből áll: egy interfészből, egy útválasztóból és maguk az AI-modellek. Az interfész elvonatkoztatja az AI-rendszer megvalósításának részleteit, megkönnyítve ezzel a szoftverünk más részei számára az interakciót. Az útválasztó különféle tényezők, például a kérés típusa és a rendelkezésre álló mesterséges intelligencia modellek képességei alapján dönti el, hogy hova küldje el az egyes kéréseket. Végül a modellek végrehajtják a tényleges AI-feladatokat, amelyek egyéni adat-előfeldolgozási és eredményformázási folyamatokat igényelhetnek.

Le tudná írni azokat a módszertani szempontokat, amelyek vezérlik a döntéshozatali folyamatot, amikor kiválasztja a legmegfelelőbb AI modelleket és szolgáltatókat az adott feladatokhoz?

Minden általunk kifejlesztett új funkcióhoz egy értékelési referenciaérték létrehozásával kezdünk. Ez a referenciaérték arra szolgál, hogy felmérje a különböző AI-modellek hatékonyságát az adott feladat megoldásában. De nem csak a teljesítményre koncentrálunk, hanem az egyes modellek sebességét és költségét is. Ez holisztikus képet ad az egyes modellek értékéről, lehetővé téve számunkra, hogy a legköltséghatékonyabb lehetőséget válasszuk ki a kérések továbbítására.

A folyamatunk azonban ezzel nem ér véget. Az AI gyorsan fejlődő területén folyamatosan új modellek jelennek meg, a meglévőket pedig rendszeresen frissítik. Így amikor új vagy frissített modell válik elérhetővé, újra lefuttatjuk az értékelési referenciaértéket. Ez lehetővé teszi az új vagy frissített modell teljesítményének összehasonlítását a jelenlegi választékunkkal. Ha egy új modell jobban teljesít, mint a jelenlegi, akkor frissítjük az útválasztó modulunkat, hogy tükrözze ezt a változást.

Milyen kihívásokat jelent a különféle mesterséges intelligencia modellek és szolgáltatók közötti zökkenőmentes váltás?

A különféle mesterséges intelligencia modellek és szolgáltatók közötti zökkenőmentes váltás valóban egyedi kihívásokat jelent.

Először is, minden mesterségesintelligencia-szolgáltató meghatározott módon formázott bemeneteket igényel, és az AI-modellek eltérően reagálhatnak ugyanazokra a kérésekre. Ez azt jelenti, hogy minden modellre egyedileg kell optimalizálnunk, ami a lehetőségek sokfélesége miatt meglehetősen bonyolult lehet.

Másodszor, az AI modellek különböző képességekkel rendelkeznek. Egyes modellek például JSON formátumú kimenetet generálhatnak, amely funkció számos megvalósításunkban hasznosnak bizonyul. Mások nagy mennyiségű szöveget tudnak feldolgozni, ami lehetővé teszi számunkra, hogy egyes feladatokhoz átfogóbb kontextust használjunk. Ezen képességek kezelése az egyes modellekben rejlő lehetőségek maximalizálása érdekében munkánk elengedhetetlen része.

Végül biztosítanunk kell, hogy az AI által generált válaszok biztonságosak legyenek. A generatív mesterséges intelligencia modellek néha „hallucinációkat” idézhetnek elő, vagy hamis, összefüggéstelen vagy akár potenciálisan káros válaszokat generálhatnak. Ennek enyhítésére szigorú utófeldolgozási fertőtlenítő szűrőket vezetünk be a nem megfelelő válaszok észlelésére és kiszűrésére.

Hogyan tervezték meg az Ön agnosztikus AI-rendszerén belüli felületet, hogy hatékonyan absztrahálja a mögöttes AI-technológiák összetettségeit a felhasználóbarát interakciók érdekében?

Interfészünk kialakítása a K+F és a mérnöki csapatok együttműködése. Funkciónként dolgozunk, meghatározva az egyes funkciók követelményeit és elérhető adatait. Ezután megtervezünk egy API-t, amely zökkenőmentesen integrálódik a termékkel, és megvalósítja azt a belső AI-szolgáltatásunkban. Ez lehetővé teszi a mérnöki csapatok számára, hogy az üzleti logikára összpontosítsanak, míg a mesterségesintelligencia-szolgáltatásunk kezeli a különböző mesterségesintelligencia-szolgáltatókkal való kapcsolattartás bonyolultságát.

Ez a folyamat nem az élvonalbeli kutatásokon, hanem a bevált szoftverfejlesztési gyakorlatok alkalmazásán alapul.

Tekintettel a globális működésre, hogyan kezeli az InvGate a regionális elérhetőség és a helyi adatszabályozásnak való megfelelés kihívását?

A regionális elérhetőség és a helyi adatszolgáltatási előírásoknak való megfelelés biztosítása az InvGate-nél végzett tevékenységünk döntő része. Gondosan választjuk ki azokat a mesterséges intelligencia-szolgáltatókat, amelyek nem csak nagy méretekben tudnak működni, hanem betartják a legmagasabb szintű biztonsági szabványokat és megfelelnek a regionális előírásoknak.

Például csak azokat a szolgáltatókat vesszük figyelembe, amelyek betartják az olyan szabályozásokat, mint az EU általános adatvédelmi rendelete (GDPR). Ez biztosítja, hogy szolgáltatásainkat biztonságosan telepíthessük a különböző régiókban, abban a bizalomban, hogy a helyi jogi keretek között működünk.

A nagy felhőszolgáltatók, mint például az AWS, az Azure és a Google Cloud, megfelelnek ezeknek a követelményeknek, és az AI-funkciók széles skáláját kínálják, így megfelelő partnerek a globális működésünkhöz. Továbbá folyamatosan nyomon követjük a helyi adatszabályozás változásait, hogy biztosítsuk a folyamatos megfelelést, szükség szerint módosítva gyakorlatunkat.

Hogyan fejlődött az InvGate IT-megoldások fejlesztésének megközelítése az elmúlt évtizedben, különösen a Generative AI integrációjával?

Az elmúlt évtizedben az InvGate IT-megoldások fejlesztésére vonatkozó megközelítése jelentősen fejlődött. Bővítettük szolgáltatásbázisunkat olyan fejlett képességekkel, mint az automatizált munkafolyamatok, az eszközfelderítés és a konfigurációkezelési adatbázis (CMDB). Ezek a funkciók nagymértékben leegyszerűsítették felhasználóink ​​informatikai műveleteit.

Nemrég elkezdtük integrálni a GenAI-t termékeinkbe. Ez az LLM-szolgáltatók közelmúltbeli előrelépéseinek köszönhető, amelyek költséghatékony megoldásokat kezdtek kínálni. A GenAI integrációja lehetővé tette számunkra, hogy AI-alapú támogatással fejlesszük termékeinket, így megoldásaink hatékonyabbak és felhasználóbarátabbak.

Bár ez még a kezdeti idő, azt jósoljuk, hogy a mesterséges intelligencia mindenütt jelen lévő eszközzé válik az IT-műveletekben. Mint ilyen, azt tervezzük, hogy folytatjuk termékeink fejlesztését az AI-technológiák további integrálásával.

El tudná magyarázni, hogy az AI Hub-on belüli generatív AI hogyan javítja a gyakori informatikai eseményekre adott válaszok sebességét és minőségét?

Az AI Hub-unkon belüli generatív AI jelentősen javítja a gyakori informatikai eseményekre adott válaszok sebességét és minőségét. Ezt egy többlépcsős folyamaton keresztül teszi:

Kezdeti kapcsolat: Ha egy felhasználó problémába ütközik, csevegést indíthat mesterségesintelligencia-alapú virtuális ügynökünkkel (VA), és leírhatja a problémát. A VA önállóan keres a vállalat Tudásbázisában (KB) és az informatikai hibaelhárítási útmutatók nyilvános adatbázisában, és társalgási formában nyújt útmutatást. Ez gyakran gyorsan és hatékonyan megoldja a problémát.

Jegykészítés: Ha a probléma összetettebb, a VA létrehozhat egy jegyet, amely automatikusan kivonja a releváns információkat a beszélgetésből.

Jegykiosztás: A rendszer hozzárendeli a jegyet egy támogatási ügynökhöz a jegy kategóriája, prioritása és az ügyintéző hasonló problémákkal kapcsolatos tapasztalatai alapján.

Ügynök interakció: Az ügynök felveheti a kapcsolatot a felhasználóval további információkért, vagy értesítheti a probléma megoldásáról. Az interakciót a mesterséges intelligencia javítja, írási ajánlásokat adva a kommunikáció javítására.

Eszkaláció: Ha a probléma eszkalációt igényel, az automatikus összegző funkciók segítenek a vezetőknek gyorsan megérteni a problémát.

Postmortem elemzés: A jegy lezárása után a mesterséges intelligencia elvégzi a kiváltó ok elemzését, segítve a posztmortem elemzést és jelentéseket. Az ügynök a mesterséges intelligencia segítségével tudásbáziscikkeket is készíthet, ami megkönnyíti a hasonló problémák megoldását a jövőben.

Bár a legtöbb ilyen funkciót már bevezettük, folyamatosan dolgozunk a további fejlesztéseken és fejlesztéseken.

Az olyan közelgő funkciókkal, mint az intelligensebb MS Teams Virtual Agent, milyen fejlesztések várhatók a párbeszédes támogatás terén?

Az egyik ígéretes előrelépés a beszélgetési élmény kiterjesztése „másodpilótává”, amely nemcsak kérdésekre válaszol és egyszerű műveleteket tud végrehajtani, hanem összetettebb műveleteket is végrehajt a felhasználók nevében. Ez hasznos lehet a felhasználók önkiszolgáló képességeinek javításához, valamint további hatékony eszközök biztosításához az ügynökök számára. Végül ezek a hatékony párbeszédes felületek az AI-t mindenütt jelenlévő társsá teszik.

Köszönjük a remek interjút, azoknak az olvasóknak, akik többet szeretnének megtudni, látogassanak el InvGate.