Daniel Ciolek, șef de cercetare și dezvoltare la InvGate – Seria de interviuri

Daniel este un profesionist IT pasionat, cu peste 15 ani de experiență în industrie. Are un doctorat. în Informatică și o lungă carieră în cercetarea tehnologiei. Interesele sale se încadrează în mai multe domenii, cum ar fi inteligența artificială, ingineria software și calculul de înaltă performanță.

Daniel este șeful departamentului de cercetare și dezvoltare la InvGate, unde conduce inițiativele de cercetare și dezvoltare. El lucrează împreună cu echipele de dezvoltare a produselor și a afacerii pentru a proiecta, implementa și monitoriza strategia de cercetare și dezvoltare a companiei. Când nu cercetează, predă.

InvGate împuternicește organizațiile prin furnizarea de instrumente pentru a oferi servicii fără întreruperi în diferite departamente, de la IT la facilități.

Când și cum ați devenit inițial interesat de informatică?

Interesul meu pentru informatică datează din prima copilărie. Am fost întotdeauna fascinat de dispozitivele electronice, de multe ori mă trezesc explorând și încercând să înțeleg cum funcționează. Pe măsură ce am crescut, această curiozitate m-a condus la codificare. Îmi amintesc și acum distracția pe care am avut-o scriind primele mele programe. Din acel moment, nu mai exista nicio îndoială în mintea mea că îmi doream să urmez o carieră în informatică.

În prezent, conduceți inițiative de cercetare și dezvoltare și implementați noi aplicații AI generative. Poți discuta despre o parte din munca ta?

Absolut. În departamentul nostru de cercetare și dezvoltare, abordăm probleme complexe care pot fi dificil de reprezentat și rezolvat în mod eficient. Munca noastră nu se limitează la aplicațiile AI generative, dar progresele recente în acest domeniu au creat o mulțime de oportunități pe care dorim să le exploatam.

Unul dintre obiectivele noastre principale la InvGate a fost întotdeauna optimizarea gradului de utilizare a software-ului nostru. Facem acest lucru prin monitorizarea modului în care este utilizat, identificând blocajele și lucrând cu sârguință pentru a le elimina. Un astfel de blocaj pe care l-am întâlnit adesea este legat de înțelegerea și utilizarea limbajului natural. Aceasta a fost o problemă deosebit de dificil de abordat fără utilizarea modelelor de limbaj mari (LLM).

Cu toate acestea, odată cu apariția recentă a LLM-urilor rentabile, am reușit să simplificăm aceste cazuri de utilizare. Capabilitățile noastre includ acum furnizarea de recomandări de scriere, redactarea automată a articolelor din baza de cunoștințe și rezumarea unor fragmente extinse de text, printre multe alte caracteristici bazate pe limbă.

La InvGate, echipa ta aplică o strategie numită „AI agnostic”. Ați putea defini ce înseamnă acest lucru și de ce este important?

AI agnostic se referă în mod fundamental la flexibilitate și adaptabilitate. În esență, este vorba de a nu te angaja față de un singur model sau furnizor de AI. În schimb, ne propunem să ne menținem opțiunile deschise, valorificând cele mai bune oferite de fiecare furnizor de AI, evitând în același timp riscul de a fi blocați într-un singur sistem.

Vă puteți gândi astfel: ar trebui să folosim GPT-ul OpenAI, Gemini de la Google sau Llama-2 de la Meta pentru caracteristicile noastre AI generative? Ar trebui să optăm pentru o implementare cloud cu plata pe măsură, o instanță gestionată sau o implementare auto-găzduită? Acestea nu sunt decizii banale și chiar se pot schimba în timp pe măsură ce noi modele sunt lansate și noi furnizori intră pe piață.

Abordarea Agnostic AI asigură că sistemul nostru este întotdeauna gata să se adapteze. Implementarea noastră are trei componente cheie: o interfață, un router și modelele AI în sine. Interfața abstrage detaliile de implementare ale sistemului AI, facilitând interacțiunea altor părți ale software-ului nostru. Routerul decide unde să trimită fiecare cerere pe baza diverșilor factori, cum ar fi tipul de solicitare și capacitățile modelelor AI disponibile. În cele din urmă, modelele realizează sarcinile AI reale, care pot necesita procese personalizate de preprocesare a datelor și de formatare a rezultatelor.

Puteți descrie aspectele metodologice care vă ghidează procesul de luare a deciziilor atunci când selectați cele mai potrivite modele de IA și furnizori pentru sarcini specifice?

Pentru fiecare caracteristică nouă pe care o dezvoltăm, începem prin a crea un benchmark de evaluare. Acest punct de referință este conceput pentru a evalua eficiența diferitelor modele AI în rezolvarea sarcinii în cauză. Dar nu ne concentrăm doar pe performanță, luăm în considerare și viteza și costul fiecărui model. Acest lucru ne oferă o vedere holistică a valorii fiecărui model, permițându-ne să alegem cea mai rentabilă opțiune pentru rutarea cererilor.

Cu toate acestea, procesul nostru nu se termină aici. În domeniul AI cu evoluție rapidă, noi modele sunt lansate în mod constant, iar cele existente sunt actualizate în mod regulat. Așadar, ori de câte ori devine disponibil un model nou sau actualizat, ne rulăm din nou benchmark-ul nostru de evaluare. Acest lucru ne permite să comparăm performanța modelului nou sau actualizat cu cea a selecției noastre actuale. Dacă un model nou îl depășește pe cel actual, vom actualiza modulul de router pentru a reflecta această modificare.

Care sunt unele dintre provocările comutării perfecte între diverse modele și furnizori de IA?

Comutarea fără probleme între diverse modele și furnizori de AI prezintă într-adevăr un set de provocări unice.

În primul rând, fiecare furnizor de AI necesită intrări formatate în moduri specifice, iar modelele AI pot reacționa diferit la aceleași solicitări. Aceasta înseamnă că trebuie să optimizăm individual pentru fiecare model, ceea ce poate fi destul de complex având în vedere varietatea de opțiuni.

În al doilea rând, modelele AI au capacități diferite. De exemplu, unele modele pot genera rezultate în format JSON, o caracteristică care se dovedește utilă în multe dintre implementările noastre. Alții pot procesa cantități mari de text, permițându-ne să folosim un context mai cuprinzător pentru anumite sarcini. Gestionarea acestor capacități pentru a maximiza potențialul fiecărui model este o parte esențială a muncii noastre.

În cele din urmă, trebuie să ne asigurăm că răspunsurile generate de AI sunt sigure de utilizat. Modelele AI generative pot produce uneori „halucinații” sau pot genera răspunsuri false, în afara contextului sau chiar potențial dăunătoare. Pentru a atenua acest lucru, implementăm filtre riguroase de dezinfectare post-procesare pentru a detecta și filtra răspunsurile neadecvate.

Cum este proiectată interfața în cadrul sistemului dvs. de inteligență artificială agnostic pentru a se asigura că reține în mod eficient complexitățile tehnologiilor de inteligență artificială subiacente pentru interacțiuni ușor de utilizat?

Designul interfeței noastre este un efort de colaborare între R&D și echipele de inginerie. Lucrăm în funcție de caracteristică, definind cerințele și datele disponibile pentru fiecare caracteristică. Apoi, proiectăm un API care se integrează perfect cu produsul, implementându-l în serviciul nostru intern AI. Acest lucru permite echipelor de inginerie să se concentreze pe logica afacerii, în timp ce serviciul nostru AI se ocupă de complexitatea relaționării cu diferiți furnizori de AI.

Acest proces nu se bazează pe cercetare de ultimă oră, ci mai degrabă pe aplicarea unor practici dovedite de inginerie software.

Având în vedere operațiunile globale, cum abordează InvGate provocarea disponibilității regionale și a conformității cu reglementările locale privind datele?

Asigurarea disponibilității regionale și a conformității cu reglementările locale privind datele este o parte esențială a operațiunilor noastre la InvGate. Selectăm cu atenție furnizori de inteligență artificială care nu numai că pot funcționa la scară, dar și să respecte standardele de securitate de top și să respecte reglementările regionale.

De exemplu, luăm în considerare doar furnizorii care aderă la reglementări precum Regulamentul general privind protecția datelor (GDPR) în UE. Acest lucru ne asigură că putem implementa în siguranță serviciile noastre în diferite regiuni, cu încrederea că operăm în cadrul legal local.

Principalii furnizori de cloud precum AWS, Azure și Google Cloud îndeplinesc aceste cerințe și oferă o gamă largă de funcționalități AI, făcându-i parteneri potriviți pentru operațiunile noastre globale. În plus, monitorizăm continuu modificările reglementărilor locale privind datele pentru a asigura conformitatea continuă, ajustându-ne practicile după cum este necesar.

Cum a evoluat abordarea InvGate pentru dezvoltarea soluțiilor IT în ultimul deceniu, în special odată cu integrarea AI generativă?

În ultimul deceniu, abordarea InvGate de a dezvolta soluții IT a evoluat semnificativ. Ne-am extins baza de funcții cu capabilități avansate, cum ar fi fluxuri de lucru automate, descoperirea dispozitivelor și baza de date de gestionare a configurației (CMDB). Aceste caracteristici au simplificat foarte mult operațiunile IT pentru utilizatorii noștri.

Recent, am început să integrăm GenAI în produsele noastre. Acest lucru a fost posibil datorită progreselor recente ale furnizorilor de LLM, care au început să ofere soluții rentabile. Integrarea GenAI ne-a permis să ne îmbunătățim produsele cu suport bazat pe inteligență artificială, făcând soluțiile noastre mai eficiente și mai ușor de utilizat.

Deși este încă devreme, anticipăm că AI va deveni un instrument omniprezent în operațiunile IT. Ca atare, intenționăm să continuăm să evoluăm produsele noastre prin integrarea în continuare a tehnologiilor AI.

Puteți explica modul în care IA generativă din cadrul AI Hub îmbunătățește viteza și calitatea răspunsurilor la incidentele IT obișnuite?

AI generativ din cadrul hub-ului nostru AI îmbunătățește semnificativ atât viteza, cât și calitatea răspunsurilor la incidentele IT obișnuite. Face acest lucru printr-un proces în mai mulți pași:

Contact initial: Când un utilizator întâmpină o problemă, el sau ea poate deschide un chat cu agentul nostru virtual (VA) alimentat de AI și poate descrie problema. VA caută în mod autonom prin baza de cunoștințe (KB) a companiei și o bază de date publică cu ghiduri de depanare IT, oferind îndrumări într-o manieră conversațională. Acest lucru rezolvă adesea problema rapid și eficient.

Crearea biletelor: Dacă problema este mai complexă, VA poate crea un bilet, extragând automat informații relevante din conversație.

Atribuirea biletului: Sistemul atribuie biletul unui agent de asistență pe baza categoriei biletului, a priorității și a experienței agentului cu probleme similare.

Interacțiunea agentului: agentul poate contacta utilizatorul pentru informații suplimentare sau pentru a-l notifica că problema a fost rezolvată. Interacțiunea este îmbunătățită cu AI, oferind recomandări de scriere pentru a îmbunătăți comunicarea.

Escaladare: Dacă problema necesită escaladare, funcțiile de rezumare automată îi ajută pe manageri să înțeleagă rapid problema.

Analiza postmortem: După ce biletul este închis, AI efectuează o analiză a cauzei principale, ajutând la analiza și rapoartele post-mortem. Agentul poate folosi, de asemenea, AI pentru a redacta un articol din baza de cunoștințe, facilitând rezolvarea unor probleme similare în viitor.

Deși am implementat deja majoritatea acestor funcții, lucrăm continuu la îmbunătățiri și îmbunătățiri suplimentare.

Cu funcții viitoare, cum ar fi mai inteligent MS Teams Virtual Agent, care sunt îmbunătățirile așteptate în experiențele de asistență conversațională?

O cale promițătoare este extinderea experienței conversaționale într-un „copilot”, capabil nu numai să răspundă la întrebări și să întreprindă acțiuni simple, ci și să întreprindă acțiuni mai complexe în numele utilizatorilor. Acest lucru ar putea fi util pentru a îmbunătăți capacitățile de autoservire ale utilizatorilor, precum și pentru a oferi agenților instrumente suplimentare puternice. În cele din urmă, aceste interfețe conversaționale puternice vor face AI un partener omniprezent.

Mulțumim pentru interviul minunat, cititorii care doresc să afle mai multe ar trebui să viziteze InvGate.