Daniel Ciolek, Șef al Departamentului de Cercetare și Dezvoltare la InvGate – Seria de Interviuri

Daniel este un profesionist IT pasionat, cu peste 15 ani de experiență în industrie. El are un doctorat în Informatică și o carieră lungă în cercetarea tehnologică. Interesele sale se încadrează în multiple domenii, cum ar fi Inteligența Artificială, Ingineria Software și Calculul de Înaltă Performanță.

Daniel este Șeful Departamentului de Cercetare și Dezvoltare la InvGate, unde conduce inițiativele de cercetare și dezvoltare. El lucrează împreună cu echipele de Dezvoltare a Produsului și Afaceri pentru a proiecta, implementa și monitoriza strategia de cercetare și dezvoltare a companiei. Când nu este implicat în cercetare, el predă.

InvGate împuternicește organizațiile prin oferirea de instrumente pentru a furniza servicii fără întrerupere în diverse departamente, de la IT la Facilități.

Când și cum ai devenit inițial interesat de știința calculatoarelor?

Interesul meu pentru știința calculatoarelor datează de la copilărie. Am fost întotdeauna fascinat de dispozitivele electronice, adesea explorând și încercând să înțeleg cum funcționează. Pe măsură ce am crescut, această curiozitate m-a condus spre programare. Încă îmi amintesc de plăcerea pe care am avut-o scriind primele mele programe. De atunci, nu a existat nicio îndoială în mintea mea că vreau să urmez o carieră în știința calculatoarelor.

Sunteți în prezent lider al inițiativelor de cercetare și dezvoltare și implementați aplicații noi de inteligență artificială generativă. Puteți discuta despre unele dintre lucrările dvs.?

Cu siguranță. În departamentul nostru de cercetare și dezvoltare, abordăm probleme complexe care pot fi dificil de reprezentat și rezolvat eficient. Lucrarea noastră nu se limitează la aplicații de inteligență artificială generativă, dar progresele recente în acest domeniu au creat o mulțime de oportunități pe care suntem dispuși să le exploateze.

Unul dintre obiectivele noastre principale la InvGate a fost întotdeauna să optimizăm utilizabilitatea software-ului nostru. O facem prin monitorizarea modului în care este utilizat, identificarea blocajelor și lucrul diligent pentru a le elimina. Un astfel de blocaj pe care l-am întâlnit adesea este legat de înțelegerea și utilizarea limbajului natural. Acesta a fost un problemă deosebit de dificil de abordat fără utilizarea modelelor de limbaj mari (LLM).

Cu toate acestea, odată cu apariția recentă a modelelor LLM rentabile, am putut să simplificăm aceste cazuri de utilizare. Capabilitățile noastre actuale includ oferirea de recomandări de scriere, redactarea automată a articolelor de bază de cunoștințe și rezumarea unor texte extinse, printre multe alte caracteristici bazate pe limbaj.

La InvGate, echipa dvs. aplică o strategie numită „inteligență artificială agnostică”. Puteți defini ce înseamnă acest lucru și de ce este important?

Inteligența artificială agnostică se referă fundamental la flexibilitate și adaptabilitate. Esențial, este vorba despre a nu se angaja la un singur model de inteligență artificială sau furnizor. În schimb, ne propunem să ținem opțiunile deschise, valorificând cele mai bune oferte ale fiecărui furnizor de inteligență artificială, evitând în același timp riscul de a fi blocați într-un sistem.

Puteți gândi astfel: ar trebui să utilizăm OpenAI GPT, Google Gemini sau Meta Llama-2 pentru caracteristicile noastre de inteligență artificială generativă? Ar trebui să alegem o implementare cloud plătită la utilizare, o instanță gestionată sau una auto-găzduită? Acestea nu sunt decizii triviale și pot chiar să se schimbe în timp, pe măsură ce sunt lansate noi modele și intră noi furnizori pe piață.

Abordarea noastră de inteligență artificială agnostică asigură că sistemul nostru este întotdeauna pregătit să se adapteze. Implementarea noastră are trei componente cheie: o interfață, un router și modelele de inteligență artificială însele. Interfața abstractizează detaliile de implementare ale sistemului de inteligență artificială, făcându-l mai ușor pentru alte părți ale software-ului nostru să interacționeze cu el. Routerul decide unde să trimită fiecare cerere pe baza unor factori precum tipul de cerere și capacitățile modelelor de inteligență artificială disponibile. În final, modelele efectuează sarcinile reale de inteligență artificială, care pot necesita procese de prelucrare a datelor și formatare a rezultatelor personalizate.

Puteți descrie aspectele metodologice care ghidă procesul de luare a deciziilor atunci când selectați cele mai potrivite modele de inteligență artificială și furnizori pentru sarcini specifice?

Pentru fiecare nouă caracteristică pe care o dezvoltăm, începem prin crearea unui benchmark de evaluare. Acest benchmark este proiectat pentru a evalua eficiența diferitelor modele de inteligență artificială în rezolvarea sarcinii respective. Dar nu ne concentrăm doar pe performanță, ci și pe viteza și costul fiecărui model. Acest lucru ne oferă o vedere holistică a valorii fiecărui model, permițându-ne să alegem opțiunea cea mai rentabilă pentru a direcționa cererile.

Cu toate acestea, procesul nostru nu se termină aici. În domeniul în rapidă evoluție al inteligenței artificiale, noi modele sunt lansate constant, iar cele existente sunt actualizate regulat. Prin urmare, de fiecare dată când un model nou sau actualizat devine disponibil, rerulăm benchmark-ul nostru de evaluare. Acest lucru ne permite să comparăm performanța noului model cu cea a selecției noastre actuale. Dacă un model nou performează mai bine decât cel actual, actualizăm modulul nostru de routing pentru a reflecta această schimbare.

Care sunt unele dintre provocările schimbării fără întrerupere între diverse modele de inteligență artificială și furnizori?

Schimbarea fără întrerupere între diverse modele de inteligență artificială și furnizori prezintă, într-adevăr, un set de provocări unice.

Mai întâi, fiecare furnizor de inteligență artificială necesită intrări formate în moduri specifice, iar modelele de inteligență artificială pot reacționa diferit la aceleași cereri. Acest lucru înseamnă că trebuie să optimizăm individual pentru fiecare model, ceea ce poate fi destul de complex având în vedere varietatea de opțiuni.

În al doilea rând, modelele de inteligență artificială au capacități diferite. De exemplu, unele modele pot genera ieșiri în format JSON, o caracteristică care se dovedește utilă în multe dintre implementările noastre. Altele pot procesa cantități mari de text, permițându-ne să utilizăm un context mai cuprinzător pentru anumite sarcini. Gestionarea acestor capacități pentru a maximiza potențialul fiecărui model este o parte esențială a muncii noastre.

În final, trebuie să ne asigurăm că răspunsurile generate de inteligența artificială sunt sigure pentru utilizare. Modelele de inteligență artificială generativă pot, uneori, produce „halucinații” sau genera răspunsuri false, lipsite de context sau chiar potențial dăunătoare. Pentru a mitigă această problemă, implementăm filtre riguroase de sancționare post-procesare pentru a detecta și filtra răspunsurile inadecvate.

Cum este proiectată interfața în cadrul sistemului dvs. de inteligență artificială agnostică pentru a abstractiza eficient complexitățile tehnologiilor de inteligență artificială subiacente pentru interacțiuni prietenoase cu utilizatorul?

Proiectarea interfeței noastre este un efort colaborativ între echipele noastre de cercetare și dezvoltare și inginerie. Lucrăm pe bază de caracteristică, definind cerințele și datele disponibile pentru fiecare caracteristică. Apoi, proiectăm o interfață API care se integrează fără probleme cu produsul, implementând-o în serviciul nostru intern de inteligență artificială. Acest lucru permite echipelor de inginerie să se concentreze pe logica de afaceri, în timp ce serviciul nostru de inteligență artificială gestionează complexitățile legate de interacțiunea cu diferiți furnizori de inteligență artificială.

Acest proces nu se bazează pe cercetarea de ultimă oră, ci mai degrabă pe aplicarea practicilor dovedite de inginerie software.

Având în vedere operațiunile globale, cum gestionează InvGate provocarea disponibilității regionale și a conformității cu reglementările locale de date?

Asigurarea disponibilității regionale și a conformității cu reglementările locale de date este o parte crucială a operațiunilor noastre la InvGate. Selectăm cu atenție furnizorii de inteligență artificială care nu numai că pot opera la scară, ci și respectă standardele de securitate de top și se conformează reglementărilor regionale.

De exemplu, luăm în considerare doar furnizorii care aderă la reglementări precum Regulamentul General privind Protecția Datelor (GDPR) în UE. Acest lucru ne asigură că putem implementa în siguranță serviciile noastre în diverse regiuni, având încrederea că operăm în cadrul legilor locale.

Furnizorii de cloud importanți, cum ar fi AWS, Azure și Google Cloud, îndeplinesc aceste cerințe și oferă o gamă largă de funcționalități de inteligență artificială, făcându-i parteneri potriviți pentru operațiunile noastre globale. Mai mult, monitorizăm continuu schimbările în reglementările locale de date pentru a asigura conformitatea continuă, ajustând practicile noastre după cum este necesar.

Cum a evoluat abordarea InvGate în dezvoltarea de soluții IT în ultimul deceniu, în special cu integrarea inteligenței artificiale generative?

În ultimul deceniu, abordarea InvGate în dezvoltarea de soluții IT a evoluat semnificativ. Am extins baza noastră de caracteristici cu funcționalități avansate, cum ar fi fluxuri de lucru automate, descoperirea dispozitivelor și baza de date de configurare (CMDB). Aceste caracteristici au simplificat semnificativ operațiunile IT pentru utilizatorii noștri.

Recent, am început să integrăm inteligența artificială generativă în produsele noastre. Acest lucru a fost posibil datorită progreselor recente în furnizorii de modele de limbaj mari (LLM), care au început să ofere soluții rentabile. Integrarea inteligenței artificiale generative ne-a permis să îmbunătățim produsele noastre cu suport bazat pe inteligență artificială, făcând soluțiile noastre mai eficiente și mai prietenoase cu utilizatorul.

Deși este încă devreme, prezicem că inteligența artificială va deveni un instrument ubicuu în operațiunile IT. Prin urmare, ne propunem să continuăm evoluția produselor noastre prin integrarea ulterioară a tehnologiilor de inteligență artificială.

Puteți explica cum inteligența artificială generativă din hub-ul de inteligență artificială îmbunătățește viteza și calitatea răspunsurilor la incidente IT comune?

Inteligența artificială generativă din hub-ul nostru de inteligență artificială îmbunătățește semnificativ atât viteza, cât și calitatea răspunsurilor la incidente IT comune. Acest lucru se realizează printr-un proces multi-etapă:

Contact Inițial: Când un utilizator întâmpină o problemă, el sau ea poate deschide o conversație cu agentul nostru virtual (VA) bazat pe inteligență artificială și descrie problema. VA caută autonom prin baza noastră de cunoștințe și o bază de date publică de ghiduri de depanare IT, oferind îndrumări într-un mod conversațional. Acest lucru rezolvă adesea problema rapid și eficient.

Crearea unui bilet: Dacă problema este mai complexă, VA poate crea un bilet, extrăgând automat informații relevante din conversație.

Atribuirea biletului: Sistemul atribuie biletul unui agent de suport pe baza categoriei biletului, priorității și experienței agentului cu probleme similare.

Interacțiunea agentului: Agentul poate contacta utilizatorul pentru informații suplimentare sau pentru a-l informa că problema a fost rezolvată. Interacțiunea este îmbunătățită cu inteligență artificială, oferind recomandări de scriere pentru a îmbunătăți comunicarea.

Escaladare: Dacă problema necesită escaladare, funcțiile de rezumare automată ajută managerii să înțeleagă rapid problema.

Analiză post-mortem: După ce biletul este închis, inteligența artificială efectuează o analiză a cauzei profunde, ajutând la analiza post-mortem și la rapoarte. Agentul poate, de asemenea, să utilizeze inteligența artificială pentru a redacta un articol de bază de cunoștințe, facilitând rezolvarea unor probleme similare în viitor.

Deși am implementat majoritatea acestor caracteristici, suntem în continuare implicați în îmbunătățiri și extinderi suplimentare.

Cu caracteristici viitoare, cum ar fi Agentul Virtual mai inteligent din Microsoft Teams, care sunt îmbunătățirile așteptate în experiența de suport conversațional?

Una dintre direcțiile promițătoare este extinderea experienței conversaționale într-un „copilot”, capabil nu numai să răspundă la întrebări și să efectueze acțiuni simple, ci și să efectueze acțiuni mai complexe în numele utilizatorilor. Acest lucru ar putea fi util pentru a îmbunătăți capacitățile de auto-servire ale utilizatorilor, precum și pentru a oferi instrumente suplimentare puternice agenților. În cele din urmă, aceste interfețe conversaționale puternice vor face inteligența artificială un companion ubicuu.

Mulțumim pentru acest interviu excelent; cititorii care doresc să afle mai multe pot vizita InvGate.