Daniel Ciolek, cap de recerca i desenvolupament d'InvGate – Sèrie d'entrevistes

Daniel és un apassionat professional de les TI amb més de 15 anys d'experiència en el sector. Té un doctorat. en Informàtica i una llarga trajectòria en recerca tecnològica. Els seus interessos es troben en múltiples àrees, com ara la intel·ligència artificial, l'enginyeria del programari i la informàtica d'alt rendiment.

Daniel és el cap de recerca i desenvolupament d'InvGate, on lidera les iniciatives d'R+D. Treballa juntament amb els equips de Desenvolupament de Producte i Negoci per dissenyar, implementar i supervisar l'estratègia de R+D de l'empresa. Quan no està investigant, està ensenyant.

InvGate apodera les organitzacions proporcionant les eines per oferir un servei perfecte en tots els departaments, des de TI fins a instal·lacions.

Quan i com et vas interessar inicialment per la informàtica?

El meu interès per la informàtica es remunta a la meva primera infància. Sempre em van fascinar els dispositius electrònics, sovint em vaig trobar explorant i intentant entendre com funcionaven. A mesura que em vaig fer gran, aquesta curiositat em va portar a la codificació. Encara recordo la diversió que em vaig passar escrivint els meus primers programes. A partir d'aquell moment, no vaig tenir cap dubte que volia fer una carrera en informàtica.

Actualment esteu liderant iniciatives d'R+D i implementant noves aplicacions d'IA generativa. Pots comentar alguns dels teus treballs?

Absolutament. Al nostre departament d'R+D, abordem problemes complexos que poden ser difícils de representar i resoldre de manera eficient. El nostre treball no es limita a aplicacions d'IA generativa, però els avenços recents en aquest camp han creat una gran quantitat d'oportunitats que volem aprofitar.

Un dels nostres principals objectius a InvGate sempre ha estat optimitzar la usabilitat del nostre programari. Ho fem supervisant com s'utilitza, identificant colls d'ampolla i treballant diligentment per eliminar-los. Un d'aquests colls d'ampolla que hem trobat sovint està relacionat amb la comprensió i la utilització del llenguatge natural. Aquest era un tema especialment difícil d'abordar sense l'ús de grans models de llenguatge (LLM).

Tanmateix, amb l'aparició recent de LLM rendibles, hem estat capaços d'agilitzar aquests casos d'ús. Les nostres capacitats ara inclouen proporcionar recomanacions d'escriptura, redactar automàticament articles de la base de coneixement i resumir fragments de text extensos, entre moltes altres funcions basades en un idioma.

A InvGate, el vostre equip aplica una estratègia que s'anomena "IA agnòstica". Podries definir què significa això i per què és important?

La IA agnòstica tracta fonamentalment de flexibilitat i adaptabilitat. Essencialment, es tracta de no comprometre's amb un sol model o proveïdor d'IA. En comptes d'això, pretenem mantenir les nostres opcions obertes, aprofitant el millor que ofereix cada proveïdor d'IA, alhora que evitem el risc de quedar bloquejats en un sol sistema.

Podeu pensar-ho així: hauríem d'utilitzar el GPT d'OpenAI, el Gemini de Google o el Llama-2 de Meta per a les nostres funcions d'IA generativa? Hauríem d'optar per un desplegament al núvol de pagament, una instància gestionada o una implementació autoallotjada? No són decisions trivials, i fins i tot poden canviar amb el pas del temps a mesura que es llancin nous models i entren nous proveïdors al mercat.

L'enfocament d'IA agnòstica garanteix que el nostre sistema estigui sempre preparat per adaptar-se. La nostra implementació té tres components clau: una interfície, un encaminador i els mateixos models d'IA. La interfície abstra els detalls d'implementació del sistema d'IA, facilitant la interacció d'altres parts del nostre programari amb ell. L'encaminador decideix on enviar cada sol·licitud en funció de diversos factors, com ara el tipus de sol·licitud i les capacitats dels models d'IA disponibles. Finalment, els models realitzen les tasques d'IA reals, que poden requerir processos de preprocessament de dades personalitzats i de format dels resultats.

Pots descriure els aspectes metodològics que guien el teu procés de presa de decisions a l'hora de seleccionar els models i proveïdors d'IA més adequats per a tasques específiques?

Per a cada característica nova que desenvolupem, comencem creant un punt de referència d'avaluació. Aquest punt de referència està dissenyat per avaluar l'eficiència de diferents models d'IA per resoldre la tasca en qüestió. Però no només ens centrem en el rendiment, també tenim en compte la velocitat i el cost de cada model. Això ens ofereix una visió integral del valor de cada model, cosa que ens permet triar l'opció més rendible per a les sol·licituds d'encaminament.

Tanmateix, el nostre procés no acaba aquí. En el camp de la IA en ràpida evolució, s'estan llançant nous models constantment i els existents s'actualitzen regularment. Per tant, sempre que hi hagi un model nou o actualitzat disponible, tornem a executar el nostre punt de referència d'avaluació. Això ens permet comparar el rendiment del model nou o actualitzat amb el de la nostra selecció actual. Si un model nou supera l'actual, actualitzem el mòdul d'encaminador per reflectir aquest canvi.

Quins són alguns dels reptes de canviar perfectament entre diversos models i proveïdors d'IA?

Canviar perfectament entre diversos models i proveïdors d'IA presenta un conjunt de reptes únics.

En primer lloc, cada proveïdor d'IA requereix entrades formatades de maneres específiques i els models d'IA poden reaccionar de manera diferent a les mateixes peticions. Això vol dir que hem d'optimitzar individualment per a cada model, cosa que pot ser força complexa donada la varietat d'opcions.

En segon lloc, els models d'IA tenen capacitats diferents. Per exemple, alguns models poden generar sortida en format JSON, una característica que resulta útil en moltes de les nostres implementacions. Altres poden processar grans quantitats de text, cosa que ens permet utilitzar un context més complet per a algunes tasques. La gestió d'aquestes capacitats per maximitzar el potencial de cada model és una part essencial del nostre treball.

Finalment, hem de garantir que les respostes generades per IA siguin segures d'utilitzar. Els models generatius d'IA de vegades poden produir "al·lucinacions" o generar respostes falses, fora de context o fins i tot potencialment perjudicials. Per mitigar-ho, implementem filtres rigorosos de desinfecció posterior al processament per detectar i filtrar respostes inadequades.

Com es dissenya la interfície dins del vostre sistema d'IA agnòstic per assegurar-vos que abstragui eficaçment les complexitats de les tecnologies d'IA subjacents per a interaccions fàcils d'utilitzar?

El disseny de la nostra interfície és un esforç col·laboratiu entre R+D i els equips d'enginyeria. Treballem funció per característica, definint els requisits i les dades disponibles per a cada característica. A continuació, dissenyem una API que s'integra perfectament amb el producte, implementant-la al nostre servei d'IA intern. Això permet als equips d'enginyeria centrar-se en la lògica empresarial, mentre que el nostre servei d'IA gestiona les complexitats de tractar amb diferents proveïdors d'IA.

Aquest procés no es basa en la recerca d'avantguarda, sinó en l'aplicació de pràctiques provades d'enginyeria de programari.

Tenint en compte les operacions globals, com gestiona InvGate el repte de la disponibilitat regional i el compliment de la normativa local de dades?

Garantir la disponibilitat regional i el compliment de les regulacions locals de dades és una part crucial de les nostres operacions a InvGate. Seleccionem acuradament proveïdors d'IA que no només poden operar a escala, sinó que també compleixen els estàndards de seguretat més alts i compleixen les regulacions regionals.

Per exemple, només considerem els proveïdors que compleixen normatives com ara el Reglament general de protecció de dades (GDPR) a la UE. Això garanteix que podem desplegar els nostres serveis de manera segura a diferents regions, amb la confiança que estem operant dins del marc legal local.

Els principals proveïdors de núvol com AWS, Azure i Google Cloud compleixen aquests requisits i ofereixen una àmplia gamma de funcionalitats d'IA, cosa que els converteix en socis adequats per a les nostres operacions globals. A més, monitoritzem contínuament els canvis en la normativa local de dades per garantir el compliment continu, ajustant les nostres pràctiques segons sigui necessari.

Com ha evolucionat l'enfocament d'InvGate per desenvolupar solucions informàtiques durant l'última dècada, especialment amb la integració de l'IA generativa?

Durant l'última dècada, l'enfocament d'InvGate per desenvolupar solucions de TI ha evolucionat significativament. Hem ampliat la nostra base de funcions amb capacitats avançades com ara fluxos de treball automatitzats, descobriment de dispositius i Base de dades de gestió de configuració (CMDB). Aquestes funcions han simplificat molt les operacions de TI per als nostres usuaris.

Recentment, hem començat a integrar GenAI als nostres productes. Això ha estat possible gràcies als avenços recents dels proveïdors de LLM, que han començat a oferir solucions rendibles. La integració de GenAI ens ha permès millorar els nostres productes amb suport basat en IA, fent que les nostres solucions siguin més eficients i fàcils d'utilitzar.

Tot i que encara són els primers dies, predim que la IA es convertirà en una eina omnipresent en les operacions de TI. Com a tal, tenim previst continuar evolucionant els nostres productes integrant encara més les tecnologies d'IA.

Pots explicar com la IA generativa dins de l'AI Hub millora la velocitat i la qualitat de les respostes als incidents informàtics habituals?

La IA generativa del nostre centre d'IA millora significativament tant la velocitat com la qualitat de les respostes als incidents informàtics habituals. Ho fa mitjançant un procés de diversos passos:

Contacte inicial: quan un usuari troba un problema, pot obrir un xat amb el nostre agent virtual (VA) impulsat per IA i descriure el problema. El VA cerca de forma autònoma a través de la base de coneixements (KB) de l'empresa i una base de dades pública de guies de resolució de problemes informàtics, proporcionant orientació de manera conversacional. Això sovint resol el problema de manera ràpida i eficient.

Creació d'entrades: Si el problema és més complex, el VA pot crear un bitllet, extreint automàticament la informació rellevant de la conversa.

Assignació d'entrades: el sistema assigna el bitllet a un agent d'assistència en funció de la categoria del bitllet, la prioritat i l'experiència de l'agent amb problemes similars.

Interacció de l'agent: l'agent pot contactar amb l'usuari per obtenir informació addicional o per notificar-li que el problema s'ha resolt. La interacció es millora amb la IA, proporcionant recomanacions d'escriptura per millorar la comunicació.

escalada: Si el problema requereix una escalada, les funcions de resum automàtic ajuden els gestors a entendre el problema ràpidament.

Anàlisi postmortem: Un cop tancat el bitllet, l'IA realitza una anàlisi de la causa arrel, ajudant en l'anàlisi i els informes postmortem. L'agent també pot utilitzar l'IA per redactar un article de la base de coneixement, facilitant la resolució de problemes similars en el futur.

Tot i que ja hem implementat la majoria d'aquestes funcions, estem treballant contínuament en més millores i millores.

Amb les properes funcions com l'agent virtual MS Teams més intel·ligent, quines són les millores esperades en les experiències de suport conversacional?

Un camí prometedor és estendre l'experiència conversacional a un "copilot", no només capaç de respondre preguntes i fer accions senzilles, sinó també de fer accions més complexes en nom dels usuaris. Això podria ser útil per millorar les capacitats d'autoservei dels usuaris, així com per proporcionar eines potents addicionals als agents. Finalment, aquestes potents interfícies de conversa convertiran la IA en un company omnipresent.

Gràcies per la gran entrevista, els lectors que vulguin aprendre més haurien de visitar InvGate.