Daniel Ciolek, Forsknings- og udviklingschef hos InvGate – Interviewserie

Daniel er en passioneret IT-professionel med mere end 15 års erfaring i branchen. Han har en ph.d. i datalogi og en lang karriere inden for teknologisk forskning. Hans interesser falder inden for flere områder, såsom kunstig intelligens, software-udvikling og højtydende beregninger.

Daniel er Forsknings- og udviklingschef hos InvGate, hvor han leder R&D-initiativerne. Han arbejder sammen med Produkt- og Forretningsudviklingsteams for at designe, implementere og overvåge virksomhedens R&D-strategi. Når han ikke forsker, underviser han.

InvGate giver organisationer mulighed for at levere sammenhængende service på tværs af afdelinger, fra IT til faciliteter.

Hvornår og hvordan blev du først interesseret i datalogi?

Mit interesse for datalogi daterer tilbage til min barndom. Jeg var altid fascineret af elektroniske enheder og forsøgte ofte at forstå, hvordan de fungerede. Da jeg blev ældre, ledte denne nysgerrighed mig til programmering. Jeg husker stadig, hvor meget sjov jeg havde, da jeg skrev mine første programmer. Fra det øjeblik var der ingen tvivl i mit sind om, at jeg ville forfølge en karriere inden for datalogi.

Du leder i øjeblikket R&D-initiativer og implementerer nye generative AI-anvendelser. Kan du diskutere nogle af dine arbejder?

Absolut. I vores R&D-afdeling løser vi komplekse problemer, der kan være svære at repræsentere og løse effektivt. Vores arbejde er ikke begrænset til generative AI-anvendelser, men de seneste fremskridt inden for dette felt har skabt en rigdom af muligheder, som vi er ivrige efter at udnytte.

En af vores hovedmål hos InvGate har altid været at optimere brugervenligheden af vores software. Vi gør dette ved at overvåge, hvordan den bruges, identificere flaskehalse og arbejde målrettet på at fjerne dem. En af de flaskehalse, vi ofte støder på, er relateret til forståelse og udnyttelse af naturligt sprog. Dette var et særligt svært problem at løse uden brug af Large Language Models (LLM’er).

Men med den seneste opdukken af kosteffektive LLM’er har vi kunnet strømlinje disse brugstilfælde. Vores kapaciteter omfatter nu at give skriveforslag, automatisk udarbejde videnbasartikler og sammenfatte omfattende tekster, blandt mange andre sprog-baserede funktioner.

Hos InvGate anvender dit team en strategi, der kaldes “agnostisk AI”. Kan du definere, hvad dette betyder, og hvorfor det er vigtigt?

Agnostisk AI handler grundlæggende om fleksibilitet og tilpasning. Det handler om ikke at forpligte sig til en enkelt AI-model eller leverandør. I stedet søger vi at holde vores muligheder åbne, udnytte det bedste, hver AI-leverandør tilbyder, og undgå risikoen for at blive låst til et system.

Du kan tænke på det sådan: Skal vi bruge OpenAI’s GPT, Google’s Gemini eller Meta’s Llama-2 til vores generative AI-funktioner? Skal vi vælge en betal-per-brug cloududgave, en administreret forekomst eller en selvhostet udgave? Disse er ikke trivielle beslutninger og kan endda ændre sig over tid, da nye modeller udgives og nye leverandører kommer ind på markedet.

Den agnostiske AI-tilgang sikrer, at vores system altid er parat til at tilpasse sig. Vores implementering har tre nøglekomponenter: et interface, en router og de AI-modeller selv. Interfacet abstraherer implementeringsdetaljerne for AI-systemet, hvilket gør det lettere for andre dele af vores software at interagere med det. Routeren beslutter, hvor hver anmodning skal sendes baseret på forskellige faktorer, såsom anmodningstypen og de tilgængelige AI-modellers funktioner. Til sidst udfører modellerne de faktiske AI-opgaver, som kan kræve brug af tilpasset dataforarbejdning og resultatformateringsprocesser.

Kan du beskrive de metodiske aspekter, der vejleder jeres beslutningsproces, når I vælger de mest egnede AI-modeller og -leverandører til bestemte opgaver?

Til hver ny funktion, vi udvikler, laver vi en evalueringsskala. Denne skala er designet til at vurdere effektiviteten af forskellige AI-modeller i løsningen af den pågældende opgave. Men vi fokuserer ikke kun på ydelse, vi overvejer også hastigheden og omkostningerne forbundet med hver model. Dette giver os en holistisk synsvinkel på hver models værdi, hvilket tillader os at vælge den mest omkostningseffektive mulighed for at rute anmodninger.

Men vores proces stopper ikke der. I det hurtigt udviklende felt for AI udgives nye modeller konstant, og eksisterende modeller opdateres regelmæssigt. Så når en ny eller opdateret model bliver tilgængelig, genkører vi vores evalueringsskala. Dette giver os mulighed for at sammenligne ydelsen af den nye eller opdaterede model med den nuværende valgte models ydelse. Hvis en ny model overgår den nuværende, opdaterer vi vores routermodul for at afspejle denne ændring.

Hvad er nogle af udfordringerne ved at skifte ubemærket mellem forskellige AI-modeller og -leverandører?

At skifte ubemærket mellem forskellige AI-modeller og -leverandører præsenterer i sandhed en sæt unikke udfordringer.

Først og fremmest kræver hver AI-leverandør, at input formateres på bestemte måder, og AI-modellerne kan reagere forskelligt på de samme anmodninger. Dette betyder, at vi skal optimere individuelt for hver model, hvilket kan være ret komplekst, når man tager i betragtning det store udvalg af muligheder.

For det andet har AI-modeller forskellige funktioner. For eksempel kan nogle modeller generere output i JSON-format, en funktion, der viser sig nyttig i mange af vores implementeringer. Andre kan behandle store mængder tekst, hvilket giver os mulighed for at bruge en mere omfattende kontekst til visse opgaver. At styre disse funktioner for at maksimere hver models potentiale er en væsentlig del af vores arbejde.

Til sidst må vi sikre, at AI-genererede svar er sikre at bruge. Generative AI-modeller kan nogle gange producere “hallucinationer” eller generere svar, der er falske, uden for kontekst eller potentielt skadelige. For at afhjælpe dette implementerer vi strenge post-processing-sanitetsfiltre for at opdage og filtrere utilpassende svar.

Hvordan er interfacet designet i jeres agnostiske AI-system for at sikre, at det effektivt abstraherer kompleksiteten af de underliggende AI-teknologier for brugervenlige interaktioner?

Designet af vores interface er et samarbejde mellem R&D- og ingeniørteams. Vi arbejder på en funktion-for-funktion-basis, hvor vi definerer kravene og de tilgængelige data for hver funktion. Derefter designer vi en API, der integrerer ubemærket med produktet, og implementerer den i vores interne AI-Service. Dette giver ingeniørteams mulighed for at fokusere på forretningslogikken, mens vores AI-Service håndterer kompleksiteten ved at arbejde med forskellige AI-leverandører.

Denne proces afhænger ikke af nyeste forskning, men snarere af anvendelsen af beprøvede software-udviklingspraksis.

Med tanke på global drift, hvordan håndterer InvGate udfordringen med regional tilgængelighed og overholdelse af lokale dataregler?

At sikre regional tilgængelighed og overholdelse af lokale dataregler er en afgørende del af vores drift hos InvGate. Vi vælger omhyggeligt AI-leverandører, der ikke kun kan operere på stor skala, men også overholder top-sikkerhedsstandarder og opfylder regionale regler.

For eksempel overvejer vi kun leverandører, der overholder regler såsom Den Generelle Databeskyttelsesforordning (GDPR) i EU. Dette sikrer, at vi kan udvikle vores tjenester i forskellige regioner med tillid til, at vi opererer inden for det lokale lovgivningsramme.

Store cloud-leverandører såsom AWS, Azure og Google Cloud opfylder disse krav og tilbyder et bredt udvalg af AI-funktioner, hvilket gør dem til egnede partnere til vores globale drift. Desuden overvåger vi løbende ændringer i lokale dataregler for at sikre fortsat overholdelse og tilpasser vores praksis efter behov.

Hvordan har InvGates tilgang til udvikling af IT-løsninger udviklet sig over de sidste 10 år, især med integrationen af Generative AI?

Over de sidste 10 år har InvGates tilgang til udvikling af IT-løsninger udviklet sig betydeligt. Vi har udvidet vores funktionssæt med avancerede funktioner såsom automatiserede arbejdsgange, enhedsopdagelse og Configuration Management Database (CMDB). Disse funktioner har væsentligt simplificeret IT-drift for vores brugere.

For nylig har vi påbegyndt integrationen af GenAI i vores produkter. Dette er blevet muligt takket være de seneste fremskridt i LLM-leverandører, der har begyndt at tilbyde kosteffektive løsninger. Integrationen af GenAI har givet os mulighed for at forbedre vores produkter med AI-drevet support, hvilket har gjort vores løsninger mere effektive og brugervenlige.

Selv om det endnu er tidligt, forudser vi, at AI vil blive et almindeligt værktøj i IT-drift. Som sådan planlægger vi at fortsætte med at udvikle vores produkter ved at integrere yderligere AI-teknologier.

Kan du forklare, hvordan den generative AI inden for AI Hub forbedrer hastigheden og kvaliteten af svar på almindelige IT-incidenter?

Den generative AI inden for vores AI Hub forbedrer betydeligt både hastigheden og kvaliteten af svar på almindelige IT-incidenter. Den gør dette gennem en flertrinsproces:

Initial Kontakt: Når en bruger støder på et problem, kan han eller hun åbne en chat med vores AI-drevne virtuelle agent (VA) og beskrive problemet. VA søger selvstændigt gennem virksomhedens Videnbas (KB) og en offentlig database med IT-fejlfinding vejledninger, og giver vejledning på en samtaleagtig måde. Dette løser ofte problemet hurtigt og effektivt.

Billetsoprettelse: Hvis problemet er mere komplekst, kan VA oprette en billet, hvor relevant information automatisk udtrækkes fra samtalen.

Billets tildeling: Systemet tildeler billetten til en supportagent baseret på billettens kategori, prioritet og agentens erfaring med lignende problemer.

Agentinteraktion: Agenten kan kontakte brugeren for yderligere information eller for at underrette om, at problemet er løst. Interaktionen forbedres med AI, der giver skriveforslag til at forbedre kommunikationen.

Escalering: Hvis problemet kræver eskalering, hjælper automatiske sammenfattningsfunktioner ledere med at hurtigt forstå problemet.

Postmortem-analyse: Efter at billetten er lukket, udfører AI en rodårsagsanalyse, der hjælper med postmortem-analyse og rapporter. Agenten kan også bruge AI til at udarbejde en videnbasartikel, hvilket faciliterer løsningen af lignende problemer i fremtiden.

Selv om vi allerede har implementeret de fleste af disse funktioner, arbejder vi løbende på yderligere forbedringer og forbedringer.

Med kommende funktioner såsom den klogere MS Teams Virtuelle Agent, hvad er de forventede forbedringer i samtalestøttede oplevelser?

En lovende vej fremad er at udvide samtaleoplevelsen til en “copilot”, der ikke kun kan svare på spørgsmål og udføre simple handlinger, men også kan udføre mere komplekse handlinger på vegne af brugerne. Dette kunne være nyttigt til at forbedre brugernes selvbetjeningsfunktioner samt give agenter yderligere kraftfulde værktøjer. Til sidst vil disse kraftfulde samtalegrænseflader gøre AI til en almindelig ledsager.

Tak for det gode interview. Læsere, der ønsker at lære mere, kan besøge InvGate.