Daniel Ciolek, Head of Research and Development hos InvGate – Interview Series

Daniel er en passioneret IT-professionel med mere end 15 års erfaring i branchen. Han har en ph.d. i datalogi og en lang karriere inden for teknologiforskning. Hans interesser falder inden for flere områder, såsom kunstig intelligens, software engineering og højtydende computing.

Daniel er chef for forskning og udvikling hos InvGate, hvor han leder R&D-initiativerne. Han arbejder sammen med produkt- og forretningsudviklingsteamene for at designe, implementere og overvåge virksomhedens R&D-strategi. Når han ikke forsker, underviser han.

InvGate styrker organisationer ved at levere værktøjerne til at levere problemfri service på tværs af afdelinger, fra it til faciliteter.

Hvornår og hvordan begyndte du at interessere dig for datalogi?

Min interesse for datalogi går tilbage til min tidlige barndom. Jeg har altid været fascineret af elektroniske enheder, og oplevede ofte, at jeg udforskede og forsøgte at forstå, hvordan de fungerede. Da jeg blev ældre, førte denne nysgerrighed mig til at kode. Jeg husker stadig det sjove, jeg havde med at skrive mine første programmer. Fra det øjeblik var der ingen tvivl i mit sind om, at jeg ville forfølge en karriere inden for datalogi.

Du leder i øjeblikket R&D-initiativer og implementerer nye generative AI-applikationer. Kan du diskutere noget af dit arbejde?

Absolut. I vores R&D-afdeling tackler vi komplekse problemer, som kan være udfordrende at repræsentere og løse effektivt. Vores arbejde er ikke begrænset til generative AI-applikationer, men de seneste fremskridt på dette felt har skabt et væld af muligheder, som vi gerne vil udnytte.

Et af vores hovedformål hos InvGate har altid været at optimere brugervenligheden af ​​vores software. Det gør vi ved at overvåge, hvordan det bruges, identificere flaskehalse og flittigt arbejde for at fjerne dem. En sådan flaskehals, vi ofte er stødt på, er relateret til forståelsen og brugen af ​​naturligt sprog. Dette var et særligt vanskeligt problem at løse uden brug af store sprogmodeller (LLM'er).

Men med den nylige fremkomst af omkostningseffektive LLM'er har vi været i stand til at strømline disse use cases. Vores muligheder inkluderer nu at levere skriveanbefalinger, automatisk udarbejdelse af videnbaseartikler og opsummering af omfattende tekststykker, blandt mange andre sprogbaserede funktioner.

Hos InvGate anvender dit team en strategi, der kaldes "agnostisk AI". Kan du definere, hvad det betyder, og hvorfor det er vigtigt?

Agnostisk kunstig intelligens handler grundlæggende om fleksibilitet og tilpasningsevne. I bund og grund handler det om ikke at forpligte sig til en enkelt AI-model eller udbyder. I stedet sigter vi efter at holde vores muligheder åbne og udnytte det bedste, hver AI-udbyder tilbyder, samtidig med at vi undgår risikoen for at blive låst til ét system.

Du kan tænke på det sådan her: skal vi bruge OpenAIs GPT, Googles Gemini eller Metas Llama-2 til vores generative AI-funktioner? Skal vi vælge en sky-implementering, som du betaler efterhånden, en administreret instans eller en selv-hostet implementering? Dette er ikke trivielle beslutninger, og de kan endda ændre sig over tid, efterhånden som nye modeller frigives og nye udbydere kommer på markedet.

Den Agnostiske AI-tilgang sikrer, at vores system altid er klar til at tilpasse sig. Vores implementering har tre nøglekomponenter: en grænseflade, en router og selve AI-modellerne. Grænsefladen abstraherer implementeringsdetaljerne for AI-systemet, hvilket gør det nemmere for andre dele af vores software at interagere med det. Routeren bestemmer, hvor hver anmodning skal sendes, baseret på forskellige faktorer, såsom typen af ​​anmodning og mulighederne for de tilgængelige AI-modeller. Endelig udfører modellerne de faktiske AI-opgaver, som kan kræve tilpasset dataforbehandling og resultatformateringsprocesser.

Kan du beskrive de metodiske aspekter, der styrer din beslutningsproces, når du skal vælge de bedst egnede AI-modeller og udbydere til specifikke opgaver?

For hver ny funktion, vi udvikler, begynder vi med at oprette et evalueringsbenchmark. Dette benchmark er designet til at vurdere effektiviteten af ​​forskellige AI-modeller til at løse den aktuelle opgave. Men vi fokuserer ikke kun på ydeevne, vi overvejer også hastigheden og omkostningerne ved hver model. Dette giver os et holistisk syn på hver models værdi, hvilket giver os mulighed for at vælge den mest omkostningseffektive mulighed for routing-anmodninger.

Vores proces slutter dog ikke der. Inden for AI-området, der udvikler sig hurtigt, bliver der konstant frigivet nye modeller, og eksisterende opdateres løbende. Så hver gang en ny eller opdateret model bliver tilgængelig, kører vi vores evalueringsbenchmark igen. Dette lader os sammenligne ydeevnen af ​​den nye eller opdaterede model med vores nuværende udvalg. Hvis en ny model overgår den nuværende, opdaterer vi derefter vores routermodul for at afspejle denne ændring.

Hvad er nogle af udfordringerne ved problemfrit at skifte mellem forskellige AI-modeller og udbydere?

Problemfrit at skifte mellem forskellige AI-modeller og udbydere giver faktisk et sæt unikke udfordringer.

For det første kræver hver AI-udbyder input, der er formateret på bestemte måder, og AI-modellerne kan reagere forskelligt på de samme anmodninger. Det betyder, at vi skal optimere individuelt for hver model, hvilket kan være ret komplekst givet de mange muligheder.

For det andet har AI-modeller forskellige muligheder. For eksempel kan nogle modeller generere output i JSON-format, en funktion, der viser sig nyttig i mange af vores implementeringer. Andre kan behandle store mængder tekst, hvilket gør os i stand til at bruge en mere omfattende kontekst til nogle opgaver. At administrere disse muligheder for at maksimere potentialet i hver model er en væsentlig del af vores arbejde.

Endelig skal vi sikre, at AI-genererede svar er sikre at bruge. Generative AI-modeller kan nogle gange producere "hallucinationer" eller generere svar, der er falske, ude af kontekst eller endda potentielt skadelige. For at afbøde dette, implementerer vi strenge efterbehandlingsrensningsfiltre for at opdage og bortfiltrere upassende svar.

Hvordan er grænsefladen designet i dit agnostiske AI-system for at sikre, at det effektivt abstraherer kompleksiteten af ​​de underliggende AI-teknologier til brugervenlige interaktioner?

Designet af vores grænseflade er et samarbejde mellem R&D og ingeniørteamene. Vi arbejder på en funktion-for-funktion basis og definerer kravene og tilgængelige data for hver funktion. Derefter designer vi en API, der problemfrit integreres med produktet og implementerer den i vores interne AI-service. Dette giver ingeniørteamene mulighed for at fokusere på forretningslogikken, mens vores AI-service håndterer kompleksiteten ved at handle med forskellige AI-udbydere.

Denne proces er ikke afhængig af banebrydende forskning, men i stedet på anvendelsen af ​​dokumenteret software engineering praksis.

I betragtning af globale operationer, hvordan håndterer InvGate udfordringen med regional tilgængelighed og overholdelse af lokale dataregler?

At sikre regional tilgængelighed og overholdelse af lokale dataregler er en afgørende del af vores operationer hos InvGate. Vi udvælger omhyggeligt AI-udbydere, der ikke kun kan operere i stor skala, men også opretholder topsikkerhedsstandarder og overholder regionale regler.

For eksempel tager vi kun hensyn til udbydere, der overholder regler som den generelle databeskyttelsesforordning (GDPR) i EU. Dette sikrer, at vi sikkert kan implementere vores tjenester i forskellige regioner med tillid til, at vi opererer inden for de lokale juridiske rammer.

Store cloud-udbydere som AWS, Azure og Google Cloud opfylder disse krav og tilbyder en bred vifte af AI-funktioner, hvilket gør dem til egnede partnere til vores globale operationer. Desuden overvåger vi løbende ændringer i lokale dataforskrifter for at sikre løbende overholdelse og justerer vores praksis efter behov.

Hvordan har InvGates tilgang til udvikling af it-løsninger udviklet sig i løbet af det sidste årti, især med integrationen af ​​Generative AI?

I løbet af det sidste årti har InvGates tilgang til udvikling af it-løsninger udviklet sig markant. Vi har udvidet vores funktionsbase med avancerede funktioner som automatiserede arbejdsgange, enhedsopdagelse og Configuration Management Database (CMDB). Disse funktioner har i høj grad forenklet IT-driften for vores brugere.

For nylig er vi begyndt at integrere GenAI i vores produkter. Dette er blevet muligt takket være de seneste fremskridt inden for LLM-udbydere, som er begyndt at tilbyde omkostningseffektive løsninger. Integrationen af ​​GenAI har givet os mulighed for at forbedre vores produkter med AI-drevet support, hvilket gør vores løsninger mere effektive og brugervenlige.

Selvom det stadig er tidlige dage, forudser vi, at AI vil blive et allestedsnærværende værktøj i it-drift. Som sådan planlægger vi at fortsætte med at udvikle vores produkter ved yderligere at integrere AI-teknologier.

Kan du forklare, hvordan den generative AI i AI Hub forbedrer hastigheden og kvaliteten af ​​svar på almindelige it-hændelser?

Den generative AI i vores AI Hub forbedrer markant både hastigheden og kvaliteten af ​​svar på almindelige it-hændelser. Det gør det gennem en flertrinsproces:

Første kontakt: Når en bruger støder på et problem, kan han eller hun åbne en chat med vores AI-drevne virtuelle agent (VA) og beskrive problemet. VA søger selvstændigt gennem virksomhedens Knowledge Base (KB) og en offentlig database med it-fejlfindingsvejledninger, der giver vejledning på en samtale måde. Dette løser ofte problemet hurtigt og effektivt.

Billetoprettelse: Hvis problemet er mere komplekst, kan VA oprette en billet, der automatisk trækker relevant information fra samtalen.

Billettildeling: Systemet tildeler billetten til en supportagent baseret på billettens kategori, prioritet og agentens erfaring med lignende problemer.

Agentinteraktion: Agenten kan kontakte brugeren for yderligere oplysninger eller for at give dem besked om, at problemet er blevet løst. Interaktionen er forbedret med AI, der giver skriveanbefalinger for at forbedre kommunikationen.

optrapning: Hvis problemet kræver eskalering, hjælper automatiske opsummeringsfunktioner ledere med hurtigt at forstå problemet.

Efterfølgende analyse: Efter at billetten er lukket, udfører AI en årsagsanalyse, der hjælper med postmortem-analyse og rapporter. Agenten kan også bruge AI til at udarbejde en videnbaseartikel, hvilket letter løsningen af ​​lignende problemer i fremtiden.

Selvom vi allerede har implementeret de fleste af disse funktioner, arbejder vi løbende på yderligere forbedringer og forbedringer.

Med kommende funktioner som den smartere MS Teams Virtual Agent, hvad er de forventede forbedringer i samtalesupportoplevelser?

En lovende vej frem er at udvide samtaleoplevelsen til en "copilot", der ikke kun er i stand til at svare på spørgsmål og foretage enkle handlinger, men også tage mere komplekse handlinger på vegne af brugerne. Dette kan være nyttigt til at forbedre brugernes selvbetjeningsevner samt for at give agenter yderligere kraftfulde værktøjer. Til sidst vil disse kraftfulde samtalegrænseflader gøre AI til en allestedsnærværende følgesvend.

Tak for det gode interview, læsere, der ønsker at lære mere, bør besøge InvGate.