Daniel Ciolek, forsknings- og utviklingssjef i InvGate – Intervju-serie

Daniel er en lidenskapelig IT-ekspert med over 15 års erfaring i bransjen. Han har en doktorgrad i datavitenskap og en lang karriere innen teknologisk forskning. Hans interesser faller innen flere områder, som kunstig intelligens, programvareutvikling og høy-ytelses databehandling.

Daniel er forsknings- og utviklingssjef i InvGate, der han leder R&D-initiativene. Han arbeider sammen med produkt- og forretningsutviklingsteamene for å designe, implementere og overvåke selskapets R&D-strategi. Når han ikke forsker, underviser han.

InvGate gir organisasjonene mulighet til å levere sammenhengende tjenester over avdelinger, fra IT til fasiliteter.

Når og hvordan ble du først interessert i datavitenskap?

Min interesse for datavitenskap daterer tilbake til min barndom. Jeg var alltid fascinert av elektroniske enheter, og ofte fant jeg meg selv å utforske og prøve å forstå hvordan de fungerte. Etterhvert som jeg ble eldre, ledet denne nysgjerrigheten meg til programmering. Jeg husker fortsatt moro jeg hadde med å skrive mine første programmer. Fra det øyeblikket var det ingen tvil i mitt sinn om at jeg ville søke en karriere innen datavitenskap.

Du leder for tiden R&D-initiativene og implementerer nye generative AI-applikasjoner. Kan du diskutere noen av dine arbeider?

Absolutt. I vår R&D-avdeling, løser vi komplekse problemer som kan være utfordrende å representere og løse effektivt. Vårt arbeid er ikke begrenset til generative AI-applikasjoner, men de nyeste fremgangene i dette feltet har skapt en mengde muligheter vi er ivrige etter å utnytte.

En av våre hovedmål i InvGate har alltid vært å optimalisere bruksvennligheten av vårt programvare. Vi gjør dette ved å overvåke hvordan det brukes, identifisere flaskenakker og arbeide hardt for å fjerne dem. En slik flaskehals vi ofte har møtt, er relatert til forståelse og bruk av naturlig språk. Dette var et særlig vanskelig problem å løse uten bruk av store språkmodeller (LLM).

Men med de nyeste kostnadseffektive LLM-ene, har vi kunnet strømlinje disse bruksfallene. Våre muligheter inkluderer nå å gi skriveforslag, automatisk utarbeide kunnskapsbaseartikler og sammenfatte omfattende tekststykker, blant mange andre språkbaserte funksjoner.

I InvGate, anvender ditt team en strategi som kalles “agnostisk AI”. Kan du definere hva dette betyr og hvorfor det er viktig?

Agnostisk AI handler grunnleggende om fleksibilitet og tilpasning. Det handler om ikke å binde seg til en enkelt AI-modell eller leverandør. I stedet, søker vi å holde våre muligheter åpne, og utnytte det beste hver AI-leverandør tilbyr, samtidig som vi unngår risikoen med å bli låst til ett system.

Du kan tenke på det slik: skal vi bruke OpenAI’s GPT, Google’s Gemini eller Meta’s Llama-2 for våre generative AI-funksjoner? Skal vi velge en betal-per-bruk cloud-utbredelse, en managed-instans eller en selv-vert utbredelse? Disse er ikke trivielle beslutninger, og de kan endre seg over tid ettersom nye modeller utgis og nye leverandører kommer inn på markedet.

Tilnærmingen til agnostisk AI sikrer at vårt system alltid er klar til å tilpasse seg. Vår implementering har tre nøkkelkomponenter: et grensesnitt, en router og AI-modellene selv. Grensesnittet abstraherer bort implementeringsdetaljene til AI-systemet, og gjør det enklere for andre deler av vårt programvare å samhandle med det. Routeren bestemmer hvor hver forespørsel skal sendes, basert på faktorer som forespørselstype og tilgjengelige AI-modellers egenskaper. Til slutt, utfører modellene de faktiske AI-oppdragene, som kan kreve tilpasset dataforbehandling og resultatformateringsprosesser.

Kan du beskrive de metodiske aspektene som leder din beslutningsprosess når du velger de mest egnet AI-modellene og leverandørene for bestemte oppgaver?

For hver ny funksjon vi utvikler, begynner vi med å lage en vurderingsstandard. Denne standarden er designet for å vurdere effektiviteten til forskjellige AI-modeller i å løse oppgaven. Men vi fokuserer ikke bare på ytelse, vi vurderer også hastighet og kostnad for hver modell. Dette gir oss en helhetlig oversikt over hver modells verdi, og lar oss velge den mest kostnadseffektive løsningen for å sende forespørsler.

Men vårt prosess stopper ikke der. I det raskt utviklende feltet kunstig intelligens, utgis det nye modeller kontinuerlig og eksisterende modeller oppdateres jevnlig. Så, hver gang en ny eller oppdatert modell blir tilgjengelig, kjører vi vår vurderingsstandard igjen. Dette lar oss sammenligne ytelsen til den nye eller oppdaterte modellen med den nåværende valgte modellen. Hvis en ny modell overgår den nåværende, oppdaterer vi vår router-modul for å reflektere denne endringen.

Hva er noen av utfordringene med å bytte mellom ulike AI-modeller og leverandører?

Å bytte mellom ulike AI-modeller og leverandører presenterer en rekke unike utfordringer.

Først og fremst, krever hver AI-leverandør inndata formater i bestemte måter, og AI-modellene kan reagere forskjellig på samme forespørsler. Dette betyr at vi må optimalisere hver modell individuelt, noe som kan være ganske komplekst gitt variasjonen i valg.

For det andre, har AI-modellene forskjellige evner. For eksempel, kan noen modeller generere utdata i JSON-format, en funksjon som viser seg nyttig i mange av våre implementeringer. Andre kan prosessere store mengder tekst, og lar oss bruke en mer omfattende kontekst for noen oppgaver. Å håndtere disse evnene for å maksimere potensialet til hver modell, er en essensiell del av vårt arbeid.

Til slutt, må vi sikre at AI-genererte svar er trygge å bruke. Generative AI-modeller kan noen ganger produsere “hallusinasjoner”, eller generere svar som er feil, utenfor kontekst eller potensielt skadelige. For å mildne dette, implementerer vi strenge post-prosesseringssanitetsfilter for å oppdage og filtrere ut upassende svar.

Hvordan er grensesnittet designet i ditt agnostiske AI-system for å sikre at det effektivt abstraherer kompleksiteten til de underliggende AI-teknologiene for brukervennlige interaksjoner?

Designet av vårt grensesnitt er et samarbeid mellom R&D- og ingeniørteamene. Vi arbeider på en funksjon-for-funksjon-basis, og definerer kravene og tilgjengelige data for hver funksjon. Deretter designer vi et API som integrerer sømløst med produktet, og implementerer det i vår interne AI-tjeneste. Dette lar ingeniørteamene fokusere på forretningslogikken, mens vår AI-tjeneste håndterer kompleksiteten til å samhandle med ulike AI-leverandører.

Denne prosessen bygger ikke på banebrytende forskning, men på anvendelsen av etablerte programvareutviklingspraksiser.

Med tanke på global drift, hvordan håndterer InvGate utfordringen med regional tilgjengelighet og overholdelse av lokale datareguleringer?

Å sikre regional tilgjengelighet og overholdelse av lokale datareguleringer er en kritisk del av våre operasjoner i InvGate. Vi velger nøye AI-leverandører som ikke bare kan operere på skala, men også opprettholder høyeste sikkerhetsstandarder og overholder regionale reguleringer.

For eksempel, vurderer vi bare leverandører som overholder reguleringer som den generelle personvernforordningen (GDPR) i EU. Dette sikrer at vi kan trygt utrulle våre tjenester i ulike regioner, med tillit til at vi opererer innen det lokale rettslige rammeverket.

Store cloud-leverandører som AWS, Azure og Google Cloud oppfyller disse kravene, og tilbyr et bredt spekter av AI-funksjoner, noe som gjør dem til egnet partnere for våre globale operasjoner. Videre overvåker vi kontinuerlig endringer i lokale datareguleringer for å sikre pågående overholdelse, og justerer våre praksiser etter behov.

Hvordan har InvGates tilnærming til å utvikle IT-løsninger utviklet seg over de siste ti årene, særlig med integreringen av generativ AI?

Over de siste ti årene, har InvGates tilnærming til å utvikle IT-løsninger utviklet seg betydelig. Vi har utvidet vår funksjonsbase med avanserte funksjoner som automatiserte arbeidsflyter, enhetsoppdagelse og Configuration Management Database (CMDB). Disse funksjonene har forenklet IT-operasjoner betydelig for våre brukere.

Nylig har vi startet å integrere GenAI i våre produkter. Dette har blitt mulig takket være de nyeste fremgangene i LLM-leverandører, som har startet å tilby kostnadseffektive løsninger. Integreringen av GenAI har gjort det mulig for oss å forbedre våre produkter med AI-drevet støtte, og gjort våre løsninger mer effektive og brukervennlige.

Selv om det fortsatt er tidlige dager, forventer vi at AI vil bli et allment verktøy i IT-operasjoner. Derfor planlegger vi å fortsette å utvikle våre produkter ved å integrere AI-teknologier ytterligere.

Kan du forklare hvordan den generative AI-en i AI-hubben forbedrer hastigheten og kvaliteten på svarene til vanlige IT-hendelser?

Den generative AI-en i vår AI-hubb forbedrer betydelig både hastigheten og kvaliteten på svarene til vanlige IT-hendelser. Den gjør dette gjennom en flertrinnsprosess:

Initial kontakt: Når en bruker møter et problem, kan de åpne en chat med vår AI-drevne virtuelle agent (VA) og beskrive problemet. VA søker selvstendig gjennom selskapets kunnskapsbase (KB) og en offentlig database med IT-feilrettingsguider, og gir veiledning på en samtaleform. Dette løser ofte problemet raskt og effektivt.

Billett-opprettelse: Hvis problemet er mer komplekst, kan VA opprette en billett, og automatisk trekke ut relevante opplysninger fra samtalen.

Billett-tildeling: Systemet tildeler billetten til en støtteagent basert på billettens kategori, prioritet og agentens erfaring med lignende problemer.

Agent-interaksjon: Agenten kan kontakte brukeren for å få mer informasjon eller for å underrette dem om at problemet er løst. Interaksjonen er forbedret med AI, og gir skriveforslag for å forbedre kommunikasjonen.

Escalering: Hvis problemet krever eskalering, hjelper automatiske sammenfattningsfunksjoner ledere å raskt forstå problemet.

Postmortem-analyse: Etter at billetten er lukket, utfører AI en rotårsak-analyse, og hjelper med postmortem-analyse og rapporter. Agenten kan også bruke AI til å utarbeide en kunnskapsbaseartikkel, og lette løsningen av lignende problemer i fremtiden.

Selv om vi allerede har implementert de fleste av disse funksjonene, arbeider vi kontinuerlig med å forbedre og forbedre dem.

Med kommende funksjoner som den smartere MS Teams Virtuelle Agent, hva er de forventede forbedringene i samtalestøtterfaringene?

En lovende vei fremover er å utvide samtaleerfaringen til en “co-pilot”, ikke bare i stand til å svare på spørsmål og utføre enkle handlinger, men også å utføre mer komplekse handlinger på vegne av brukerne. Dette kunne være nyttig for å forbedre brukernes selvbetjeningsmuligheter, samt å tilby ekstra kraftfulle verktøy til agenter. Til slutt vil disse kraftfulle samtalegrensesnitt gjøre AI til en allment tilstedeværende kompanjong.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, kan besøke InvGate.