Daniel Ciolek, chef för forskning och utveckling på InvGate – Intervjuer

Daniel är en passionerad IT-proffs med mer än 15 års erfarenhet inom branschen. Han har en doktorsexamen i datavetenskap och en lång karriär inom teknisk forskning. Hans intressen ligger inom flera områden, såsom artificiell intelligens, programvaruteknik och högpresterande datorer.

Daniel är chef för forskning och utveckling på InvGate, där han leder R&D-initiativen. Han arbetar tillsammans med produkt- och affärsutvecklingsteam för att utforma, implementera och övervaka företagets R&D-strategi. När han inte forskar undervisar han.

InvGate ger organisationer möjlighet att leverera sömlösa tjänster över avdelningar, från IT till faciliteter.

När och hur blev du initialt intresserad av datavetenskap?

Mitt intresse för datavetenskap går tillbaka till min barndom. Jag var alltid fascinerad av elektroniska enheter och försökte förstå hur de fungerade. När jag växte upp ledde denna nyfikenhet mig till programmering. Jag minns fortfarande hur roligt jag hade när jag skrev mina första program. Från den stunden var det ingen tvekan i mitt sinne att jag ville ha en karriär inom datavetenskap.

Du leder för närvarande R&D-initiativ och implementerar nya generativa AI-applikationer. Kan du diskutera något av ditt arbete?

Absolut. I vår R&D-avdelning tacklar vi komplexa problem som kan vara svåra att representera och lösa effektivt. Vårt arbete är inte begränsat till generativa AI-applikationer, men de senaste framstegen inom detta område har skapat en mängd möjligheter som vi är angelägna om att utnyttja.

Ett av våra huvudmål på InvGate har alltid varit att optimera användbarheten av vår programvara. Vi gör detta genom att övervaka hur den används, identifiera flaskhalsar och arbeta hårt för att ta bort dem. En sådan flaskhals som vi ofta stött på är relaterad till förståelsen och användningen av naturligt språk. Detta var ett särskilt svårt problem att lösa utan användning av stora språkmodeller (LLM).

Men med den nyligen uppkomna kostnadseffektiva LLM har vi kunnat strömlinjeforma dessa användningsfall. Våra funktioner inkluderar nu att ge skrivarrekommendationer, automatiskt utarbeta kunskapsbasartiklar och sammanfatta omfattande texter, bland många andra språkbaserade funktioner.

På InvGate tillämpar ditt team en strategi som kallas “agnostisk AI”. Kan du definiera vad detta innebär och varför det är viktigt?

Agnostisk AI handlar i grunden om flexibilitet och anpassningsförmåga. Det handlar om att inte binda sig till en enda AI-modell eller leverantör. Istället strävar vi efter att hålla våra alternativ öppna, utnyttja det bästa som varje AI-leverantör erbjuder, samtidigt som vi undviker risken att bli låsta till ett system.

Du kan tänka på det så här: ska vi använda OpenAI:s GPT, Google :s Gemini eller Meta:s Llama-2 för våra generativa AI-funktioner? Ska vi välja en betala-per-användning-molntjänst, en hanterad instans eller en självvärd molntjänst? Dessa är inte triviala beslut, och de kan till och med ändras över tiden när nya modeller släpps och nya leverantörer kommer in på marknaden.

Tillvägagångssättet för Agnostisk AI säkerställer att vårt system alltid är redo att anpassa sig. Vår implementering har tre nyckelkomponenter: ett gränssnitt, en router och AI-modellerna själva. Gränssnittet abstraherar bort implementationsdetaljerna för AI-systemet, vilket gör det enklare för andra delar av vår programvara att interagera med det. Routern bestämmer vart varje begäran ska skickas baserat på olika faktorer, såsom begäranstyp och tillgängliga AI-modellers funktioner. Slutligen utför modellerna de faktiska AI-uppgifterna, som kan kräva anpassad dataförbehandling och resultatformateringsprocesser.

Kan du beskriva de metodologiska aspekter som styr ditt beslutsfattande när du väljer de mest lämpliga AI-modellerna och leverantörerna för specifika uppgifter?

För varje ny funktion vi utvecklar skapar vi en utvärderingsbenchmark. Denna benchmark är utformad för att bedöma effektiviteten hos olika AI-modeller i att lösa uppgiften. Men vi fokuserar inte bara på prestanda, vi överväger också hastigheten och kostnaden för varje modell. Detta ger oss en helhetsbild av varje modells värde, vilket möjliggör för oss att välja den mest kostnadseffektiva alternativet för att dirigera begäranden.

Men vår process slutar inte där. I det snabbt utvecklande området AI släpps nya modeller konstant och befintliga modeller uppdateras regelbundet. Så, när en ny eller uppdaterad modell blir tillgänglig, kör vi om vår utvärderingsbenchmark. Detta låter oss jämföra prestandan hos den nya eller uppdaterade modellen med den nuvarande urvalet. Om en ny modell presterar bättre än den nuvarande, uppdaterar vi vår routermodul för att återspegla denna förändring.

Vilka är några av utmaningarna med att sömlöst växla mellan olika AI-modeller och leverantörer?

Att sömlöst växla mellan olika AI-modeller och leverantörer presenterar verkligen en uppsättning unika utmaningar.

Först och främst kräver varje AI-leverantör indata formaterade på specifika sätt, och AI-modellerna kan reagera olika på samma begäranden. Detta innebär att vi måste optimera individuellt för varje modell, vilket kan vara ganska komplext med tanke på variationen av alternativ.

Sedan har AI-modellerna olika förmågor. Till exempel kan vissa modeller generera utdata i JSON-format, en funktion som visat sig vara användbar i många av våra implementationer. Andra kan bearbeta stora mängder text, vilket möjliggör för oss att använda en mer omfattande kontext för vissa uppgifter. Att hantera dessa förmågor för att maximera potentialen hos varje modell är en väsentlig del av vårt arbete.

Slutligen måste vi säkerställa att AI-genererade svar är säkra att använda. Generativa AI-modeller kan ibland producera “hallucinationer” eller generera svar som är falska, ur kontext eller till och med potentiellt skadliga. För att mildra detta implementerar vi rigorösa postbearbetningsfilter för att upptäcka och filtrera bort olämpliga svar.

Hur är gränssnittet utformat inom er agnostiska AI-system för att säkerställa att det effektivt abstraherar komplexiteten i de underliggande AI-teknologierna för användarvänliga interaktioner?

Utformningen av vårt gränssnitt är ett samarbete mellan R&D och ingenjörsteam. Vi arbetar på en funktion-per-funktion-basis, definierar kraven och tillgängliga data för varje funktion. Sedan utformar vi ett API som sömlöst integrerar med produkten, implementerar det i vår interna AI-tjänst. Detta låter ingenjörsteamet fokusera på affärslogiken, medan vår AI-tjänst hanterar komplexiteten i att hantera olika AI-leverantörer.

Denna process bygger inte på banbrytande forskning, utan snarare på tillämpningen av beprövade programvarutekniska metoder.

Med tanke på globala verksamheter, hur hanterar InvGate utmaningen med regional tillgänglighet och regelefterlevnad av lokala datalagar?

Att säkerställa regional tillgänglighet och regelefterlevnad av lokala datalagar är en avgörande del av vår verksamhet på InvGate. Vi väljer noggrant AI-leverantörer som inte bara kan operera i skala, utan också upprätthåller toppsäkerhetsstandarder och följer regionala regler.

Till exempel överväger vi endast leverantörer som följer regler som den allmänna dataskyddsförordningen (GDPR) i EU. Detta säkerställer att vi kan distribuera våra tjänster i olika regioner med förtroendet att vi opererar inom det lokala rättsliga ramverket.

Stora molnleverantörer som AWS, Azure och Google Cloud uppfyller dessa krav och erbjuder ett brett utbud av AI-funktioner, vilket gör dem lämpliga partners för vår globala verksamhet. Dessutom övervakar vi kontinuerligt ändringar i lokala datalagar för att säkerställa fortsatt regelefterlevnad, justerar våra metoder vid behov.

Hur har InvGates tillvägagångssätt för att utveckla IT-lösningar utvecklats under det senaste decenniet, särskilt med integrationen av generativ AI?

Under det senaste decenniet har InvGates tillvägagångssätt för att utveckla IT-lösningar utvecklats avsevärt. Vi har utökat vår funktionsbas med avancerade funktioner som automatiserade arbetsflöden, enhetsupptäckt och Configuration Management Database (CMDB). Dessa funktioner har underlättat IT-åtgärder avsevärt för våra användare.

Nyligen har vi börjat integrera GenAI i våra produkter. Detta har möjliggjorts tack vare de senaste framstegen inom LLM-leverantörer, som har börjat erbjuda kostnadseffektiva lösningar. Integrationen av GenAI har möjliggjort för oss att förbättra våra produkter med AI-stöd, vilket gör våra lösningar mer effektiva och användarvänliga.

Även om det fortfarande är tidiga dagar, förutser vi att AI kommer att bli ett allmänt verktyg inom IT-åtgärder. Som sådant planerar vi att fortsätta utveckla våra produkter genom att ytterligare integrera AI-teknologier.

Kan du förklara hur den generativa AI inom AI-hubben förbättrar hastigheten och kvaliteten på svaren på vanliga IT-incidenter?

Den generativa AI inom vår AI-hubb förbättrar avsevärt både hastigheten och kvaliteten på svaren på vanliga IT-incidenter. Detta sker genom en flerstegsprocess:

Initial Kontakt: När en användare stöter på ett problem kan han eller hon öppna en chatt med vår AI-drivna virtuella agent (VA) och beskriva problemet. VA söker självständigt igenom företagets kunskapsbas (KB) och en offentlig databas med IT-felsökningsguider, tillhandahåller vägledning på ett konversationsmässigt sätt. Detta löser ofta problemet snabbt och effektivt.

BiljettSkapande: Om problemet är mer komplext kan VA skapa en biljett, automatiskt extrahera relevant information från konversationen.

BiljettTilldelning: Systemet tilldelar biljetten till en supportagent baserat på biljettens kategori, prioritet och agentens erfarenhet av liknande problem.

AgentInteraktion: Agenten kan kontakta användaren för ytterligare information eller för att meddela att problemet har lösts. Interaktionen förbättras med AI, som tillhandahåller skrivarrekommendationer för att förbättra kommunikationen.

Escalering: Om problemet kräver eskalering hjälper automatiska sammanfattningfunktioner chefer att snabbt förstå problemet.

PostmortemAnalys: Efter att biljetten har stängts utför AI en rotorsakanalys, som underlättar postmortem-analys och rapporter. Agenten kan också använda AI för att utarbeta en kunskapsbasartikel, vilket underlättar lösningen av liknande problem i framtiden.

Medan vi redan har implementerat de flesta av dessa funktioner arbetar vi kontinuerligt med ytterligare förbättringar och förbättringar.

Med kommande funktioner som den smartare MS Teams Virtual Agent, vad är de förväntade förbättringarna i konversationsstödserfarenheterna?

En lovande väg framåt är att utöka konversationsupplevelsen till en “co-pilot”, inte bara kapabel att svara på frågor och utföra enkla åtgärder, utan också ta mer komplexa åtgärder på användarnas vägnar. Detta kunde vara användbart för att förbättra användarnas självbetjäningsförmåga, samt tillhandahålla ytterligare kraftfulla verktyg till agenter. Till slut kommer dessa kraftfulla konversationsgränssnitt att göra AI till en allomfattande följeslagare.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka InvGate.