Daniel Ciolek, Hoofd van Onderzoek en Ontwikkeling bij InvGate – Interviewreeks

Daniel is een gepassioneerd IT-professional met meer dan 15 jaar ervaring in de industrie. Hij heeft een PhD in Computer Science en een lange carrière in technologieonderzoek. Zijn interesses liggen op meerdere gebieden, zoals Artificial Intelligence, Software Engineering en High Performance Computing.

Daniel is het Hoofd van Onderzoek en Ontwikkeling bij InvGate, waar hij de R&D-initiatieven leidt. Hij werkt samen met de Product- en Business Development-teams om de R&D-strategie van het bedrijf te ontwerpen, te implementeren en te monitoren. Wanneer hij niet onderzoek doet, geeft hij les.

InvGate verleent organisaties de middelen om een naadloze service te bieden over afdelingen heen, van IT tot Facilitaire diensten.

Wanneer en hoe bent u voor het eerst geïnteresseerd geraakt in computerwetenschappen?

Mijn interesse in computerwetenschappen dateert uit mijn vroege jeugd. Ik was altijd gefascineerd door elektronische apparaten, vaak zoekend en proberend om te begrijpen hoe ze werkten. Naarmate ik ouder werd, leidde deze nieuwsgierigheid me naar programmeren. Ik herinner me nog steeds de lol die ik had bij het schrijven van mijn eerste programma’s. Vanaf dat moment was er geen twijfel in mijn hoofd dat ik een carrière in computerwetenschappen wilde nastreven.

U leidt momenteel R&D-initiatieven en implementeert nieuwe generatieve AI-toepassingen. Kunt u enkele van uw projecten bespreken?

Absoluut. In onze R&D-afdeling nemen we complexe problemen aan die moeilijk efficiënt te modelleren en op te lossen zijn. Ons werk is niet beperkt tot generatieve AI-toepassingen, maar de recente vooruitgang in dit veld heeft een rijke mogelijkheden gecreëerd die we graag willen benutten.

Een van onze belangrijkste doelstellingen bij InvGate is altijd geweest om de gebruiksvriendelijkheid van onze software te optimaliseren. We doen dit door te monitoren hoe het wordt gebruikt, knelpunten te identificeren en hard te werken om deze te verwijderen. Een van de knelpunten die we vaak tegenkomen, is gerelateerd aan het begrijpen en gebruiken van natuurlijke taal. Dit was een bijzonder moeilijk probleem om aan te pakken zonder het gebruik van Large Language Models (LLM’s).

Echter, met de recente opkomst van kosteneffectieve LLM’s, zijn we in staat om deze use cases te stroomlijnen. Onze mogelijkheden omvatten nu het bieden van schrijfvoorstellen, het automatisch opstellen van kennisbankartikelen en het samenvatten van uitgebreide teksten, onder andere taalgebaseerde functies.

Bij InvGate past uw team een strategie toe die “agnostische AI” wordt genoemd. Kunt u uitleggen wat dit betekent en waarom het belangrijk is?

Agnostische AI is fundamenteel over flexibiliteit en aanpasbaarheid. Het gaat erom niet te binden aan één AI-model of -provider. In plaats daarvan proberen we onze opties open te houden, het beste van elke AI-provider te benutten, terwijl we het risico van vastzitten in één systeem vermijden.

U kunt het zo zien: moeten we OpenAI’s GPT, Google’s Gemini of Meta’s Llama-2 gebruiken voor onze generatieve AI-functies? Moeten we kiezen voor een pay-as-you-go cloud-implementatie, een beheerde instantie of een self-hosted implementatie? Dit zijn geen triviale beslissingen en ze kunnen zelfs veranderen naarmate nieuwe modellen worden uitgebracht en nieuwe providers de markt betreden.

De agnostische AI-benadering zorgt ervoor dat ons systeem altijd klaar is om aan te passen. Onze implementatie heeft drie sleutelcomponenten: een interface, een router en de AI-modellen zelf. De interface abstracteert de implementatiedetails van het AI-systeem, waardoor het voor andere delen van onze software gemakkelijker wordt om ermee te communiceren. De router beslist waar elke aanvraag naartoe wordt gestuurd op basis van factoren zoals het type aanvraag en de capaciteiten van de beschikbare AI-modellen. Ten slotte voeren de modellen de daadwerkelijke AI-taken uit, die mogelijk aangepaste gegevensvoorverwerking en resultaatopmaakprocessen vereisen.

Kunt u de methodologische aspecten beschrijven die uw besluitvormingsproces leiden bij het selecteren van de meest geschikte AI-modellen en -providers voor specifieke taken?

Voor elke nieuwe functie die we ontwikkelen, creëren we een evaluatiebenchmark. Deze benchmark is ontworpen om de efficiëntie van verschillende AI-modellen te beoordelen bij het oplossen van de taak in kwestie. Maar we focussen ons niet alleen op prestaties, we overwegen ook de snelheid en de kosten van elk model. Dit geeft ons een holistisch beeld van elke modelwaarde, waardoor we de meest kosteneffectieve optie kunnen kiezen voor het routeren van aanvragen.

Echter, ons proces eindigt daar niet. In het snel evoluerende veld van AI worden nieuwe modellen constant uitgebracht en bestaande modellen regelmatig bijgewerkt. Dus, wanneer een nieuw of bijgewerkt model beschikbaar komt, voeren we onze evaluatiebenchmark opnieuw uit. Dit stelt ons in staat om de prestaties van het nieuwe of bijgewerkte model te vergelijken met die van onze huidige selectie. Als een nieuw model de huidige overtreft, werken we onze routermodule bij om deze verandering te weerspiegelen.

Wat zijn enkele van de uitdagingen van het naadloos schakelen tussen verschillende AI-modellen en -providers?

Het naadloos schakelen tussen verschillende AI-modellen en -providers levert inderdaad een reeks unieke uitdagingen op.

Ten eerste vereist elke AI-provider invoer die op specifieke manieren is geformatteerd, en de AI-modellen kunnen anders reageren op dezelfde aanvragen. Dit betekent dat we individueel moeten optimaliseren voor elk model, wat vrij complex kan zijn gezien de diversiteit aan opties.

Ten tweede hebben AI-modellen verschillende capaciteiten. Sommige modellen kunnen bijvoorbeeld output in JSON-formaat genereren, een functie die in veel van onze implementaties nuttig blijkt. Andere kunnen grote hoeveelheden tekst verwerken, waardoor we een meer omvattende context kunnen gebruiken voor sommige taken. Het beheren van deze capaciteiten om het potentieel van elk model te maximaliseren, is een essentieel onderdeel van ons werk.

Ten slotte moeten we ervoor zorgen dat AI-gegenereerde antwoorden veilig zijn om te gebruiken. Generatieve AI-modellen kunnen soms “hallucinaties” produceren, of antwoorden genereren die vals, uit de context, of zelfs potentieel schadelijk zijn. Om dit te mitigeren, implementeren we strikte post-processing sanitiefilters om ongepaste antwoorden te detecteren en te filteren.

Hoe is de interface binnen uw agnostische AI-systeem ontworpen om de complexiteit van de onderliggende AI-technologieën voor gebruikersvriendelijke interacties te abstracteren?

De ontwerp van onze interface is een gezamenlijke inspanning van de R&D- en de engineersteams. We werken op een functie-per-functie-basis, waarbij we de vereisten en beschikbare gegevens voor elke functie definiëren. Vervolgens ontwerpen we een API die naadloos integreert met het product, door het in onze interne AI-Service te implementeren. Dit stelt de engineersteams in staat om zich te concentreren op de bedrijfslogica, terwijl onze AI-Service de complexiteit van het omgaan met verschillende AI-providers afhandelt.

Dit proces is niet afhankelijk van baanbrekend onderzoek, maar eerder van de toepassing van bewezen software-engineeringpraktijken.

Gezien de wereldwijde operaties, hoe gaat InvGate om met de uitdaging van regionale beschikbaarheid en naleving van lokale gegevensreguleringen?

Het waarborgen van regionale beschikbaarheid en naleving van lokale gegevensreguleringen is een cruciaal onderdeel van onze operaties bij InvGate. We selecteren zorgvuldig AI-providers die niet alleen op grote schaal kunnen opereren, maar ook de hoogste beveiligingsnormen in acht nemen en voldoen aan regionale reguleringen.

Bijvoorbeeld overwegen we alleen providers die voldoen aan reguleringen zoals de Algemene Verordening Gegevensbescherming (AVG) in de EU. Dit geeft ons de zekerheid dat we onze diensten veilig kunnen inzetten in verschillende regio’s, met het vertrouwen dat we binnen het lokale wettelijke kader opereren.

Grote cloudproviders zoals AWS, Azure en Google Cloud voldoen aan deze vereisten en bieden een breed scala aan AI-functionaliteiten, waardoor ze geschikte partners zijn voor onze wereldwijde operaties. Bovendien monitoren we voortdurend veranderingen in lokale gegevensreguleringen om de naleving te waarborgen en passen onze praktijken aan waar nodig.

Hoe is InvGate’s aanpak van het ontwikkelen van IT-oplossingen de afgelopen decade geëvolueerd, met name met de integratie van Generatieve AI?

De afgelopen decade is InvGate’s aanpak van het ontwikkelen van IT-oplossingen aanzienlijk geëvolueerd. We hebben onze functionaliteitenbasis uitgebreid met geavanceerde mogelijkheden zoals geautomatiseerde workflows, apparaatdetectie en Configuration Management Database (CMDB). Deze functionaliteiten hebben IT-operaties voor onze gebruikers aanzienlijk vereenvoudigd.

Onlangs zijn we begonnen met het integreren van GenAI in onze producten. Dit is mogelijk gemaakt door de recente vooruitgang in LLM-providers, die kosteneffectieve oplossingen zijn gaan bieden. De integratie van GenAI heeft ons in staat gesteld om onze producten te versterken met AI-gebaseerde ondersteuning, waardoor onze oplossingen efficiënter en gebruikersvriendelijker zijn geworden.

Hoewel het nog vroeg is, voorspellen we dat AI een alomtegenwoordig instrument in IT-operaties zal worden. Daarom plannen we om onze producten verder te ontwikkelen door verdere integratie van AI-technologieën.

Kunt u uitleggen hoe de generatieve AI binnen de AI Hub de snelheid en kwaliteit van antwoorden op veelvoorkomende IT-incidenten verbetert?

De generatieve AI binnen onze AI Hub verbetert aanzienlijk zowel de snelheid als de kwaliteit van antwoorden op veelvoorkomende IT-incidenten. Dit doet het via een meerdere stappenproces:

Eerste Contact: Wanneer een gebruiker een probleem tegenkomt, kan hij of zij een chat starten met onze AI-gebaseerde Virtuele Agent (VA) en het probleem beschrijven. De VA zoekt onafhankelijk door de kennisbank (KB) van het bedrijf en een openbare database van IT-troubleshootinggidsen, en biedt leiding in een conversatievorm. Dit lost het probleem vaak snel en efficiënt op.

Ticketcreatie: Als het probleem complexer is, kan de VA een ticket maken, waarbij relevante informatie uit het gesprek automatisch wordt geëxtraheerd.

Tickettoewijzing: Het systeem wijst het ticket toe aan een ondersteuningsagent op basis van de categorie van het ticket, prioriteit en de ervaring van de agent met soortgelijke problemen.

Agentinteractie: De agent kan contact opnemen met de gebruiker voor aanvullende informatie of om te melden dat het probleem is opgelost. De interactie wordt verbeterd met AI, waardoor schrijfvoorstellen worden geboden om de communicatie te verbeteren.

Escalatie: Als het probleem escalatie vereist, helpen automatische samenvattingsfuncties managers om het probleem snel te begrijpen.

Postmortemanalyse: Nadat het ticket is gesloten, voert de AI een root cause-analyse uit, waardoor het gemakkelijker wordt om soortgelijke problemen in de toekomst op te lossen. De agent kan ook de AI gebruiken om een kennisbankartikel te maken, waardoor de oplossing van soortgelijke problemen in de toekomst wordt vergemakkelijkt.

Hoewel we de meeste van deze functies al hebben geïmplementeerd, werken we voortdurend aan verdere verbeteringen.

Met aanstaande functies zoals de slimmere MS Teams Virtuele Agent, wat zijn de verwachte verbeteringen in conversational support-ervaringen?

Een veelbelovende weg vooruit is om de conversational ervaring uit te breiden tot een “copilot”, niet alleen in staat om vragen te beantwoorden en eenvoudige acties uit te voeren, maar ook complexe acties namens de gebruikers uit te voeren. Dit kan helpen om de zelfbedieningsmogelijkheden van gebruikers te verbeteren, evenals om extra krachtige tools aan agents te bieden. Uiteindelijk zullen deze krachtige conversational interfaces AI tot een alomtegenwoordige metgezel maken.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen InvGate bezoeken.