Daniel Ciolek, hoofd onderzoek en ontwikkeling bij InvGate – Interviewserie

Daniel is een gepassioneerde IT-professional met meer dan 15 jaar ervaring in de branche. Hij heeft een doctoraat. in computerwetenschappen en een lange carrière in technologisch onderzoek. Zijn interesses liggen op meerdere gebieden, zoals kunstmatige intelligentie, software-engineering en high-performance computing.

Daniel is hoofd Onderzoek en Ontwikkeling bij InvGate, waar hij leiding geeft aan de R&D-initiatieven. Hij werkt samen met de Product- en Business Development-teams om de R&D-strategie van het bedrijf te ontwerpen, implementeren en monitoren. Als hij geen onderzoek doet, geeft hij les.

InvGate stelt organisaties in staat door de tools te bieden om naadloze service te leveren aan alle afdelingen, van IT tot Facilitair.

Wanneer en hoe raakte u voor het eerst geïnteresseerd in informatica?

Mijn interesse in informatica gaat terug tot mijn vroege kinderjaren. Ik was altijd gefascineerd door elektronische apparaten en merkte dat ik vaak aan het ontdekken was en probeerde te begrijpen hoe ze werkten. Toen ik ouder werd, leidde deze nieuwsgierigheid mij tot coderen. Ik herinner me nog het plezier dat ik had bij het schrijven van mijn eerste programma's. Vanaf dat moment twijfelde ik er niet aan dat ik een carrière in de informatica wilde nastreven.

Momenteel leidt u R&D-initiatieven en implementeert u nieuwe generatieve AI-toepassingen. Kun je een deel van je werk bespreken?

Absoluut. Op onze R&D-afdeling pakken we complexe problemen aan die een uitdaging kunnen zijn om efficiënt weer te geven en op te lossen. Ons werk beperkt zich niet tot generatieve AI-toepassingen, maar de recente ontwikkelingen op dit gebied hebben een schat aan kansen gecreëerd die we graag willen benutten.

Een van onze belangrijkste doelstellingen bij InvGate is altijd geweest om de bruikbaarheid van onze software te optimaliseren. We doen dit door te monitoren hoe het wordt gebruikt, knelpunten te identificeren en er hard aan te werken deze te verwijderen. Eén van die knelpunten die we vaak tegenkomen, heeft te maken met het begrijpen en gebruiken van natuurlijke taal. Dit was een bijzonder moeilijk probleem om aan te pakken zonder het gebruik van grote taalmodellen (LLM's).

Met de recente opkomst van kosteneffectieve LLM's hebben we deze gebruiksscenario's echter kunnen stroomlijnen. Onze mogelijkheden omvatten nu het geven van schrijfaanbevelingen, het automatisch opstellen van kennisbankartikelen en het samenvatten van uitgebreide stukken tekst, naast vele andere taalgebaseerde functies.

Bij InvGate past uw team een ​​strategie toe die ‘agnostische AI’ wordt genoemd. Kunt u omschrijven wat dit betekent en waarom dit belangrijk is?

Agnostische AI ​​gaat fundamenteel over flexibiliteit en aanpassingsvermogen. In wezen gaat het erom dat je je niet aan één enkel AI-model of -aanbieder vastlegt. In plaats daarvan willen we onze opties open houden, gebruikmaken van het beste dat elke AI-aanbieder te bieden heeft, terwijl we het risico vermijden dat we vastzitten in één systeem.

Je kunt het zo zien: moeten we OpenAI's GPT, Google's Gemini of Meta's Llama-2 gebruiken voor onze generatieve AI-functies? Moeten we kiezen voor een pay-as-you-go-cloudimplementatie, een beheerde instance of een zelfgehoste implementatie? Dit zijn geen triviale beslissingen, en ze kunnen in de loop van de tijd zelfs veranderen als er nieuwe modellen op de markt komen en nieuwe aanbieders de markt betreden.

De Agnostische AI-aanpak zorgt ervoor dat ons systeem altijd klaar is om zich aan te passen. Onze implementatie bestaat uit drie belangrijke componenten: een interface, een router en de AI-modellen zelf. De interface abstraheert de implementatiedetails van het AI-systeem, waardoor het voor andere delen van onze software gemakkelijker wordt om ermee te communiceren. De router beslist waar elk verzoek naartoe moet worden gestuurd op basis van verschillende factoren, zoals het type verzoek en de mogelijkheden van de beschikbare AI-modellen. Ten slotte voeren de modellen de daadwerkelijke AI-taken uit, waarvoor mogelijk aangepaste gegevensvoorverwerking en resultaatformatteringsprocessen nodig zijn.

Kunt u de methodologische aspecten beschrijven die uw besluitvormingsproces begeleiden bij het selecteren van de meest geschikte AI-modellen en aanbieders voor specifieke taken?

Voor elke nieuwe functie die we ontwikkelen, beginnen we met het creëren van een evaluatiebenchmark. Deze benchmark is ontworpen om de efficiëntie van verschillende AI-modellen te beoordelen bij het oplossen van de voorliggende taak. Maar we concentreren ons niet alleen op de prestaties, we houden ook rekening met de snelheid en de kosten van elk model. Dit geeft ons een holistisch beeld van de waarde van elk model, waardoor we de meest kosteneffectieve optie kunnen kiezen voor het routeren van verzoeken.

Ons proces eindigt daar echter niet. In het snel evoluerende veld van AI worden voortdurend nieuwe modellen uitgebracht en worden bestaande regelmatig bijgewerkt. Dus telkens wanneer een nieuw of bijgewerkt model beschikbaar komt, voeren we onze evaluatiebenchmark opnieuw uit. Hierdoor kunnen we de prestaties van het nieuwe of bijgewerkte model vergelijken met die van onze huidige selectie. Als een nieuw model beter presteert dan het huidige, updaten we onze routermodule om deze verandering weer te geven.

Wat zijn enkele uitdagingen bij het naadloos schakelen tussen verschillende AI-modellen en -aanbieders?

Naadloos schakelen tussen verschillende AI-modellen en -aanbieders brengt inderdaad een reeks unieke uitdagingen met zich mee.

Ten eerste heeft elke AI-aanbieder invoer nodig die op specifieke manieren is geformatteerd, en de AI-modellen kunnen verschillend op dezelfde verzoeken reageren. Dit betekent dat we voor elk model afzonderlijk moeten optimaliseren, wat behoorlijk complex kan zijn gezien de verscheidenheid aan opties.

Ten tweede hebben AI-modellen verschillende mogelijkheden. Sommige modellen kunnen bijvoorbeeld uitvoer in JSON-indeling genereren, een functie die nuttig blijkt in veel van onze implementaties. Anderen kunnen grote hoeveelheden tekst verwerken, waardoor we voor sommige taken een uitgebreidere context kunnen gebruiken. Het beheren van deze mogelijkheden om het potentieel van elk model te maximaliseren is een essentieel onderdeel van ons werk.

Ten slotte moeten we ervoor zorgen dat door AI gegenereerde reacties veilig kunnen worden gebruikt. Generatieve AI-modellen kunnen soms ‘hallucinaties’ veroorzaken, of reacties genereren die vals, uit hun context gehaald of zelfs potentieel schadelijk zijn. Om dit te beperken, implementeren we rigoureuze desinfectiefilters na verwerking om ongepaste reacties te detecteren en eruit te filteren.

Hoe is de interface binnen uw agnostische AI-systeem ontworpen om ervoor te zorgen dat deze de complexiteit van de onderliggende AI-technologieën effectief abstraheert voor gebruiksvriendelijke interacties?

Het ontwerp van onze interface is een gezamenlijke inspanning van R&D en de engineeringteams. We werken functie per functie en definiëren de vereisten en beschikbare gegevens voor elke functie. Vervolgens ontwerpen we een API die naadloos integreert met het product en implementeren we deze in onze interne AI-Service. Hierdoor kunnen de technische teams zich concentreren op de bedrijfslogica, terwijl onze AI-Service de complexiteit van de omgang met verschillende AI-aanbieders afhandelt.

Dit proces is niet afhankelijk van baanbrekend onderzoek, maar van de toepassing van bewezen software-engineeringpraktijken.

Hoe gaat InvGate, gezien de wereldwijde activiteiten, om met de uitdaging van regionale beschikbaarheid en naleving van lokale dataregelgeving?

Het garanderen van regionale beschikbaarheid en naleving van lokale dataregelgeving is een cruciaal onderdeel van onze activiteiten bij InvGate. We selecteren zorgvuldig AI-aanbieders die niet alleen op schaal kunnen opereren, maar ook de hoogste veiligheidsnormen kunnen handhaven en kunnen voldoen aan regionale regelgeving.

Wij houden bijvoorbeeld alleen rekening met aanbieders die zich houden aan regelgeving zoals de Algemene Verordening Gegevensbescherming (AVG) in de EU. Dit zorgt ervoor dat we onze diensten veilig kunnen inzetten in verschillende regio’s, met het vertrouwen dat we binnen het lokale wettelijke kader opereren.

Grote cloudproviders als AWS, Azure en Google Cloud voldoen aan deze eisen en bieden een breed scala aan AI-functionaliteiten, waardoor ze geschikte partners zijn voor onze wereldwijde activiteiten. Bovendien houden we voortdurend toezicht op wijzigingen in de lokale gegevensregelgeving om voortdurende naleving te garanderen, en passen we onze praktijken indien nodig aan.

Hoe is de aanpak van InvGate voor het ontwikkelen van IT-oplossingen de afgelopen tien jaar geëvolueerd, vooral met de integratie van generatieve AI?

De afgelopen tien jaar is de aanpak van InvGate bij het ontwikkelen van IT-oplossingen aanzienlijk geëvolueerd. We hebben onze functionaliteit uitgebreid met geavanceerde mogelijkheden zoals geautomatiseerde workflows, apparaatdetectie en Configuration Management Database (CMDB). Deze functies hebben de IT-activiteiten voor onze gebruikers aanzienlijk vereenvoudigd.

Onlangs zijn we begonnen met het integreren van GenAI in onze producten. Dit is mogelijk gemaakt dankzij de recente vooruitgang bij LLM-aanbieders, die kosteneffectieve oplossingen zijn gaan aanbieden. De integratie van GenAI heeft ons in staat gesteld onze producten te verbeteren met AI-aangedreven ondersteuning, waardoor onze oplossingen efficiënter en gebruiksvriendelijker zijn geworden.

Hoewel het nog in de kinderschoenen staat, voorspellen we dat AI een alomtegenwoordig hulpmiddel in IT-activiteiten zal worden. Daarom zijn we van plan onze producten verder te ontwikkelen door AI-technologieën verder te integreren.

Kunt u uitleggen hoe de generatieve AI binnen de AI Hub de snelheid en kwaliteit van de reacties op veelvoorkomende IT-incidenten verbetert?

De generatieve AI binnen onze AI Hub verbetert zowel de snelheid als de kwaliteit van de reacties op veelvoorkomende IT-incidenten aanzienlijk. Dit gebeurt via een proces dat uit meerdere stappen bestaat:

Eerste contact: Wanneer een gebruiker een probleem tegenkomt, kan hij of zij een chat openen met onze AI-aangedreven Virtual Agent (VA) en het probleem beschrijven. De VA doorzoekt autonoom de Knowledge Base (KB) van het bedrijf en een openbare database met handleidingen voor IT-probleemoplossing en biedt op een gemoedelijke manier begeleiding. Hierdoor wordt het probleem vaak snel en efficiënt opgelost.

Ticketcreatie: Als het vraagstuk complexer is, kan de VA een ticket aanmaken, waardoor automatisch relevante informatie uit het gesprek wordt gehaald.

Tickettoewijzing: het systeem wijst het ticket toe aan een ondersteuningsagent op basis van de categorie van het ticket, de prioriteit en de ervaring van de agent met soortgelijke problemen.

Agent-interactie: De agent kan contact opnemen met de gebruiker voor aanvullende informatie of om hem te laten weten dat het probleem is opgelost. De interactie wordt verbeterd met AI, die schrijfaanbevelingen geeft om de communicatie te verbeteren.

Uitbreiding: Als het probleem escalatie vereist, helpen managers met automatische samenvattingen het probleem snel te begrijpen.

Postmortale analyse: Nadat het ticket is gesloten, voert de AI een analyse van de hoofdoorzaak uit, wat helpt bij postmortemanalyses en rapporten. De agent kan de AI ook gebruiken om een ​​kennisbankartikel op te stellen, waardoor de oplossing van soortgelijke problemen in de toekomst wordt vergemakkelijkt.

Hoewel we de meeste van deze functies al hebben geïmplementeerd, werken we voortdurend aan verdere verbeteringen en verbeteringen.

Wat zijn de verwachte verbeteringen in conversatieondersteuningservaringen met aankomende functies zoals de slimmere MS Teams Virtual Agent?

Een veelbelovende weg voorwaarts is het uitbreiden van de gesprekservaring tot een ‘copiloot’, die niet alleen vragen kan beantwoorden en eenvoudige acties kan ondernemen, maar ook complexere acties kan ondernemen namens de gebruikers. Dit kan nuttig zijn om de zelfbedieningsmogelijkheden van gebruikers te verbeteren, maar ook om extra krachtige tools aan agenten te bieden. Uiteindelijk zullen deze krachtige gespreksinterfaces ervoor zorgen dat AI een alomtegenwoordige metgezel wordt.

Bedankt voor het geweldige interview, lezers die meer willen weten, zouden moeten bezoeken InvGate.