Daniel Ciolek, hoof van navorsing en ontwikkeling by InvGate – Onderhoudreeks

Daniel is 'n passievolle IT-professional met meer as 15 jaar ondervinding in die bedryf. Hy het 'n PhD. in Rekenaarwetenskap en 'n lang loopbaan in tegnologienavorsing. Sy belangstellings val in verskeie gebiede, soos kunsmatige intelligensie, sagteware-ingenieurswese en hoëprestasie-rekenaars.

Daniel is die hoof van navorsing en ontwikkeling by InvGate, waar hy die R&D-inisiatiewe lei. Hy werk saam met die produk- en besigheidsontwikkelingspanne om die maatskappy se R&D-strategie te ontwerp, te implementeer en te monitor. Wanneer hy nie navorsing doen nie, gee hy onderrig.

InvGate bemagtig organisasies deur die gereedskap te verskaf om naatlose diens oor departemente heen te lewer, van IT tot Fasiliteite.

Wanneer en hoe het jy aanvanklik in rekenaarwetenskap begin belangstel?

My belangstelling in rekenaarwetenskap dateer uit my vroeë kinderjare. Ek was altyd gefassineer deur elektroniese toestelle, en het dikwels gevind dat ek myself verken en probeer verstaan ​​hoe dit werk. Soos ek ouer geword het, het hierdie nuuskierigheid my tot kodering gelei. Ek onthou nog die pret wat ek gehad het om my eerste programme te skryf. Van daardie oomblik af was daar geen twyfel by my dat ek 'n loopbaan in rekenaarwetenskap wou volg nie.

Jy lei tans R&D-inisiatiewe en implementeer nuwe generatiewe KI-toepassings. Kan jy van jou werk bespreek?

Absoluut. In ons R&D-afdeling pak ons ​​komplekse probleme aan wat uitdagend kan wees om doeltreffend te verteenwoordig en op te los. Ons werk is nie beperk tot generatiewe KI-toepassings nie, maar die onlangse vooruitgang op hierdie gebied het 'n magdom geleenthede geskep wat ons graag wil ontgin.

Een van ons hoofdoelwitte by InvGate was nog altyd om die bruikbaarheid van ons sagteware te optimaliseer. Ons doen dit deur te monitor hoe dit gebruik word, knelpunte te identifiseer en ywerig te werk om dit te verwyder. Een so 'n knelpunt wat ons dikwels teëgekom het, hou verband met die begrip en gebruik van natuurlike taal. Dit was 'n besonder moeilike kwessie om aan te spreek sonder die gebruik van groottaalmodelle (LLM's).

Met die onlangse opkoms van koste-effektiewe LLM's kon ons egter hierdie gebruiksgevalle stroomlyn. Ons vermoëns sluit nou die verskaffing van skryfaanbevelings in, die outomatiese opstel van kennisbasisartikels en die opsomming van uitgebreide stukke teks, onder baie ander taalgebaseerde kenmerke.

By InvGate pas jou span 'n strategie toe wat "agnostiese KI" genoem word. Kan jy definieer wat dit beteken en hoekom dit belangrik is?

Agnostiese KI gaan fundamenteel oor buigsaamheid en aanpasbaarheid. In wese gaan dit daaroor om nie tot 'n enkele KI-model of -verskaffer te verbind nie. In plaas daarvan poog ons om ons opsies oop te hou, en gebruik te maak van die beste wat elke KI-verskaffer bied, terwyl ons die risiko vermy om in een stelsel toegesluit te word.

Jy kan so daaraan dink: moet ons OpenAI se GPT, Google se Gemini, of Meta se Llama-2 vir ons generatiewe KI-kenmerke gebruik? Moet ons kies vir 'n betaal-soos-jy-gaan-wolk-ontplooiing, 'n bestuurde instansie of 'n self-gasheer-ontplooiing? Dit is nie onbenullige besluite nie, en dit kan selfs mettertyd verander namate nuwe modelle vrygestel word en nuwe verskaffers die mark betree.

Die Agnostiese KI-benadering verseker dat ons stelsel altyd gereed is om aan te pas. Ons implementering het drie sleutelkomponente: 'n koppelvlak, 'n roeteerder en die KI-modelle self. Die koppelvlak onttrek die implementeringsbesonderhede van die KI-stelsel weg, wat dit makliker maak vir ander dele van ons sagteware om daarmee te kommunikeer. Die roeteerder besluit waarheen om elke versoek te stuur op grond van verskeie faktore soos die tipe versoek en die vermoëns van die beskikbare KI-modelle. Laastens voer die modelle die werklike KI-take uit, wat persoonlike datavoorverwerking en resultaatformateringsprosesse kan vereis.

Kan jy die metodologiese aspekte beskryf wat jou besluitnemingsproses rig wanneer jy die mees geskikte KI-modelle en verskaffers vir spesifieke take kies?

Vir elke nuwe kenmerk wat ons ontwikkel, begin ons deur 'n evalueringsmaatstaf te skep. Hierdie maatstaf is ontwerp om die doeltreffendheid van verskillende KI-modelle te evalueer om die taak op hande op te los. Maar ons fokus nie net op werkverrigting nie, ons neem ook die spoed en koste van elke model in ag. Dit gee ons 'n holistiese siening van elke model se waarde, wat ons in staat stel om die mees koste-effektiewe opsie vir roeteversoeke te kies.

Ons proses eindig egter nie daar nie. In die vinnig-ontwikkelende veld van KI word nuwe modelle voortdurend vrygestel en bestaandes word gereeld bygewerk. Dus, wanneer 'n nuwe of opgedateerde model beskikbaar word, herhaal ons ons evalueringsmaatstaf. Dit laat ons die werkverrigting van die nuwe of opgedateerde model vergelyk met dié van ons huidige keuse. As 'n nuwe model beter as die huidige een presteer, werk ons ​​dan ons routermodule op om hierdie verandering te weerspieël.

Wat is sommige van die uitdagings om naatloos tussen verskillende KI-modelle en -verskaffers oor te skakel?

Die omskakeling tussen verskillende KI-modelle en -verskaffers bied inderdaad 'n stel unieke uitdagings.

Eerstens vereis elke KI-verskaffer insette wat op spesifieke maniere geformateer is, en die KI-modelle kan verskillend op dieselfde versoeke reageer. Dit beteken dat ons individueel vir elke model moet optimaliseer, wat redelik kompleks kan wees gegewe die verskeidenheid opsies.

Tweedens het KI-modelle verskillende vermoëns. Sommige modelle kan byvoorbeeld uitvoer in JSON-formaat genereer, 'n kenmerk wat nuttig blyk in baie van ons implementerings. Ander kan groot hoeveelhede teks verwerk, wat ons in staat stel om 'n meer omvattende konteks vir sommige take te gebruik. Die bestuur van hierdie vermoëns om die potensiaal van elke model te maksimeer, is 'n noodsaaklike deel van ons werk.

Ten slotte moet ons verseker dat KI-gegenereerde antwoorde veilig is om te gebruik. Generatiewe KI-modelle kan soms "hallusinasies" produseer of reaksies genereer wat vals, buite konteks of selfs potensieel skadelik is. Om dit te versag, implementeer ons streng na-verwerking ontsmettingsfilters om onvanpaste reaksies op te spoor en uit te filter.

Hoe word die koppelvlak binne jou agnostiese KI-stelsel ontwerp om te verseker dat dit die kompleksiteite van die onderliggende KI-tegnologieë effektief onttrek vir gebruikersvriendelike interaksies?

Die ontwerp van ons koppelvlak is 'n samewerkingspoging tussen R&D en die ingenieurspanne. Ons werk op 'n kenmerk-vir-kenmerk-basis en definieer die vereistes en beskikbare data vir elke kenmerk. Dan ontwerp ons 'n API wat naatloos met die produk integreer, en implementeer dit in ons interne KI-diens. Dit stel die ingenieurspanne in staat om op die besigheidslogika te fokus, terwyl ons KI-diens die kompleksiteit van die hantering van verskillende KI-verskaffers hanteer.

Hierdie proses maak nie staat op die nuutste navorsing nie, maar eerder op die toepassing van bewese sagteware-ingenieurspraktyke.

As globale bedrywighede in ag geneem word, hoe hanteer InvGate die uitdaging van streeksbeskikbaarheid en voldoening aan plaaslike dataregulasies?

Om streeksbeskikbaarheid en voldoening aan plaaslike dataregulasies te verseker is 'n deurslaggewende deel van ons bedrywighede by InvGate. Ons kies sorgvuldig KI-verskaffers wat nie net op skaal kan funksioneer nie, maar ook topsekuriteitstandaarde kan handhaaf en aan streeksregulasies voldoen.

Ons oorweeg byvoorbeeld net verskaffers wat aan regulasies soos die Algemene Databeskermingsregulasie (GDPR) in die EU voldoen. Dit verseker dat ons ons dienste veilig in verskillende streke kan ontplooi, met die vertroue dat ons binne die plaaslike wetlike raamwerk werk.

Groot wolkverskaffers soos AWS, Azure en Google Cloud voldoen aan hierdie vereistes en bied 'n wye reeks KI-funksionaliteite, wat hulle geskikte vennote maak vir ons globale bedrywighede. Verder monitor ons voortdurend veranderinge in plaaslike dataregulasies om deurlopende voldoening te verseker, en pas ons praktyke aan soos nodig.

Hoe het InvGate se benadering tot die ontwikkeling van IT-oplossings oor die afgelope dekade ontwikkel, veral met die integrasie van Generatiewe KI?

Oor die afgelope dekade het InvGate se benadering tot die ontwikkeling van IT-oplossings aansienlik ontwikkel. Ons het ons kenmerkbasis uitgebrei met gevorderde vermoëns soos outomatiese werkvloeie, toestelontdekking en konfigurasiebestuurdatabasis (CMDB). Hierdie kenmerke het IT-bedrywighede vir ons gebruikers aansienlik vereenvoudig.

Onlangs het ons GenAI by ons produkte begin integreer. Dit is moontlik gemaak danksy die onlangse vordering in LLM-verskaffers, wat kostedoeltreffende oplossings begin aanbied het. Die integrasie van GenAI het ons in staat gestel om ons produkte met KI-aangedrewe ondersteuning te verbeter, wat ons oplossings doeltreffender en gebruikersvriendeliker maak.

Alhoewel dit nog vroeg is, voorspel ons dat KI 'n alomteenwoordige hulpmiddel in IT-bedrywighede sal word. As sodanig beplan ons om voort te gaan om ons produkte te ontwikkel deur KI-tegnologie verder te integreer.

Kan jy verduidelik hoe die generatiewe KI binne die KI Hub die spoed en kwaliteit van reaksies op algemene IT-voorvalle verbeter?

Die generatiewe KI binne ons KI-hub verbeter beide die spoed en kwaliteit van reaksies op algemene IT-voorvalle aansienlik. Dit doen dit deur 'n multi-stap proses:

Aanvanklike Kontak: Wanneer 'n gebruiker 'n probleem teëkom, kan hy of sy 'n klets met ons KI-aangedrewe virtuele agent (VA) oopmaak en die probleem beskryf. Die VA soek outonoom deur die maatskappy se Knowledge Base (KB) en 'n publieke databasis van IT-foutsporingsgidse, wat leiding verskaf op 'n gespreksmanier. Dit los die probleem dikwels vinnig en doeltreffend op.

Kaartjie skepping: As die kwessie meer kompleks is, kan die VA 'n kaartjie skep, wat relevante inligting outomaties uit die gesprek onttrek.

Kaartjie Opdrag: Die stelsel ken die kaartjie aan 'n ondersteuningsagent toe op grond van die kaartjie se kategorie, prioriteit en die agent se ervaring met soortgelyke kwessies.

Agent interaksie: Die agent kan die gebruiker kontak vir bykomende inligting of om hulle in kennis te stel dat die probleem opgelos is. Die interaksie word verbeter met KI, wat skryfaanbevelings verskaf om kommunikasie te verbeter.

eskalasie: As die kwessie eskalasie vereis, help outomatiese opsommingskenmerke bestuurders om die probleem vinnig te verstaan.

Nadoodse ontleding: Nadat die kaartjie gesluit is, voer die KI 'n oorsaakontleding uit, wat help met nadoodse ontleding en verslae. Die agent kan ook die KI gebruik om 'n kennisbasisartikel op te stel, wat die oplossing van soortgelyke kwessies in die toekoms vergemaklik.

Alhoewel ons reeds die meeste van hierdie kenmerke geïmplementeer het, werk ons ​​voortdurend aan verdere verbeterings en verbeterings.

Met opkomende kenmerke soos die slimmer MS Teams Virtual Agent, wat is die verwagte verbeterings in gespreksondersteuningservarings?

Een belowende pad vorentoe is om die gesprekservaring uit te brei na 'n "copilot", nie net in staat om vrae te beantwoord en eenvoudige aksies te neem nie, maar ook meer komplekse aksies namens die gebruikers te neem. Dit kan nuttig wees om gebruikers se selfdiensvermoëns te verbeter, sowel as om bykomende kragtige nutsmiddels aan agente te verskaf. Uiteindelik sal hierdie kragtige gesprekskoppelvlakke KI 'n alomteenwoordige metgesel maak.

Dankie vir die puik onderhoud, lesers wat meer wil leer moet besoek aflê InvGate.