Daniel Ciolek, InvGaten tutkimus- ja kehitysjohtaja – haastattelusarja

Daniel on intohimoinen IT-ammattilainen, jolla on yli 15 vuoden kokemus alalta. Hän on PhD. Tietojenkäsittelytieteessä ja pitkä ura teknologiatutkimuksessa. Hänen kiinnostuksen kohteet ovat useilla aloilla, kuten tekoäly, ohjelmistotuotanto ja korkean suorituskyvyn tietojenkäsittely.

Daniel on tutkimus- ja kehitysjohtaja InvGatessa, jossa hän johtaa T&K-aloitteita. Hän työskentelee yhdessä tuote- ja liiketoiminnan kehitystiimien kanssa suunnitellakseen, toteuttaakseen ja valvoakseen yrityksen T&K-strategiaa. Kun hän ei tutki, hän opettaa.

InvGate antaa organisaatioille mahdollisuuden tarjota saumattomia palveluita eri osastojen välillä IT:stä tiloihin.

Milloin ja miten innostuit tietojenkäsittelytieteestä?

Kiinnostukseni tietojenkäsittelytieteeseen juontaa juurensa varhaisesta lapsuudestani. Minua ovat aina kiehtoneet elektroniset laitteet, ja huomasin usein tutkivani ja yrittäväni ymmärtää niiden toimintaa. Vanhetessani tämä uteliaisuus johti minut koodaamaan. Muistan edelleen, kuinka hauskaa minulla oli ensimmäisten ohjelmieni kirjoittamisessa. Siitä hetkestä lähtien minulla ei ollut epäilystäkään siitä, että halusin jatkaa tietojenkäsittelytieteen uraa.

Tällä hetkellä johdat T&K-hankkeita ja toteutat uusia generatiivisia tekoälysovelluksia. Voitko keskustella joistakin töistäsi?

Ehdottomasti. T&K-osastollamme käsittelemme monimutkaisia ​​ongelmia, joita voi olla haastavaa edustaa ja ratkaista tehokkaasti. Työmme ei rajoitu generatiivisiin tekoälysovelluksiin, mutta viimeaikaiset edistysaskeleet tällä alalla ovat luoneet runsaasti mahdollisuuksia, joita haluamme hyödyntää.

Yksi tärkeimmistä tavoitteistamme InvGatella on aina ollut ohjelmistojemme käytettävyyden optimointi. Teemme tämän seuraamalla sen käyttöä, tunnistamalla pullonkauloja ja työskentelemällä ahkerasti niiden poistamiseksi. Yksi tällainen usein kohtaamamme pullonkaula liittyy luonnollisen kielen ymmärtämiseen ja käyttöön. Tämä ongelma oli erityisen vaikea ratkaista ilman suuria kielimalleja (LLM).

Kustannustehokkaiden LLM-yritysten äskettäisen ilmaantumisen myötä olemme kuitenkin pystyneet virtaviivaistamaan näitä käyttötapauksia. Voimme nyt tarjota kirjoitussuosituksia, laatia automaattisesti tietokannan artikkeleita ja tehdä yhteenvetoja laajoista tekstistä, sekä monia muita kielipohjaisia ​​ominaisuuksia.

InvGatessa tiimisi soveltaa strategiaa, jota kutsutaan "agnostiseksi tekoälyksi". Voitko määritellä mitä tämä tarkoittaa ja miksi se on tärkeää?

Agnostisessa tekoälyssä on pohjimmiltaan kyse joustavuudesta ja sopeutumiskyvystä. Pohjimmiltaan kyse on siitä, että ei sitoudu yhteen tekoälymalliin tai -toimittajaan. Sen sijaan pyrimme pitämään vaihtoehtomme avoimina hyödyntäen kunkin tekoälypalvelun tarjoajan parasta ja välttäen samalla riskiä joutua yhteen järjestelmään.

Voit ajatella sen näin: pitäisikö meidän käyttää OpenAI:n GPT:tä, Googlen Geminiä vai Metan Llama-2:ta generatiivisiin tekoälyominaisuuksiimme? Pitäisikö meidän valita pay-as-you-go-pilvikäyttöönotto, hallittu ilmentymä vai itseisännöity käyttöönotto? Nämä eivät ole vähäpätöisiä päätöksiä, ja ne voivat jopa muuttua ajan myötä, kun uusia malleja julkaistaan ​​ja uusia palveluntarjoajia tulee markkinoille.

Agnostisen tekoälyn lähestymistapa varmistaa, että järjestelmämme on aina valmis mukautumaan. Toteutuksessamme on kolme avainkomponenttia: käyttöliittymä, reititin ja itse tekoälymallit. Käyttöliittymä abstraktioi pois tekoälyjärjestelmän toteutustiedot, mikä helpottaa ohjelmistomme muiden osien vuorovaikutusta sen kanssa. Reititin päättää minne kukin pyyntö lähettää eri tekijöiden, kuten pyynnön tyypin ja käytettävissä olevien tekoälymallien ominaisuuksien perusteella. Lopuksi mallit suorittavat varsinaiset tekoälytehtävät, jotka voivat vaatia mukautettuja tietojen esikäsittelyä ja tulosten muotoiluprosesseja.

Voitko kuvailla metodologisia näkökohtia, jotka ohjaavat päätöksentekoprosessiasi, kun valitset sopivimpia tekoälymalleja ja palveluntarjoajia tiettyihin tehtäviin?

Jokaiselle kehittämällemme uudelle ominaisuudelle aloitamme luomalla arviointiperusteen. Tämä benchmark on suunniteltu arvioimaan eri tekoälymallien tehokkuutta käsillä olevan tehtävän ratkaisemisessa. Mutta emme keskity vain suorituskykyyn, otamme huomioon myös kunkin mallin nopeuden ja kustannukset. Tämä antaa meille kokonaisvaltaisen kuvan kunkin mallin arvosta, jolloin voimme valita kustannustehokkaimman vaihtoehdon reitityspyyntöjen tekemiseen.

Prosessi ei kuitenkaan pääty tähän. Tekoälyn nopeasti kehittyvällä alalla uusia malleja julkaistaan ​​jatkuvasti ja olemassa olevia päivitetään säännöllisesti. Joten aina kun uusi tai päivitetty malli tulee saataville, suoritamme arvioinnin vertailuarvomme uudelleen. Näin voimme verrata uuden tai päivitetyn mallin suorituskykyä nykyisen valikoimamme suorituskykyyn. Jos uusi malli toimii paremmin kuin nykyinen, päivitämme reititinmoduulimme tämän muutoksen mukaan.

Mitä haasteita saumattomasti eri tekoälymallien ja -tarjoajien välillä on?

Saumaton vaihtaminen eri tekoälymallien ja palveluntarjoajien välillä asettaa todellakin joukon ainutlaatuisia haasteita.

Ensinnäkin jokainen tekoälyn tarjoaja vaatii tietyllä tavalla muotoiltuja syötteitä, ja tekoälymallit voivat reagoida eri tavoin samoihin pyyntöihin. Tämä tarkoittaa, että meidän on optimoitava erikseen jokaiselle mallille, mikä voi olla varsin monimutkaista ottaen huomioon vaihtoehdot.

Toiseksi AI-malleilla on erilaisia ​​ominaisuuksia. Jotkin mallit voivat esimerkiksi tuottaa tulosteen JSON-muodossa, ominaisuus, joka osoittautuu hyödylliseksi monissa toteutuksissamme. Toiset voivat käsitellä suuria määriä tekstiä, jolloin voimme käyttää kattavampaa kontekstia joihinkin tehtäviin. Näiden ominaisuuksien hallinta kunkin mallin potentiaalin maksimoimiseksi on olennainen osa työtämme.

Lopuksi meidän on varmistettava, että tekoälyn luomat vastaukset ovat turvallisia käyttää. Generatiiviset tekoälymallit voivat joskus tuottaa "hallusinaatioita" tai tuottaa vastauksia, jotka ovat vääriä, kontekstista irrallisia tai jopa mahdollisesti haitallisia. Tämän lieventämiseksi otamme käyttöön tiukat jälkikäsittelyn puhdistussuodattimet, jotka havaitsevat ja suodattavat sopimattomat vastaukset.

Miten agnostisen tekoälyjärjestelmän käyttöliittymä on suunniteltu varmistamaan, että se tiivistää tehokkaasti taustalla olevien tekoälytekniikoiden monimutkaisuuden käyttäjäystävällistä vuorovaikutusta varten?

Käyttöliittymämme suunnittelu on T&K:n ja suunnittelutiimien yhteistä työtä. Työskentelemme ominaisuuskohtaisesti määrittelemällä kunkin ominaisuuden vaatimukset ja saatavilla olevat tiedot. Suunnittelemme sitten sovellusliittymän, joka integroituu saumattomasti tuotteeseen ja toteutamme sen sisäisessä AI-palvelussamme. Tämän ansiosta suunnittelutiimit voivat keskittyä liiketoimintalogiikkaan, kun taas tekoälypalvelumme käsittelee eri tekoälyn tarjoajien kanssakäymisen monimutkaisuutta.

Tämä prosessi ei perustu huippututkimukseen, vaan sen sijaan hyväksi havaittujen ohjelmistokehityskäytäntöjen soveltamiseen.

Miten InvGate käsittelee globaalia toimintaa huomioiden alueellisen saatavuuden ja paikallisten tietomääräysten noudattamisen haasteita?

Alueellisen saatavuuden ja paikallisten tietomääräysten noudattamisen varmistaminen on tärkeä osa toimintaamme InvGatessa. Valitsemme huolellisesti tekoälypalveluntarjoajat, jotka eivät pysty toimimaan vain suuressa mittakaavassa, vaan myös noudattavat huippuluokan turvallisuusstandardeja ja noudattavat alueellisia säännöksiä.

Otamme esimerkiksi huomioon vain palveluntarjoajat, jotka noudattavat EU:n yleistä tietosuoja-asetusta (GDPR). Tämä varmistaa, että voimme turvallisesti ottaa palvelujamme käyttöön eri alueilla luottaen siihen, että toimimme paikallisen lainsäädännön puitteissa.

Suuret pilvipalveluntarjoajat, kuten AWS, Azure ja Google Cloud, täyttävät nämä vaatimukset ja tarjoavat laajan valikoiman tekoälytoimintoja, mikä tekee niistä sopivia kumppaneita globaaleihin toimintoihimme. Lisäksi seuraamme jatkuvasti paikallisten tietomääräysten muutoksia varmistaaksemme jatkuvan vaatimustenmukaisuuden ja muokkaamme käytäntöjämme tarpeen mukaan.

Miten InvGaten lähestymistapa IT-ratkaisujen kehittämiseen on kehittynyt viimeisen vuosikymmenen aikana, erityisesti generatiivisen tekoälyn integroinnin myötä?

Viimeisen vuosikymmenen aikana InvGaten lähestymistapa IT-ratkaisujen kehittämiseen on kehittynyt merkittävästi. Olemme laajentaneet ominaisuuskantaamme kehittyneillä ominaisuuksilla, kuten automatisoiduilla työnkuluilla, laitehakulla ja CMDB:llä (Configuration Management Database). Nämä ominaisuudet ovat yksinkertaistaneet käyttäjien IT-toimintoja huomattavasti.

Olemme hiljattain alkaneet integroida GenAI:ta tuotteisiimme. Tämä on ollut mahdollista LLM-palveluntarjoajien viimeaikaisten edistysten ansiosta, jotka ovat alkaneet tarjota kustannustehokkaita ratkaisuja. GenAI:n integrointi on antanut meille mahdollisuuden parantaa tuotteitamme tekoälypohjaisella tuella, mikä tekee ratkaisuistamme tehokkaampia ja käyttäjäystävällisempiä.

Vaikka se on vielä alkuvaiheessa, ennustamme, että tekoälystä tulee kaikkialla käytettävä työkalu IT-toiminnassa. Näin ollen aiomme jatkaa tuotteidemme kehittämistä integroimalla tekoälyteknologioita edelleen.

Voitko selittää, kuinka tekoälykeskuksen luova tekoäly nopeuttaa ja parantaa vastausten laatua yleisiin IT-tapahtumiin?

Tekoälykeskuksessamme oleva generatiivinen tekoäly parantaa merkittävästi sekä nopeutta että vastausten laatua yleisiin IT-tapahtumiin. Se tekee tämän monivaiheisen prosessin kautta:

Alkuperäinen yhteys: Kun käyttäjä kohtaa ongelman, hän voi avata chatin tekoälyllä toimivan virtuaaliagenttimme (VA) kanssa ja kuvailla ongelmaa. VA etsii itsenäisesti yrityksen Knowledge Base (KB) -tietokannasta ja julkisesta tietokannasta IT-vianmääritysoppaita tarjoten opastusta keskustelun muodossa. Tämä ratkaisee ongelman usein nopeasti ja tehokkaasti.

Lipun luominen: Jos ongelma on monimutkaisempi, VA voi luoda lipun, joka poimii automaattisesti olennaiset tiedot keskustelusta.

Lippujen määräys: Järjestelmä määrittää lipun tukiagentille lipun luokan, prioriteetin ja agentin kokemuksen perusteella vastaavista ongelmista.

Agentin vuorovaikutus: Edustaja voi ottaa yhteyttä käyttäjään saadakseen lisätietoja tai ilmoittaakseen, että ongelma on ratkaistu. Vuorovaikutusta tehostetaan tekoälyn avulla, ja se tarjoaa kirjoitussuosituksia viestinnän parantamiseksi.

Escalation: Jos ongelma vaatii eskalointia, automaattiset yhteenvetoominaisuudet auttavat johtajia ymmärtämään ongelman nopeasti.

Kuolemanjälkeinen analyysi: Kun lippu on suljettu, tekoäly suorittaa perussyyanalyysin, joka auttaa post mortem -analyysissä ja raporteissa. Agentti voi myös käyttää tekoälyä laatiakseen tietokannan artikkelin, mikä helpottaa vastaavien ongelmien ratkaisemista tulevaisuudessa.

Vaikka olemme jo ottaneet käyttöön suurimman osan näistä ominaisuuksista, työskentelemme jatkuvasti lisäparannuksien ja -parannusten parissa.

Mitä parannuksia keskustelutuen käyttökokemukseen odotetaan tulevien ominaisuuksien, kuten älykkäämmän MS Teams Virtual Agentin, myötä?

Yksi lupaava tie eteenpäin on laajentaa keskustelukokemusta "topilotiksi", joka ei vain kykene vastaamaan kysymyksiin ja tekemään yksinkertaisia ​​toimia, vaan myös suorittamaan monimutkaisempia toimia käyttäjien puolesta. Tämä voi olla hyödyllistä käyttäjien itsepalveluominaisuuksien parantamiseksi sekä tehokkaiden lisätyökalujen tarjoamiseksi agenteille. Lopulta nämä tehokkaat keskustelurajapinnat tekevät tekoälystä arjen kumppanin.

Kiitos upeasta haastattelusta, lukijoiden, jotka haluavat tietää lisää, kannattaa käydä InvGate.