Daniel Ciolek, Kap tar-Riċerka u l-Iżvilupp f’InvGate – Serje ta’ Intervisti

Daniel huwa professjonist tal-IT passjonat b'aktar minn 15-il sena esperjenza fl-industrija. Huwa għandu PhD. fix-Xjenza tal-Kompjuter u karriera twila fir-riċerka tat-teknoloġija. L-interessi tiegħu jaqgħu f'diversi oqsma, bħall-Intelliġenza Artifiċjali, l-Inġinerija tas-Softwer, u l-Kompjuter ta' Prestazzjoni Għolja.

Daniel huwa l-Kap tar-Riċerka u l-Iżvilupp f'InvGate, fejn imexxi l-inizjattivi ta 'R&D. Huwa jaħdem flimkien mat-timijiet tal-Prodott u l-Iżvilupp tan-Negozju biex jiddisinja, jimplimenta, u jimmonitorja l-istrateġija ta 'R&D tal-kumpanija. Meta ma jkunx qed jirriċerka, qed jgħallem.

InvGate jagħti s-setgħa lill-organizzazzjonijiet billi jipprovdi l-għodod biex iwasslu servizz bla xkiel fid-dipartimenti, mill-IT sal-Faċilitajiet.

Meta u kif inizjalment sirt interessat fix-xjenza tal-kompjuter?

L-interess tiegħi fix-xjenza tal-kompjuter imur lura għall-bidu tat-tfulija tiegħi. Dejjem kont affaxxinat bl-apparati elettroniċi, ħafna drabi sibt ruħi nesplora u nipprova nifhem kif kienu jaħdmu. Hekk kif kiber, din il-kurżità wasslitni għall-kodifikazzjoni. Għadni niftakar il-gost li ħadt nikteb l-ewwel programmi tiegħi. Minn dak il-mument, ma kien hemm ebda dubju f’moħħi li ridt insegwi karriera fix-xjenza tal-kompjuter.

Bħalissa qed tmexxi inizjattivi ta' R&D u timplimenta applikazzjonijiet ġodda ġenerattivi tal-IA. Tista' tiddiskuti ftit mix-xogħol tiegħek?

Assolutament. Fid-dipartiment tal-R&D tagħna, nittrattaw problemi kumplessi li jistgħu jkunu ta’ sfida biex nirrappreżentaw u nsolvuhom b’mod effiċjenti. Ix-xogħol tagħna mhuwiex limitat għal applikazzjonijiet ġenerattivi tal-AI, iżda l-avvanzi reċenti f'dan il-qasam ħolqu għadd kbir ta' opportunitajiet li aħna ħerqana li nisfruttaw.

Wieħed mill-għanijiet ewlenin tagħna f'InvGate dejjem kien li nottimizzaw l-użabilità tas-softwer tagħna. Nagħmlu dan billi nissorveljaw kif tintuża, nidentifikaw il-konġestjonijiet, u naħdmu b'mod diliġenti biex inneħħuhom. Ostakolu bħal dan li ltqajna magħhom spiss huwa relatat mal-fehim u l-użu tal-lingwa naturali. Din kienet kwistjoni partikolarment diffiċli biex tiġi indirizzata mingħajr l-użu ta' Mudelli ta' Lingwi Kbar (LLMs).

Madankollu, bl-emerġenza reċenti ta 'LLMs kosteffettivi, stajna nissimplifikaw dawn il-każijiet ta' użu. Il-kapaċitajiet tagħna issa jinkludu l-għoti ta’ rakkomandazzjonijiet tal-kitba, l-abbozzar awtomatikament ta’ artikli tal-bażi tal-għarfien, u l-qosor ta’ biċċiet estensivi ta’ test, fost ħafna karatteristiċi oħra bbażati fuq il-lingwa.

F'InvGate, it-tim tiegħek japplika strateġija li tissejjaħ "AI agnostika". Tista' tiddefinixxi dan xi jfisser u għaliex huwa importanti?

L-AI agnostika hija fundamentalment dwar il-flessibbiltà u l-adattabilità. Essenzjalment, huwa dwar li ma timpenjax għal mudell jew fornitur AI wieħed. Minflok, aħna nimmiraw li nżommu l-għażliet tagħna miftuħa, billi nisfruttaw l-aħjar li joffri kull fornitur tal-AI, filwaqt li nevitaw ir-riskju li nissakkru f'sistema waħda.

Tista' taħseb dwarha hekk: għandna nużaw il-GPT ta' OpenAI, il-Gemini ta' Google, jew il-Llama-2 ta' Meta għall-karatteristiċi tal-AI ġenerattivi tagħna? Għandna nagħżlu skjerament tal-cloud pay-as-you-go, istanza ġestita, jew skjerament self-hosted? Dawn mhumiex deċiżjonijiet trivjali, u jistgħu saħansitra jinbidlu maż-żmien hekk kif jiġu rilaxxati mudelli ġodda u fornituri ġodda jidħlu fis-suq.

L-approċċ Agnostic AI jiżgura li s-sistema tagħna tkun dejjem lesta biex tadatta. L-implimentazzjoni tagħna għandha tliet komponenti ewlenin: interface, router, u l-mudelli AI nfushom. L-interface jastratta d-dettalji tal-implimentazzjoni tas-sistema AI, u jagħmilha aktar faċli għal partijiet oħra tas-softwer tagħna biex jinteraġixxu magħha. Ir-router jiddeċiedi fejn jibgħat kull talba abbażi ta' diversi fatturi bħat-tip ta' talba u l-kapaċitajiet tal-mudelli AI disponibbli. Fl-aħħarnett, il-mudelli jwettqu l-kompiti attwali tal-AI, li jistgħu jeħtieġu proċessi ta' ipproċessar minn qabel tad-dejta u l-ifformattjar tar-riżultati tad-dwana.

Tista' tiddeskrivi l-aspetti metodoloġiċi li jiggwidaw il-proċess tat-teħid tad-deċiżjonijiet tiegħek meta tagħżel il-mudelli u l-fornituri tal-AI l-aktar adattati għal kompiti speċifiċi?

Għal kull karatteristika ġdida li niżviluppaw, nibdew billi noħolqu punt ta' referenza ta' evalwazzjoni. Dan il-punt ta’ referenza huwa ddisinjat biex jevalwa l-effiċjenza ta’ mudelli ta’ AI differenti biex isolvu l-kompitu li jkun hemm. Imma aħna ma niffukawx biss fuq il-prestazzjoni, aħna nikkunsidraw ukoll il-veloċità u l-ispiża ta 'kull mudell. Dan jagħtina ħarsa ħolistika tal-valur ta 'kull mudell, li jippermettilna nagħżlu l-aktar għażla kost-effettiva għat-talbiet tar-rotot.

Madankollu, il-proċess tagħna ma jispiċċax hemm. Fil-qasam tal-AI li qed jevolvi malajr, mudelli ġodda qed jiġu rilaxxati kontinwament u dawk eżistenti huma aġġornati regolarment. Għalhekk, kull meta jsir disponibbli mudell ġdid jew aġġornat, nerġgħu nwettqu l-benchmark tal-evalwazzjoni tagħna. Dan jippermettilna nqabblu l-prestazzjoni tal-mudell il-ġdid jew aġġornat ma 'dak tal-għażla attwali tagħna. Jekk mudell ġdid jegħleb dak attwali, imbagħad naġġornaw il-modulu tar-router tagħna biex nirriflettu din il-bidla.

X'inhuma xi wħud mill-isfidi tal-bidla bla xkiel bejn diversi mudelli u fornituri tal-AI?

Il-bidla bla xkiel bejn diversi mudelli u fornituri ta' AI tabilħaqq tippreżenta sett ta' sfidi uniċi.

L-ewwelnett, kull fornitur tal-AI jeħtieġ inputs ifformattjati b'modi speċifiċi, u l-mudelli tal-AI jistgħu jirreaġixxu b'mod differenti għall-istess talbiet. Dan ifisser li rridu nottimizzaw individwalment għal kull mudell, li jista 'jkun pjuttost kumpless minħabba l-varjetà ta' għażliet.

It-tieni, mudelli AI għandhom kapaċitajiet differenti. Pereżempju, xi mudelli jistgħu jiġġeneraw output f'format JSON, karatteristika li tirriżulta utli f'ħafna mill-implimentazzjonijiet tagħna. Oħrajn jistgħu jipproċessaw ammonti kbar ta’ test, li jippermettilna nużaw kuntest aktar komprensiv għal xi kompiti. Il-ġestjoni ta 'dawn il-kapaċitajiet biex timmassimizza l-potenzjal ta' kull mudell hija parti essenzjali tax-xogħol tagħna.

Fl-aħħarnett, irridu niżguraw li r-risponsi ġġenerati mill-AI jkunu sikuri biex jintużaw. Mudelli ġenerattivi AI kultant jistgħu jipproduċu "alluċinazzjonijiet", jew jiġġeneraw reazzjonijiet li huma foloz, barra mill-kuntest, jew saħansitra potenzjalment ta 'ħsara. Biex intaffu dan, nimplimentaw filtri rigorużi ta’ sanitizzazzjoni ta’ wara l-ipproċessar biex niskopru u niffiltraw tweġibiet mhux xierqa.

Kif inhi ddisinjata l-interface fis-sistema agnostika tiegħek AI biex tiżgura li tiġbed b'mod effettiv il-kumplessitajiet tat-teknoloġiji sottostanti tal-AI għal interazzjonijiet faċli għall-utent?

Id-disinn tal-interface tagħna huwa sforz kollaborattiv bejn lR&D u t-timijiet tal-inġinerija. Naħdmu fuq bażi karatteristika b'karatteristika, niddefinixxu r-rekwiżiti u d-dejta disponibbli għal kull karatteristika. Imbagħad, aħna niddisinjaw API li tintegra bla xkiel mal-prodott, billi nimplimentah fis-Servizz AI intern tagħna. Dan jippermetti lit-timijiet tal-inġinerija jiffokaw fuq il-loġika tan-negozju, filwaqt li s-Servizz tal-AI tagħna jieħu ħsieb il-kumplessitajiet tat-trattament ma' fornituri tal-AI differenti.

Dan il-proċess ma jiddependix fuq riċerka avvanzata, iżda minflok fuq l-applikazzjoni ta 'prattiċi ppruvati ta' inġinerija tas-softwer.

Meta wieħed iqis l-operazzjonijiet globali, InvGate kif jittratta l-isfida tad-disponibbiltà reġjonali u l-konformità mar-regolamenti tad-dejta lokali?

L-iżgurar tad-disponibbiltà reġjonali u l-konformità mar-regolamenti tad-dejta lokali hija parti kruċjali mill-operazzjonijiet tagħna f'InvGate. Aħna nagħżlu bir-reqqa fornituri tal-AI li jistgħu mhux biss joperaw fuq skala, iżda wkoll isostnu l-ogħla standards ta 'sigurtà u jikkonformaw mar-regolamenti reġjonali.

Pereżempju, aħna nikkunsidraw biss fornituri li jaderixxu mar-regolamenti bħar-Regolament Ġenerali dwar il-Protezzjoni tad-Dejta (GDPR) fl-UE. Dan jiżgura li nistgħu nużaw is-servizzi tagħna b'mod sikur f'reġjuni differenti, bil-fiduċja li qed noperaw fil-qafas legali lokali.

Fornituri ewlenin tal-cloud bħal AWS, Azure, u Google Cloud jissodisfaw dawn ir-rekwiżiti u joffru firxa wiesgħa ta’ funzjonalitajiet tal-IA, li jagħmluhom imsieħba xierqa għall-operazzjonijiet globali tagħna. Barra minn hekk, aħna kontinwament nissorveljaw il-bidliet fir-regolamenti tad-dejta lokali biex niżguraw konformità kontinwa, billi naġġustaw il-prattiki tagħna kif meħtieġ.

Kif evolva l-approċċ ta' InvGate għall-iżvilupp ta' soluzzjonijiet tal-IT matul l-aħħar għaxar snin, partikolarment bl-integrazzjoni tal-AI Ġenerattiva?

Matul l-aħħar għaxar snin, l-approċċ ta 'InvGate għall-iżvilupp ta' soluzzjonijiet tal-IT evolva b'mod sinifikanti. Espandejna l-bażi tal-karatteristiċi tagħna b'kapaċitajiet avvanzati bħal flussi tax-xogħol awtomatizzati, skoperta ta 'apparat, u Database ta' Ġestjoni tal-Konfigurazzjoni (CMDB). Dawn il-karatteristiċi ssimplifikaw ħafna l-operazzjonijiet tal-IT għall-utenti tagħna.

Riċentement, bdejna nintegraw GenAI fil-prodotti tagħna. Dan sar possibbli grazzi għall-avvanzi reċenti fil-fornituri tal-LLM, li bdew joffru soluzzjonijiet kost-effettivi. L-integrazzjoni ta 'GenAI ippermettietna ntejbu l-prodotti tagħna b'appoġġ imħaddem mill-AI, u b'hekk is-soluzzjonijiet tagħna jsiru aktar effiċjenti u faċli għall-utent.

Filwaqt li għadu kmieni, aħna nbassru li l-AI se ssir għodda kullimkien fl-operazzjonijiet tal-IT. Bħala tali, qed nippjanaw li nkomplu nevolvu l-prodotti tagħna billi nintegraw aktar it-teknoloġiji tal-IA.

Tista' tispjega kif l-AI ġenerattiva fi ħdan l-AI Hub ittejjeb il-veloċità u l-kwalità tar-reazzjonijiet għal inċidenti komuni tal-IT?

L-AI ġenerattiva fi ħdan l-AI Hub tagħna ttejjeb b'mod sinifikanti kemm il-veloċità kif ukoll il-kwalità tar-reazzjonijiet għal inċidenti komuni tal-IT. Jagħmel dan permezz ta' proċess f'diversi stadji:

Kuntatt Inizjali: Meta utent jiltaqa' ma' problema, hu jew hi jista' jiftaħ chat mal-Aġent Virtwali (VA) tagħna li jaħdem bl-AI u jiddeskrivi l-kwistjoni. Il-VA tfittex b'mod awtonomu permezz tal-Knowledge Base (KB) tal-kumpanija u database pubblika ta 'gwidi ta' soluzzjoni tal-problemi tal-IT, u tipprovdi gwida b'mod konversazzjonali. Dan spiss isolvi l-problema malajr u b'mod effiċjenti.

Ħolqien tal-Biljett: Jekk il-kwistjoni hija aktar kumplessa, il-VA jista 'joħloq biljett, awtomatikament estratt informazzjoni rilevanti mill-konversazzjoni.

Assenjament tal-Biljett: Is-sistema tassenja l-biljett lil aġent ta 'appoġġ ibbażat fuq il-kategorija tal-biljett, il-prijorità, u l-esperjenza tal-aġent bi kwistjonijiet simili.

Interazzjoni aġent: L-aġent jista' jikkuntattja lill-utent għal informazzjoni addizzjonali jew biex jinnotifikah li l-kwistjoni ġiet solvuta. L-interazzjoni hija msaħħa bl-AI, billi tipprovdi rakkomandazzjonijiet tal-kitba biex tittejjeb il-komunikazzjoni.

Eskalazzjoni: Jekk il-kwistjoni teħtieġ eskalazzjoni, karatteristiċi ta 'sommarju awtomatiku jgħinu lill-maniġers jifhmu malajr il-problema.

Analiżi Postmortem: Wara li l-biljett jingħalaq, l-AI twettaq analiżi tal-kawża ewlenija, li tgħin fl-analiżi u r-rapporti postmortem. L-aġent jista 'wkoll juża l-AI biex jabbozza artikolu bażi ta' għarfien, li jiffaċilita r-riżoluzzjoni ta 'kwistjonijiet simili fil-futur.

Filwaqt li diġà implimentajna ħafna minn dawn il-karatteristiċi, qed naħdmu kontinwament fuq aktar titjib u titjib.

B'karatteristiċi li ġejjin bħall-MS Teams Virtual Agent aktar intelliġenti, x'inhuma t-titjib mistenni fl-esperjenzi ta' appoġġ konversazzjonali?

Passaġġ promettenti 'l quddiem huwa li testendi l-esperjenza tal-konversazzjoni f'"kopilota", mhux biss kapaċi jwieġeb għall-mistoqsijiet u jieħu azzjonijiet sempliċi, iżda wkoll jieħu azzjonijiet aktar kumplessi f'isem l-utenti. Dan jista' jkun utli biex jitjiebu l-kapaċitajiet ta' self-service tal-utenti, kif ukoll biex jiġu pprovduti għodda qawwija addizzjonali lill-aġenti. Eventwalment, dawn l-interfaces ta 'konversazzjoni qawwija se jagħmlu l-AI anëillari kullimkien.

Grazzi għall-intervista mill-aqwa, il-qarrejja li jixtiequ jitgħallmu aktar għandhom iżuru InvGate.