Daniels Cioleks, InvGate pētniecības un attīstības vadītājs — interviju sērija

Daniels ir kaislīgs IT speciālists ar vairāk nekā 15 gadu pieredzi šajā nozarē. Viņam ir doktora grāds. datorzinātnēs un ilgu karjeru tehnoloģiju pētniecībā. Viņa intereses attiecas uz vairākām jomām, piemēram, mākslīgo intelektu, programmatūras inženieriju un augstas veiktspējas skaitļošanu.

Daniels ir InvGate pētniecības un attīstības vadītājs, kur viņš vada pētniecības un attīstības iniciatīvas. Viņš strādā kopā ar produktu un biznesa attīstības komandām, lai izstrādātu, ieviestu un uzraudzītu uzņēmuma pētniecības un attīstības stratēģiju. Kad viņš nepēta, viņš māca.

InvGate sniedz organizācijām iespējas, nodrošinot rīkus, lai nodrošinātu netraucētu pakalpojumu sniegšanu dažādās nodaļās, sākot no IT un beidzot ar telpām.

Kad un kā jūs sākāt interesēties par datorzinātnēm?

Mana interese par datorzinātnēm aizsākās agrā bērnībā. Mani vienmēr ir aizrāvušas elektroniskās ierīces, bieži atklājot, ka es pētu un mēģinu saprast, kā tās darbojas. Kļūstot vecākam, šī zinātkāre mani noveda pie kodēšanas. Es joprojām atceros, cik jautri man bija, rakstot savas pirmās programmas. Kopš tā brīža man nebija šaubu, ka vēlos turpināt karjeru datorzinātnēs.

Jūs pašlaik vadāt pētniecības un attīstības iniciatīvas un ieviešat jaunas ģeneratīvas AI lietojumprogrammas. Vai varat apspriest dažus savus darbus?

Pilnīgi noteikti. Mūsu pētniecības un attīstības nodaļā mēs risinām sarežģītas problēmas, kuras var būt grūti pārstāvēt un efektīvi atrisināt. Mūsu darbs neaprobežojas tikai ar ģeneratīvām AI lietojumprogrammām, taču nesenie sasniegumi šajā jomā ir radījuši daudz iespēju, kuras mēs vēlamies izmantot.

Viens no mūsu galvenajiem InvGate mērķiem vienmēr ir bijis mūsu programmatūras lietojamības optimizēšana. Mēs to darām, pārraugot, kā tas tiek izmantots, identificējot vājās vietas un rūpīgi strādājot, lai tās novērstu. Viena no šādām vājajām vietām, ar ko mēs bieži esam saskārušies, ir saistīta ar dabiskās valodas izpratni un izmantošanu. Šo problēmu bija īpaši grūti risināt, neizmantojot lielo valodu modeļus (LLM).

Tomēr, ņemot vērā neseno izmaksu ziņā efektīvu LLM parādīšanos, mēs esam spējuši racionalizēt šos lietošanas gadījumus. Tagad mūsu iespējas ietver rakstīšanas ieteikumu sniegšanu, zināšanu bāzes rakstu automātisku uzmetumu un plašu teksta daļu apkopošanu, kā arī daudzas citas valodas funkcijas.

Vietnē InvGate jūsu komanda piemēro stratēģiju, ko sauc par “agnostisku AI”. Vai jūs varētu definēt, ko tas nozīmē un kāpēc tas ir svarīgi?

Agnostiskais AI pamatā ir elastība un pielāgošanās spēja. Būtībā runa ir par neapņemšanos izmantot vienu AI modeli vai pakalpojumu sniedzēju. Tā vietā mēs cenšamies saglabāt savas iespējas atvērtas, izmantojot labāko, ko piedāvā katrs AI nodrošinātājs, vienlaikus izvairoties no riska tikt bloķētam vienā sistēmā.

Varat to iedomāties šādi: vai mums vajadzētu izmantot OpenAI GPT, Google Gemini vai Meta Llama-2 mūsu ģeneratīvajām AI funkcijām? Vai mums vajadzētu izvēlēties mākoņa izvietošanu, kas tiek maksāts līdz aiziešanai, pārvaldītu gadījumu vai pašu mitinātu izvietošanu? Tie nav triviāli lēmumi, un laika gaitā tie var pat mainīties, jo tiek izlaisti jauni modeļi un tirgū ienāk jauni pakalpojumu sniedzēji.

Agnostiskā AI pieeja nodrošina, ka mūsu sistēma vienmēr ir gatava pielāgoties. Mūsu ieviešanai ir trīs galvenie komponenti: interfeiss, maršrutētājs un paši AI modeļi. Interfeiss abstrahē AI sistēmas ieviešanas informāciju, atvieglojot citām mūsu programmatūras daļām mijiedarbību ar to. Maršrutētājs izlemj, kur nosūtīt katru pieprasījumu, pamatojoties uz dažādiem faktoriem, piemēram, pieprasījuma veidu un pieejamo AI modeļu iespējām. Visbeidzot, modeļi veic faktiskos AI uzdevumus, kuriem var būt nepieciešami pielāgoti datu pirmapstrādes un rezultātu formatēšanas procesi.

Vai varat aprakstīt metodoloģiskos aspektus, kas nosaka jūsu lēmumu pieņemšanas procesu, izvēloties piemērotākos AI modeļus un pakalpojumu sniedzējus konkrētiem uzdevumiem?

Katrai jaunai funkcijai, ko izstrādājam, mēs vispirms izveidojam novērtējuma etalonu. Šis etalons ir izstrādāts, lai novērtētu dažādu AI modeļu efektivitāti konkrētā uzdevuma risināšanā. Taču mēs nekoncentrējamies tikai uz veiktspēju, mēs ņemam vērā arī katra modeļa ātrumu un izmaksas. Tas sniedz mums visaptverošu priekšstatu par katra modeļa vērtību, ļaujot mums izvēlēties visrentablāko maršrutēšanas pieprasījumu opciju.

Tomēr mūsu process ar to nebeidzas. Strauji mainīgajā AI jomā pastāvīgi tiek izlaisti jauni modeļi un regulāri tiek atjaunināti esošie. Tāpēc ikreiz, kad kļūst pieejams jauns vai atjaunināts modelis, mēs atkārtoti izpildām savu novērtējuma etalonu. Tas ļauj salīdzināt jaunā vai atjauninātā modeļa veiktspēju ar mūsu pašreizējās izvēles veiktspēju. Ja jauna modeļa veiktspēja ir labāka par pašreizējo, mēs atjauninām maršrutētāja moduli, lai atspoguļotu šīs izmaiņas.

Kādas ir problēmas, kas saistītas ar nemanāmu pāreju starp dažādiem AI modeļiem un pakalpojumu sniedzējiem?

Nemanāma pārslēgšanās starp dažādiem AI modeļiem un pakalpojumu sniedzējiem patiešām rada unikālu izaicinājumu kopumu.

Pirmkārt, katram mākslīgā intelekta nodrošinātājam ir vajadzīgas īpašā veidā formatētas ievades, un AI modeļi var atšķirīgi reaģēt uz tiem pašiem pieprasījumiem. Tas nozīmē, ka mums ir jāoptimizē katrs modelis atsevišķi, kas var būt diezgan sarežģīti, ņemot vērā dažādas iespējas.

Otrkārt, AI modeļiem ir dažādas iespējas. Piemēram, daži modeļi var ģenerēt izvadi JSON formātā — šī funkcija ir noderīga daudzās mūsu implementācijās. Citi var apstrādāt lielu teksta daudzumu, ļaujot dažiem uzdevumiem izmantot visaptverošāku kontekstu. Šo iespēju pārvaldīšana, lai maksimāli palielinātu katra modeļa potenciālu, ir būtiska mūsu darba sastāvdaļa.

Visbeidzot, mums ir jānodrošina, lai AI radītās atbildes būtu droši lietojamas. Ģeneratīvie AI modeļi dažkārt var radīt "halucinācijas" vai radīt atbildes, kas ir nepatiesas, ārpus konteksta vai pat potenciāli kaitīgas. Lai to mazinātu, mēs ieviešam stingrus pēcapstrādes dezinfekcijas filtrus, lai noteiktu un filtrētu neatbilstošas ​​atbildes.

Kā saskarne ir izstrādāta jūsu agnostiskajā AI sistēmā, lai nodrošinātu, ka tā efektīvi abstrahē pamatā esošo AI tehnoloģiju sarežģītību lietotājam draudzīgai mijiedarbībai?

Mūsu saskarnes dizains ir pētniecības un attīstības un inženieru komandu kopdarbs. Mēs strādājam, pamatojoties uz katru līdzekli, nosakot prasības un pieejamos datus par katru līdzekli. Pēc tam mēs izstrādājam API, kas nemanāmi integrējas ar produktu, ieviešot to mūsu iekšējā AI pakalpojumā. Tas ļauj inženieru komandām koncentrēties uz biznesa loģiku, savukārt mūsu AI pakalpojums risina sarežģītās darbības ar dažādiem AI nodrošinātājiem.

Šis process nav balstīts uz visprogresīvāko izpēti, bet gan uz pārbaudītas programmatūras inženierijas prakses pielietošanu.

Ņemot vērā globālās darbības, kā InvGate tiek galā ar reģionālo pieejamību un atbilstību vietējiem datu noteikumiem?

Reģionālās pieejamības un vietējo datu noteikumu ievērošanas nodrošināšana ir būtiska mūsu InvGate darbības sastāvdaļa. Mēs rūpīgi atlasām AI pakalpojumu sniedzējus, kas var ne tikai darboties plašā mērogā, bet arī ievērot augstākos drošības standartus un ievērot reģionālos noteikumus.

Piemēram, mēs ņemam vērā tikai pakalpojumu sniedzējus, kas ievēro tādus noteikumus kā Vispārīgā datu aizsardzības regula (VDAR) ES. Tas nodrošina, ka varam droši izvietot savus pakalpojumus dažādos reģionos ar pārliecību, ka darbojamies vietējā tiesiskā regulējuma ietvaros.

Lielākie mākoņdatošanas pakalpojumu sniedzēji, piemēram, AWS, Azure un Google Cloud, atbilst šīm prasībām un piedāvā plašu AI funkciju klāstu, padarot tos par piemērotiem partneriem mūsu globālajām darbībām. Turklāt mēs pastāvīgi uzraugām izmaiņas vietējos datu noteikumos, lai nodrošinātu pastāvīgu atbilstību, vajadzības gadījumā pielāgojot savu praksi.

Kā pēdējo desmit gadu laikā ir attīstījusies InvGate pieeja IT risinājumu izstrādei, jo īpaši saistībā ar ģeneratīvā AI integrāciju?

Pēdējo desmit gadu laikā InvGate pieeja IT risinājumu izstrādei ir ievērojami attīstījusies. Esam paplašinājuši savu funkciju bāzi ar tādām uzlabotām iespējām kā automatizētas darbplūsmas, ierīču noteikšana un konfigurācijas pārvaldības datu bāze (CMDB). Šīs funkcijas ir ievērojami vienkāršojušas mūsu lietotāju IT darbības.

Nesen mēs esam sākuši integrēt GenAI savos produktos. Tas ir bijis iespējams, pateicoties nesenajiem sasniegumiem LLM pakalpojumu sniedzēju vidū, kuri ir sākuši piedāvāt rentablus risinājumus. GenAI integrācija ir ļāvusi mums uzlabot mūsu produktus ar AI atbalstītu atbalstu, padarot mūsu risinājumus efektīvākus un lietotājam draudzīgākus.

Lai gan vēl ir sākums, mēs prognozējam, ka AI kļūs par visuresošu rīku IT darbībā. Tādējādi mēs plānojam turpināt attīstīt savus produktus, turpmāk integrējot AI tehnoloģijas.

Vai varat izskaidrot, kā AI centrmezglā esošais ģeneratīvais AI uzlabo reakciju ātrumu un kvalitāti bieži sastopamiem IT incidentiem?

Mūsu AI centrā esošais ģeneratīvais AI ievērojami uzlabo gan ātrumu, gan kvalitāti, reaģējot uz bieži sastopamiem IT incidentiem. Tas tiek darīts, izmantojot daudzpakāpju procesu:

Sākotnējais kontakts: kad lietotājs saskaras ar problēmu, viņš vai viņa var atvērt tērzēšanu ar mūsu AI darbinātu virtuālo aģentu (VA) un aprakstīt problēmu. VA autonomi veic meklēšanu uzņēmuma zināšanu bāzē (KB) un publiskajā IT problēmu novēršanas rokasgrāmatu datubāzē, sniedzot norādījumus sarunvalodas veidā. Tas bieži vien ātri un efektīvi atrisina problēmu.

Biļešu izveide: ja problēma ir sarežģītāka, VA var izveidot biļeti, automātiski iegūstot no sarunas attiecīgo informāciju.

Biļešu piešķiršana: sistēma piešķir biļeti atbalsta aģentam, pamatojoties uz biļetes kategoriju, prioritāti un aģenta pieredzi ar līdzīgām problēmām.

Aģentu mijiedarbība: aģents var sazināties ar lietotāju, lai iegūtu papildu informāciju vai paziņotu, ka problēma ir atrisināta. Mijiedarbība ir uzlabota ar AI, sniedzot rakstīšanas ieteikumus komunikācijas uzlabošanai.

Eskalācija: ja problēmai ir nepieciešama eskalācija, automātiskās apkopošanas līdzekļi palīdz vadītājiem ātri izprast problēmu.

Pēcnāves analīze: pēc biļetes aizvēršanas AI veic pamatcēloņa analīzi, palīdzot pēcnāves analīzē un ziņojumos. Aģents var arī izmantot AI, lai sagatavotu zināšanu bāzes rakstu, atvieglojot līdzīgu problēmu risināšanu nākotnē.

Lai gan mēs jau esam ieviesuši lielāko daļu šo funkciju, mēs nepārtraukti strādājam pie turpmākiem uzlabojumiem un uzlabojumiem.

Ar gaidāmajām funkcijām, piemēram, viedāko MS Teams virtuālo aģentu, kādi ir sagaidāmie sarunvalodas atbalsta uzlabojumi?

Viens daudzsološs ceļš uz priekšu ir sarunu pieredzes paplašināšana līdz “otram pilotam”, kas spēj ne tikai atbildēt uz jautājumiem un veikt vienkāršas darbības, bet arī veikt sarežģītākas darbības lietotāju vārdā. Tas varētu būt noderīgi, lai uzlabotu lietotāju pašapkalpošanās iespējas, kā arī nodrošinātu papildu jaudīgus rīkus aģentiem. Galu galā šīs jaudīgās sarunvalodas saskarnes padarīs AI par visuresošu pavadoni.

Paldies par lielisko interviju, lasītājiem, kuri vēlas uzzināt vairāk, vajadzētu apmeklēt InvGate.