Nitin Madnani, Prìomh Neach-saidheans Rannsachaidh aig ETS - Sreath Agallamh

Tha Nitin Madnan na Àrd Neach-saidheans Rannsachaidh leis a’ bhuidheann rannsachaidh Pròiseas Cànain Nàdarra (NLP) aig an Seirbheis Deuchainn Foghlaim (ETS). Chaidh ETS a stèidheachadh ann an 1947, agus is e a’ bhuidheann deuchainn is measaidh foghlaim neo-phrothaideach prìobhaideach as motha san t-saoghal.

Am b’ urrainn dhut tòiseachadh le bhith a’ mìneachadh dè an rùn a th’ aig ETS?

Is e rùn ETS càileachd agus cothromachd ann am foghlam adhartachadh don h-uile neach-ionnsachaidh air feadh an t-saoghail. Tha am misean seo mar bhunait air ar bathar, seirbheisean, rannsachadh, agus oidhirpean leasachaidh leis an amas ionnsachadh a bhrosnachadh, taic a thoirt do fhoghlam, leasachadh proifeiseanta, agus eòlas agus sgilean a thomhas, airson a h-uile duine.

Tha sinn den bheachd gun urrainn do dhuine sam bith, àite sam bith eadar-dhealachadh a dhèanamh nam beatha tro ionnsachadh agus faodaidh obair ETS air rannsachadh, measadh, tomhas, agus poileasaidh àite cudromach a ghabhail ann a bhith a’ dèanamh an ionnsachaidh sin comasach.

Dè mu dheidhinn NLP a tha cho dìoghrasach riut?

Tha a h-uile cànan daonna cho breagha iom-fhillte agus meallta. Leigidh iad leinn raon de fhaireachdainnean a chur an cèill nar cainnt agus eadhon nar sgrìobhadh agus bidh iad a’ fàs thar ùine. Air an làimh eile, tha coimpiutair cho dearbhach agus clionaigeach ann a bhith a’ làimhseachadh a chuir a-steach. Tha Pròiseas Cànain Nàdarra (NLP) na raon de dh’ inntleachd fuadain a bhios a’ feuchainn ris an inneal neo-dhaonna seo a thuigsinn iom-fhillteachd àlainn cànan daonna le bhith a’ cothlamadh dhòighean bho Saidheans Coimpiutaireachd, Cànanachas agus Staitistig. Ciamar nach b’ urrainn dhut seo a lorg cho inntinneach?

Tha ETS NLP & luchd-saidheans cainnt air RSMTool a leasachadh o chionn ghoirid. Am b’ urrainn dhut na tha an RSMTool a’ dèanamh a cho-roinn leinn?

Mar a chunnaic sinn anns na beagan bhliadhnaichean a dh’ fhalbh, faodaidh a h-uile modal ionnsachaidh inneal giùlan claon a nochdadh ge bith dè an raon anns a bheil iad gan cur an sàs, le foghlam mar eisgeachd. Bidh na siostaman rangachaidh fèin-ghluasadach a chleachdar airson sgòran no ìrean a shònrachadh do òraid no aistean oileanaich ann an deuchainnean no ann an seòmraichean-teagaisg gu tric a’ cleachdadh mhodalan ionnsachaidh inneal. Mar sin, tha e gu tur comasach do shiostaman mar sin a bhith gan giùlan fhèin ann an dòigh claon. Faodaidh droch bhuaidh a bhith aig a leithid de chlaonadh gu sònraichte ma thèid na sgòran bho na siostaman sin a chleachdadh gus co-dhùnaidhean àrd-ìre a dhèanamh.

RSMTool na inneal stòr fosgailte a tha mo cho-obraiche Anastasia Loukina (roimhe seo Fiosrachadh mun Bhùth air Unite.AI) agus leasaich mi aig ETS gus dèanamh cinnteach gu bheil claonaidhean rianail, cronail sam bith ann an siostaman rangachadh fèin-ghluasadach air an comharrachadh cho tràth ‘s a ghabhas, an dòchas eadhon mus tèid na siostaman a chleachdadh san fhìor shaoghal. Tha RSMTool air a dhealbhadh gus measadh coileanta a thoirt seachad air einnseanan sgòraidh AI a’ toirt a-steach chan e a-mhàin meatrach àbhaisteach de mhearachd ro-innse, ach cuideachd tomhasan cothromachd modail, agus meatrach stèidhichte air teòiridh deuchainn, a’ cuideachadh luchd-leasachaidh nan einnseanan sin gus claon-bhreith no duilgheadasan eile a chomharrachadh anns na siostaman aca.

Càite a bheil an t-ainm RSMTool a' tighinn?

Anns an raon measaidh foghlaim, thathas gu tric a’ toirt iomradh air cuideigin a shònraicheas sgòr gu (no “ìrean”) aiste mar “rater.” Tha luchd-tomhais daonna ann a bharrachd air luchd-measaidh fèin-ghluasadach. RSMTool - goirid airson Inneal Modalaidh Sgòr Rater - air a dhealbhadh gus cuideachadh le bhith a’ togail (agus a’ luachadh) na modalan sgòraidh a bhios luchd-measaidh fèin-ghluasadach a’ cleachdadh.

Ciamar as urrainn don inneal seo luchd-leasachaidh a chuideachadh gus claonadh no duilgheadasan eile a chomharrachadh anns na h-einnseanan sgòraidh AI aca?

Anns na còig deicheadan mu dheireadh, tha luchd-saidheans tomhais foghlaim - a 'gabhail a-steach mòran de ar co-obraichean aig ETS - air rannsachadh luachmhor a dhèanamh air dè a tha a' dèanamh sgòradh fèin-ghluasadach (agus daonna) cothromach. Mar phàirt den rannsachadh seo, tha iad air mòran mion-sgrùdaidhean staitistigeil agus psychometric a leasachadh airson comharran coimpiutaireachd de chlaonadh eagarach. Ach, leis gur ann ainneamh a bhios na coimhearsnachdan psychometric agus NLP ag eadar-obrachadh, chan eil mòran cothrom ann airson tar-poileanachadh bheachdan. Is e an toradh nach eil cothrom furasta aig luchd-rannsachaidh NLP agus luchd-leasachaidh a tha a’ togail fìor shiostaman sgòraidh fèin-ghluasadach - gu sònraichte luchd-rannsachaidh fa-leth agus an fheadhainn ann an companaidhean beaga - air na mion-sgrùdaidhean psychometric a bu chòir dhaibh a bhith a’ cleachdadh gus na siostaman aca a sgrùdadh airson claonadh. Bidh RSMTool a’ feuchainn ris an duilgheadas seo fhuasgladh le bhith a’ toirt seachad seata mòr, eadar-mheasgte de mhion-sgrùdaidhean psychometric ann an aon phasgan Python a tha furasta a chleachdadh a dh’ fhaodas neach-rannsachaidh NLP sam bith a thoirt a-steach don rannsachadh no an loidhne-phìoban obrachaidh aca.

Ann an cùis cleachdaidh àbhaisteach, bheireadh neach-rannsachaidh faidhle no frèam dàta le sgòran siostam àireamhach, sgòran inbhe òir (daonna), agus meata-dàta, ma tha sin iomchaidh. Bidh RSMTol a’ pròiseasadh an dàta seo agus a’ gineadh aithisg HTML anns a bheil measadh coileanta a’ toirt a-steach staitistig tuairisgeulach a bharrachd air grunn cheumannan de choileanadh siostam agus cothromachd am measg feadhainn eile. Gheibhear eisimpleir de aithisg RSMTool aig https://bit.ly/fair-tool. Faodaidh RSMTool obrachadh le modalan ionnsachaidh inneal traidiseanta air an stiùireadh le feart (me, bhon leabharlann scikit-learn) agus le modalan ionnsachaidh domhainn. Ged is e prìomh thoradh RSMTool an aithisg HTML a tha ga dhèanamh nas fhasa roinneadh, bidh e cuideachd a’ gineadh faidhlichean dàta clàr (ann an cruthan CSV, TSV, no XLSX) mar thoraidhean eadar-mheadhanach airson luchd-cleachdaidh nas adhartaiche. Mu dheireadh, gus cùisean a chumail air leth gnàthaichte, bidh RSMTool a’ buileachadh gach earrann den aithisg aige mar leabhar notaichean Jupyter gus nach urrainn don luchd-cleachdaidh a-mhàin taghadh dè na h-earrannan a tha iomchaidh dha na modalan sgòraidh sònraichte aca, is urrainn dhaibh cuideachd mion-sgrùdaidhean gnàthaichte a chuir an gnìomh agus an toirt a-steach don aithisg le glè bheag de dh'obair.

Tha iomadh o chionn ghoirid eòlas air sgòradh fèin-ghluasadach a tha air RSMTool a chleachdadh gus na modalan sgòraidh a tha iad a’ moladh a mheasadh.

Dè na seòrsaichean claonadh cumanta a dh’ fhaodadh buaidh a thoirt air siostaman sgòraidh fèin-ghluasadach?

Is e an seòrsa claonadh as cumanta a bheir buaidh air siostam sgòraidh fèin-ghluasadach coileanadh fo-bhuidheann eadar-dhealaichte, ie, nuair a bhios an siostam fèin-ghluasadach a’ coileanadh ann an dòigh eadar-dhealaichte airson diofar fo-bhuidhnean sluaigh. Mar eisimpleir, dh’ fhaodadh siostam sgòraidh claon-bhreith sgòran nas ìsle a thoirt gu riaghailteach airson aistean a chaidh a sgrìobhadh le, mar eisimpleir, boireannaich dubha an taca ris an fheadhainn airson fireannaich gheala, ged a dh’ fhaodadh nach bi eadar-dhealachaidhean rianail anns na fìor sgilean sgrìobhaidh a tha an dà fho-bhuidheann sin a’ nochdadh ann an na h-aistean aca, a thaobh duine.

Tha eachdraidh bheairteach aig ETS ann a bhith a’ dèanamh rannsachadh air cothromachd airson einnseanan sgòraidh fèin-ghluasadach. Mar eisimpleir, tha againn coimhead air co-dhiù a tha e-rater® - an einnsean sgòraidh fèin-ghluasadach AI againn - a’ taisbeanadh coileanadh eadar-dhealaichte sam bith airson fo-bhuidhnean air am mìneachadh le cinnidheachd, gnè, agus dùthaich (lorg iad beagan eadar-dhealachaidhean beaga ris an deach dèiligeadh le atharrachaidhean poileasaidh às deidh sin). Tha sgrùdaidhean cuideachd air coimhead air co-dhiù a bhios e-rater® a’ làimhseachadh fhreagairtean sgrìobhte le luchd-deuchainn GRE® le ciorraman ionnsachaidh agus/no ADHD ann an dòigh eadar-dhealaichte gu riaghailteach (chan eil sin). O chionn ghoirid, a sgrùdadh ùineail a’ coimhead a bheil siostam fèin-ghluasadach airson a bhith a’ sgòradh comas labhairt a’ nochdadh claonadh eagarach sam bith a dh’ ionnsaigh luchd-deuchainn a dh’ fheumadh masgaichean aghaidh a chaitheamh an aghaidh an fheadhainn aig nach robh masg aghaidh (chan eil). Tha grunn mhion-sgrùdaidhean psychometric ann an RSMTool a bhios a’ feuchainn ri coileanadh eadar-dhealaichte fo-bhuidhnean a thomhas thairis air fo-bhuidhnean as urrainn don neach-cleachdaidh a mhìneachadh thairis air an dàta aca fhèin.

Roghnaich ETS an RSMTool a dhèanamh na stòr fosgailte, am b’ urrainn dhut an reusanachadh agus an cudromachd a tha air cùl seo a mhìneachadh?

Tha, tha RSMTool ri fhaighinn air GitHub le cead Apache 2.0. Tha sinn den bheachd gu bheil e cudromach gum bi inneal mar seo fosgailte agus neo-shealbhach gus an urrainn don choimhearsnachd (a) sgrùdadh a dhèanamh air còd stòr nam mion-sgrùdaidhean a tha rim faighinn mar-thà gus dèanamh cinnteach gu bheil iad a’ cumail ri inbhean cothromachd agus (b) mion-sgrùdaidhean ùra a chuir ris. mar a bhios an inbhe ag atharrachadh agus ag atharrachadh. Tha sinn cuideachd airson a dhèanamh furasta do luchd-rannsachaidh agus luchd-leasachaidh NLP RSMTool a chleachdadh nan cuid obrach agus ar cuideachadh le bhith ga dhèanamh nas fheàrr. Tha a bhith a’ dèanamh stòr fosgailte RSMTool na eisimpleir soilleir de dhealas leantainneach ETS a thaobh cleachdadh cunntachail de AI ann am foghlam.

Dè cuid de na leasanan a dh’ ionnsaich thu bho bhith a’ leasachadh & a’ cumail suas RSMTool?

Thairis air na còig bliadhna a dh’ fhalbh a tha Anastassia agus mise air RSMTool a leasachadh agus a chumail suas - le cuideachadh bho mòran de cho-obraichean ETS agus luchd-tabhartais neo-ETS GitHub - tha sinn air dà leasan farsaing ionnsachadh. Is e a’ chiad fhear gu bheil feumalachdan eadar-dhealaichte aig diofar luchd-cleachdaidh agus nach obraich dòigh-obrach aon-mheudach do na h-uile airson bathar-bog tar-chuspaireil leithid RSMTool. B’ e an dàrna leasan a dh’ ionnsaich sinn, gus a dhèanamh nas dualtaiche gabhail ri bathar-bog stòr fosgailte, feumaidh tu a dhol na mhìle a bharrachd gus a dhèanamh cho làidir sa ghabhas.

Nar gabhaltas mar luchd-gleidhidh RSMTool, tha sinn air iomadh seòrsa de luchd-cleachdaidh RSMTool a chomharrachadh. Tha cuid dhiubh nan “luchd-cleachdaidh cumhachd” (me, luchd-rannsachaidh NLP agus luchd-leasachaidh) a tha airson gnìomhachd sònraichte RSMTool a thaghadh agus a thaghadh gus a dhol a-steach don loidhne-phìoban ionnsachaidh inneal aca fhèin fhad ‘s a bhios iad a’ cleachdadh pasganan Python eile. Gus an leithid de luchd-cleachdaidh a shàsachadh, thàinig sinn gu crìch a’ cruthachadh API gu math coileanta gus diofar ghnìomhan ro- agus iar-giullachd a nochdadh a bharrachd air meatrach àbhaisteach a tha ann an RSMTool. Is e buidheann eile de luchd-cleachdaidh an rud ris an can sinn “minimalists”: sgrùdairean dàta agus innleadairean aig nach eil cùl-fhiosrachadh staitistigeil no prògramadh airson eadar-obrachadh leis an API agus is fheàrr leotha loidhne-phìoban taobh a-muigh a’ bhogsa na àite. Gus an leithid de luchd-cleachdaidh a shàsachadh, tha sinn air innealan loidhne-àithne a chruthachadh a dh’ fhaodar a ghairm gu furasta ann an sgriobtaichean slige fillte, mar eisimpleir. Tha sinn cuideachd air faighinn a-mach gu bheil luchd-cleachdaidh minimalist gu tric deònach leughadh tron ​​​​liosta (a dh’ fhaodar a ràdh mòr) de roghainnean rèiteachaidh RSMTool. Mar sin, thog sinn gineadair rèiteachaidh eadar-ghnìomhach le fèin-choileanadh a chuidicheas luchd-cleachdaidh mar sin gus faidhlichean rèiteachaidh a chruthachadh stèidhichte air na feumalachdan sònraichte aca.

Gus coinneachadh ri feumalachdan ar buidhnean luchd-cleachdaidh gu lèir, bha againn ri cleachdaidhean a ghabhail os làimh a bha sinn a’ creidsinn a bha riatanach gus RSMTool a dhèanamh làidir. Dè tha sinn a’ ciallachadh le bathar-bog làidir? Gus a bhith làidir, feumaidh pìos bathar-bog sam bith na slatan-tomhais a leanas a choileanadh: faodar buaidh atharrachadh còd sam bith air cruinneas agus coileanadh a thomhas (deuchainn gu math), tha na sgrìobhainnean aige an-còmhnaidh ùraichte (air an deagh chlàradh), agus tha am bathar-bog (còmhla ri a eisimeileachd) furasta a stàladh le luchd-cleachdaidh. Airson RSMTool, tha sinn air grunn innealan agus seirbheisean stòr fosgailte a luathachadh gus toirt air coinneachadh ris a’ mhìneachadh againn. Tha sreath deuchainn coileanta againn (> còmhdach còd 90%) a bhios sinn a’ ruith gu fèin-ghluasadach tro aonachadh leantainneach airson atharrachadh sam bith agus a h-uile càil a chuirear a-steach don chòd. Bidh sinn a’ cumail sgrìobhainnean farsaing (a’ toirt a-steach grunn chlasaichean oideachaidh san t-saoghal fhìor) agus gnìomh ùr sam bith a thathar a’ moladh airson RSMTool feumaidh gabhail a-steach pàirt de sgrìobhainnean a thèid ath-sgrùdadh cuideachd mar phàirt de sgrùdadh còd. Mu dheireadh, bidh sinn a’ leigeil ma sgaoil RSMTool mar phasganan a ghabhas an stàladh gu furasta (tro aon chuid pip no conda) agus tha a h-uile eisimeileachd a tha a dhìth air a chuir a-steach gu fèin-ghluasadach cuideachd.

Dè tha ETS an dòchas a choileanadh le bhith a’ leigeil a-mach an RSMTool?

Tha roinn an fhoghlaim air aon de na leudachaidhean as cudromaiche fhaicinn ann an AI thar nam beagan bhliadhnaichean a dh’ fhalbh le sgòradh fèin-ghluasadach de theacsa is cainnt a’ fàs mar chleachdadh nas cumanta de NLP. Tha ETS air a bhith na stiùiriche o chionn fhada ann an raon sgòradh fèin-ghluasadach agus, bhon a thòisich e, tha e air a bhith dealasach a thaobh a bhith a’ togail thoraidhean cothromach agus measaidhean a tha air an dealbhadh gus frithealadh air luchd-ionnsachaidh air feadh an t-saoghail. Le bhith a’ leigeil a-mach RSMTool, air a leasachadh ann an dlùth cho-obrachadh eadar luchd-saidheans NLP agus psychometricians, tha ETS airson leantainn air adhart leis an tagradh aca airson cleachdadh cunntachail de AI ann am foghlam ann an dòigh gu math faicsinneach; gu sònraichte, tha sinn airson a dhèanamh soilleir, nuair a smaoinicheas luchd-rannsachaidh AI air “coileanadh” siostam sgòraidh fèin-ghluasadach, gum bu chòir dhaibh beachdachadh chan ann a-mhàin air na meatrach àbhaisteach de mhearachd ro-innse (me co-dhàimh Pearson) ach cuideachd air cothromachd modail. San fharsaingeachd, bu mhath leinn cuideachd gum biodh RSMTool na eisimpleir de dhòighean anns am faod agus bu chòir do luchd-rannsachaidh NLP agus eòlaichean-inntinn obrachadh còmhla.

A bheil dad sam bith eile a bu mhath leat a roinn mun RSMTool?

Tha sinn airson luchd-leughaidh a bhrosnachadh gus ar cuideachadh le bhith ag adhartachadh RSMTool! Chan fheum iad a bhith nan eòlaiche-inntinn no eòlaiche NLP airson cur ris. Tha mòran chùisean fosgailte againn co-cheangailte ri sgrìobhainnean agus ri prògramadh Python a bhiodh foirfe dha neach-tòiseachaidh sam bith gu prògramadair Python eadar-mheadhanach. Tha sinn cuideachd a’ toirt cuireadh do thabhartasan SKLL (Scikit-Learn Laboratory), - pasgan stòr fosgailte ETS eile airson a bhith a’ ruith dheuchainnean ionnsachaidh inneal a ghabhas rèiteachadh le luchd-cleachdaidh gu h-èifeachdach - a tha air a chleachdadh gu bunaiteach le RSMTool.