Bidh luchd-rannsachaidh AI a’ cruthachadh modal cluiche geama bhidio as urrainn cuimhneachadh air tachartasan san àm a dh’ fhalbh

O chionn ghoirid rinn sgioba de luchd-rannsachaidh aig deuchainn-lann AI Uber leasaich siostam de algorithms AI a rinn na b’ fheàrr an dà chuid cluicheadairean daonna agus siostaman AI eile aig geamannan bhidio clasaigeach Atari. Tha an siostam AI a chaidh a leasachadh leis an luchd-rannsachaidh comasach air cuimhneachadh air ro-innleachdan soirbheachail roimhe, a 'cruthachadh ro-innleachdan ùra stèidhichte air na bha ag obair san àm a dh'fhalbh. Tha an sgrùdaidhean sgioba rannsachaidh den bheachd gu bheil comas aig na h-algorithms a leasaich iad ann an raointean teignigeach eile leithid giollachd cànain agus robotics.

Is e an dòigh àbhaisteach a thathas a’ cleachdadh gus siostaman AI a chruthachadh a tha comasach air geamannan bhidio a chluich a bhith a’ cleachdadh algairim ionnsachaidh neartachaidh. Bidh algorithms ionnsachaidh ath-neartachaidh ag ionnsachadh mar a choileanas iad gnìomh le bhith a’ sgrùdadh raon de ghnìomhan a dh’ fhaodadh a bhith ann, agus às deidh gach gnìomh, gheibh iad seòrsa de dhaingneachadh (duais no peanas). Thar ùine, bidh am modal AI ag ionnsachadh dè na gnìomhan a bheir buannachdan nas motha, agus bidh e nas dualtaiche na gnìomhan sin a choileanadh. Gu mì-fhortanach, bidh trioblaidean aig modalan ionnsachaidh ath-neartachaidh nuair a choinnicheas iad ri puingean dàta nach eil co-chosmhail ri feadhainn eile san t-seata dàta.

A rèir an sgioba rannsachaidh, is e an adhbhar nach robh luchd-rannsachaidh AI eile air beachdachadh air an dòigh-obrach aca gu bheil an ro-innleachd eadar-dhealaichte bhon dòigh-obrach “brosnachaidh gnèitheach” a thathas a’ cleachdadh mar as trice ann an ionnsachadh neartachaidh. Is e a’ cheist le dòigh brosnachaidh gnèitheach gum faod am modail a bhith buailteach “dìochuimhneachadh” mu raointean a dh’ fhaodadh a bhith buannachdail a tha fhathast airidh air sgrùdadh. Canar “detachment” ris an iongantas seo. Mar thoradh air an sin, nuair a choinnicheas am modail ri dàta ris nach robh dùil, faodaidh e dìochuimhneachadh mu raointean a bu chòir a sgrùdadh fhathast.

A rèir TechXplore, chuir an sgioba rannsachaidh air dòigh modal ionnsachaidh a chruthachadh a bha nas sùbailte agus comasach air dèiligeadh ri dàta ris nach robh dùil. Fhuair an luchd-rannsachaidh thairis air an duilgheadas seo le bhith a’ toirt a-steach algorithm a bha comasach air cuimhne a chumail air a h-uile gnìomh a rinn dreach roimhe den mhodail nuair a dh’ fheuch e ri fuasgladh fhaighinn air duilgheadas. Nuair a choinnicheas am modal AI ri puing dàta nach eil a rèir na dh’ ionnsaich e gu ruige seo, bidh am modail a’ sgrùdadh a mhapa cuimhne. Comharraichidh am modail an uair sin dè na ro-innleachdan a shoirbhich agus a dh’fhàillig agus taghaidh e ro-innleachdan iomchaidh.

Nuair a bhios tu a’ cluich geama bhidio, bidh am modail a’ cruinneachadh seallaidhean-sgrìn den gheama mar a bhios e a’ cluich, a’ dèanamh log de na gnìomhan aige. Tha na h-ìomhaighean air an cruinneachadh còmhla a rèir coltas, a’ cruthachadh puingean soilleir ann an ùine air am faod am modail iomradh a thoirt air ais. Faodaidh an algairim na h-ìomhaighean clàraichte a chleachdadh gus tilleadh gu àm inntinneach agus leantainn air adhart a’ sgrùdadh às an sin. Nuair a gheibh am modail a-mach gu bheil e a’ call, bheir e iomradh air ais gu na dealbhan-sgrìn a chaidh a thogail agus feuchaidh e ri ro-innleachd eile.

Mar a mhìnich am BBC, tha duilgheadas ann cuideachd a bhith a’ làimhseachadh shuidheachaidhean cunnartach don àidseant AI a tha a’ cluich a’ gheama. Ma ruitheas an neach-ionaid a-steach do chunnart a dh’ fhaodadh a mharbhadh, chuireadh sin stad air bho bhith a’ tilleadh gu raointean a tha airidh air tuilleadh sgrùdaidh, duilgheadas ris an canar “derailment”. Bidh am modail AI a’ làimhseachadh dhuilgheadasan derailment tro phròiseas air leth bhon fhear a thathas a’ cleachdadh gus sgrùdadh a dhèanamh air seann raointean.

Bha am modh aig an sgioba rannsachaidh tro 55 geama Atari. Tha na geamannan sin air an cleachdadh gu cumanta gus coileanadh mhodalan AI a thomhas, ach chuir an luchd-rannsachaidh tionndadh ris a’ mhodail aca. Thug an luchd-rannsachaidh a-steach riaghailtean a bharrachd dha na geamannan, ag iarraidh air a’ mhodail chan e a-mhàin an sgòr as àirde a choileanadh ach feuchainn ri sgòr eadhon nas àirde a choileanadh gach turas. Nuair a chaidh toraidhean coileanadh a’ mhodail a sgrùdadh, lorg an luchd-rannsachaidh gu robh an siostam AI aca nas fheàrr na AIan eile aig na geamannan timcheall air 85% den ùine. Rinn an AI gu sònraichte math aig geama Montezuma's Revenge, geama àrd-ùrlair far am bi an cluicheadair a’ lorg chunnartan agus a’ cruinneachadh ulaidhean. Rinn an geama a ’chùis air a’ chlàr airson cluicheadair daonna agus fhuair e cuideachd sgòr nas àirde na tha siostam AI sam bith eile.

A rèir luchd-rannsachaidh Uber AI, tha tagraidhean aig na ro-innleachdan a chleachd an sgioba rannsachaidh airson gnìomhachasan leithid robotics. Tha innealan-fuadain a 'faighinn buannachd bhon chomas cuimhneachadh dè na gnìomhan a tha soirbheachail, nach do dh'obraich, agus nach deach fheuchainn fhathast.