He aha te ako whakakaha hohonu?

He aha te ako whakakaha hohonu?

I te taha o te ako miihini kaore i te tirotirohia me te ako maataki, ko tetahi atu momo hangahanga AI ko te ako whakakaha. I tua atu i nga akoranga whakapakari auau, te ako whakakaha hohonu ka puta nga hua whakamiharo, na te mea ka whakakotahi i nga ahuatanga pai o te ako hohonu me te ako whakapakari. Kia titiro tatou ki te kaha o te mahi o te ako whakakaha.

I mua i te ruku ki nga akoranga whakakaha hohonu, he pai pea te whakamau i a tatou ano ki te pehea o te waa te whakapakari i te ako mahi. I roto i te ako whakakaha, ka hangaia nga algorithm e whai ana i nga whaainga ma roto i te mahi whakamatautau me te hapa, me te arotau mo te mahi e puta ai te hua pai/te mahi e whiwhi ana i te tino "utu". I te wa e whakangungua ana te ako algorithms, ka whakawhiwhia ki a ratou "utu" ranei "whiu" e awe ana i nga mahi ka mahia e ratou a meake nei. Ka ngana nga Algorithms ki te kimi i te huinga o nga mahi ka whakawhiwhia ki te punaha te utu nui, te whakataurite i nga utu tata me nga utu a meake nei.

He tino kaha te whakakaha i nga huringa ako na te mea ka taea te whakamahi ki nga mahi katoa, ka taea te ako ngawari me te hihiri mai i te taiao me te kite i nga mahi ka taea.

Tirohanga o te Ako Whakapakari Hohonu

Whakaahua: Megajuice mā Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Ina tae mai ki te ako whakakaha hohonu, ka whakaatuhia te taiao ki nga whakaahua. Ko te whakaahua he hopu i te taiao i tetahi wa. Me wetewete te kaihoko i nga whakaahua me te tango i nga korero e tika ana mai i a raatau, ma te whakamahi i nga korero hei whakamarama he aha nga mahi hei mahi ma ratou. Ko te ako whakakaha hohonu ka mahia me tetahi o nga tikanga rereke e rua: te ako i runga i te uara me te ako kaupapa here.

Ko nga tikanga ako e pa ana ki te uara ka whakamahi i nga algorithms me nga hoahoanga penei i nga whatunga neural convolutional me Whatunga-Q-Hohonu. Ka mahi enei algorithms ma te huri i te ahua ki te tauine hina me te tapahi i nga waahanga kore o te ahua. Muri iho, ka uru te ahua ki nga momo whakahiatotanga me nga mahi whakahiato, ka tango i nga waahanga tino tika o te ahua. Ko nga waahanga nui o te ahua ka whakamahia hei tatau i te uara-Q mo nga mahi rereke ka taea e te kaihoko. Ka whakamahia nga uara-Q hei whakatau i te huarahi tino pai mo te kaihoko. Whai muri i te tataunga o nga uara-Q tuatahi, ka mahia te whakahoahoa kia taea ai te whakatau i nga uara-Q tino tika.

Ka whakamahia nga tikanga i runga i nga kaupapa here ina he tino nui te maha o nga mahi ka taea e te kaihoko te mahi, ko te tikanga ka puta i nga ahuatanga o te ao. Ko nga ahuatanga penei me whai huarahi rereke na te mea ko te tatau i nga uara-Q mo nga mahi katoa ehara i te mea ngawari. Ka mahi nga huarahi-a-kaupapa me te kore e tatau i nga uara mahi mo nga mahi takitahi. Engari, ka mau ratou i nga kaupapa here ma te ako tika i te kaupapa here, he maha nga tikanga e kiia nei ko nga Raupapa Kaupapahere.

Ka mahi nga rōnaki kaupapa here ma te whiwhi i te ahua me te tatau i nga tupono mo nga mahi i runga i nga wheako o mua o te kaihoko. Ka tohua te hohenga tino tupono. Ka tukuruatia tenei tukanga tae noa ki te mutunga o te wa arotake, ka hoatu nga utu ki te kaihoko. I muri i nga utu ki te kaihoko, ka whakahouhia nga tawhā o te whatunga ki te whakatairanga hoki.

He aha te Ako-Q?

no te mea Ako-Q he waahanga nui tenei o te tukanga ako whakakaha hohonu, me whai wa ki te tino marama ki te mahi a te punaha ako-Q.

Te Tukanga Whakatau Markov

He tukanga whakatau markov. Whakaahua: waldoalvarez mā Pixabay, Raihana Pixbay (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Kia taea ai e tetahi kaihoko AI te kawe i nga raupapa o nga mahi me te whakatutuki i tetahi whaainga, me kaha te kaihoko ki te whakahaere i te raupapa o nga kawanatanga me nga huihuinga. Ka timata te kaihoko i te kawanatanga kotahi, a me mahi he raupapa mahi kia tae ki te whenua mutunga, a tera pea he maha nga kawanatanga kei waenga i te timatanga me te mutunga. Ko te pupuri i nga korero mo ia kawanatanga karekau e taea, na reira me kimi e te punaha he huarahi hei pupuri i nga korero a te kawanatanga e tino whai kiko ana. Ka tutuki tenei ma te whakamahi a Tukanga Whakatau Markov, e pupuri ana i nga korero mo te ahuatanga o naianei me te ahua o mua. Ka whai ia kawanatanga i tetahi rawa Markov, e whai ana i te huringa o te kaihoko mai i te ahua o mua ki te ahua o naianei.

Roto-Q-Ako

Ina whai waahi te tauira ki nga korero mo nga ahuatanga o te taiao ako, ka taea te tatau i nga uara-Q. Ko nga uara-Q te utu katoa ka hoatu ki te kaihoko i te mutunga o te raupapa o nga mahi.

Ka tatauhia nga uara-Q me te raupapa o nga utu. He utu tonu, kua tatauhia i te ahua o naianei, me te whakawhirinaki ki nga mahi o naianei. Ka tatauhia ano te uara-Q mo te ahua o muri mai, me te uara-Q mo te kawanatanga i muri i tera, ka pera tonu kia oti ra ano te tatau nga uara-Q katoa mo nga ahuatanga rereke. He tawhā ano te Gamma e whakamahia ana hei whakahaere i te nui o te taumaha o nga utu a muri ake nei i runga i nga mahi a te kaihoko. Ko te tikanga ka tatauhia nga kaupapa here ma te arawhiti matapōkeretia i nga uara-Q me te tuku i te tauira kia huri ki nga uara-Q tino pai i roto i te waa whakangungu.

Whatunga-Q Hohonu

Ko tetahi o nga tino raruraru e pa ana te whakamahi i te ako-Q mo te ako whakakaha ko te nui o te mahara e hiahiatia ana ki te penapena raraunga ka tere haere i te mea ka piki haere te maha o nga kawanatanga. Ka whakatauhia e Deep Q Networks tenei raruraru ma te whakakotahi i nga tauira whatunga neural me nga uara-Q, ka taea e tetahi kaihoko te ako mai i nga wheako me te whakatau whakaaro tika mo nga mahi pai hei mahi. Ma te ako-Q hohonu, ka whakatauhia nga mahi uara-Q me nga whatunga neural. Ko te whatunga neural te ahua hei raraunga whakauru, ka whakaputahia e te whatunga te uara-Q mo nga mahi rereke katoa ka mahia e te kaihoko.

Ka whakatutukihia te ako-Q hohonu ma te penapena i nga wheako o mua ki roto i te mahara, te tatau i nga putanga morahi mo te whatunga-Q, katahi ka whakamahi i te mahi ngaro ki te tatau i te rereketanga i waenga i nga uara o naianei me nga uara teitei ka taea.

Te Whakapakari Hohonu me te Ako Hohonu

Ko tetahi rereketanga nui i waenga i te ako whakakaha hohonu me te ako hohonu i ia wa ko te mea o mua kei te huri haere tonu nga whakaurunga, ehara i te mea ko te akoranga hohonu tuku iho. Me pehea te whakatauira a te tauira ako mo nga whakaurunga me nga putanga e neke haere tonu ana?

Ko te mea nui, ki te whakaaro mo te rereketanga i waenga i nga uara matapae me nga uara whaainga, ka taea te whakamahi i nga whatunga neural e rua hei utu mo te kotahi. Ko tetahi whatunga e whakatau tata ana i nga uara kua whakaritea, ko tetahi atu whatunga te kawenga mo nga matapae. Ka whakahouhia nga tawhā o te whatunga whaainga i te wa e ako ana te tauira, i muri i te paahitanga o te maha o nga mahi whakangungu. Ko nga putanga o ia whatunga ka hono tahi ki te whakatau i te rereketanga.

Ako Kaupapa-a-kaupapa

Te ako kaupapa here He rereke te mahi a nga huarahi i nga huarahi e pa ana ki te uara-Q. Ahakoa ka hangaia e nga huarahi uara-Q he mahi uara e matapae ana i nga utu mo nga kawanatanga me nga mahi, ko nga tikanga-a-kaupapa e whakatau ana i tetahi kaupapa here ka mapi i nga whenua ki nga mahi. I etahi atu kupu, ko te mahi kaupapa here e whiriwhiri ana mo nga mahi ka tino arotauhia me te kore e whakaaro ki te mahi uara.

Rōnaki Kaupapahere

Ko te kaupapa here mo te ako whakakaha hohonu ka taka ki tetahi o nga waahanga e rua: stochastic or deterministic. Ko te kaupapa here whakatau ko tetahi e mapi ana nga kawanatanga ki nga mahi, ko te tikanga ka tukuna nga korero mo te kaupapa here mo tetahi kawanatanga ka whakahokia mai he mahi. I tenei wa, ka whakahokia mai e nga kaupapa here stochastic he tohatoha tūponotanga mo nga mahi hei utu mo te mahi kotahi, motuhake.

Ka whakamahia nga kaupapa here whakatau ina karekau he pohehe mo nga hua o nga mahi ka taea. I etahi atu kupu, ka whakatauhia te taiao ake. Engari, ko nga putanga kaupapa here stochastic e tika ana mo nga taiao e kore e tino mohio te putanga o nga mahi. I te nuinga o te waa, ko nga ahuatanga ako whakapakari ka uru ki etahi ahuatanga o te rangirua na reira ka whakamahia nga kaupapa here stochastic.

He iti noa nga painga o nga huarahi rōnaki kaupapa here i runga i nga huarahi ako-Q, me etahi ngoikoretanga. I runga i nga painga, ka tere ake te tere me te pono o nga tikanga kaupapa-here. Ka taea noa te whai i te rōnaki kaupapa here tae noa ki te whakatau i nga tawhā pai rawa atu, engari ma nga tikanga e pa ana ki te uara, ko nga huringa iti i roto i nga uara mahi whakatau ka arahi ki nga huringa nui o nga mahi me o raatau taapiri.

He pai ake nga rōnaki kaupapa here mo nga waahi mahi ahu tiketike. Ina he nui rawa te maha o nga mahi ka taea te mahi, ka kore e taea te ako-Q hohonu na te mea me tautapa he kaute ki nga mahi katoa ka taea mo nga hikoinga katoa, kare pea e taea te tatau. Heoi, me nga tikanga kaupapa-a-kaupapa, ka whakatikatikahia nga tawhā i roto i te waa, ka tere haere te maha o nga tawhā pai rawa atu i te wa e hono ana te tauira.

Ka taea hoki e nga roopu kaupapa here te whakatinana i nga kaupapa here stochastic, kaore i rite ki nga kaupapa here i runga i te uara. Na te mea ka whakaputahia e nga kaupapa here stochastic he tohatoha tuponotanga, kaore e tika kia whakatinanahia he hokohoko torotoro/whakamahinga.

I runga i nga ngoikoretanga, ko te tino ngoikoretanga o nga rōnaki kaupapa here ko te mea ka mau ratou i te wa e rapu ana i nga tawhā tino pai, me te aro anake ki te huinga whaiti, rohe o nga uara tino pai hei utu mo nga uara tino pai o te ao.

Taumahi Tohu Kaupapahere

Ko nga kaupapa here i whakamahia hei arotau i te whainga mahi a te tauira ki te whakanui i te mahi kaute – J(θ). Mena J(θ) he tohu mo te pai o ta tatou kaupapa here mo te whakatutuki i te whainga e hiahiatia ana, ka kitea e tatou nga uara o “θ” e homai ana ki a matou te kaupapa here pai rawa atu. Tuatahi, me tatau tatou i te utu kaupapa here e tumanakohia ana. Ka whakatauhia e matou te utu kaupapa here na reira he whainga taatau, he mea hei arotau. Ko te Taumahi Tohu Kaupapa he pehea tatou e tatau ai i te utu kaupapa here e tumanakohia ana, a he rereke nga Taumahi Tohu Kaupapahere e whakamahia nuitia ana, penei: nga uara timata mo nga taiao episodic, te uara toharite mo nga taiao haere tonu, me te utu toharite mo ia taahiraa wa.

Tikanga Rōnaki Kaupapa

Ko te pikinga rōnaki e whai ana ki te nuku i nga tawhā kia tae ra ano ki te waahi ka teitei ake te kaute. Whakaahua: Rohe Tūmatanui (https://commons.wikimedia.org/wiki/Kōnae:Gradient_ascent_(surface).png)

Whai muri i te whakamahi i te Mahinga Tohu Kaupapahere e hiahiatia ana, ka tatauhia he utu kaupapa here, ka kitea he uara mo te tawhā "θ” e whakanui ana i te mahi kaute. Hei whakanui ake i te mahi kaute J(θ), he tikanga e kiia nei "pikinga rōnaki” ka whakamahia. He rite te ariā o te pikinga rōnaki ki te heke rōnaki i roto i te ako hōhonu, engari kei te arotau mātou mo te pikinga teitei rawa atu i te heke. Ko tenei na te mea ehara ta matou kaute i te "hapa", penei i te maha o nga raru ako hohonu. Ko ta matou kaute he mea e hiahia ana matou ki te whakanui ake. Ko te kupu e kiia nei ko te Kaupapa Tikanga Rōnaki Ka whakamahia hei whakatau tata i te rōnaki e pā ana ki te kaupapa here “θ".

He whakarāpopototanga o te ako whakaū hōhonu

Hei whakarāpopototanga, ko te ako whakakaha hohonu ka whakakotahi i nga ahuatanga o te ako whakapakari me nga hononga neural hohonu. Ko te ako whakakaha hohonu ka mahia ma nga tikanga rereke e rua: Te ako-Q hohonu me te rōnaki kaupapa here.

Ko nga tikanga ako-Q hohonu e whai ana ki te matapae ko wai nga utu ka whai i etahi mahi i mahia i roto i tetahi ahuatanga, engari ko nga huarahi rōnaki kaupapa here e whai ana ki te arotau i te waahi mahi, ma te matapae i nga mahi ake. Ko nga huarahi-a-kaupapa-a-kaupapa mo te ako whakakaha hohonu, he tino mohio, he stochastic ranei te ahua. Ko nga mahere kaupapa here e whakaatu tika ana ki nga mahi i te wa e whakaputa ana nga kaupapa here stochastic i nga tuaritanga mo nga mahi.