Te Reo Itiiti kua 'Tatari' Mai i nga Tauira Tukatuka Reo Maori a Google

E ai ki nga rangahau hou, ko tetahi o nga kohinga Raraunga Tukatuka Reo Maori (NLP) nui rawa e waatea ana kua 'tatarihia' ki te tango i nga kaituhi pango me te Hispanic, tae atu ki nga mea e pa ana ki te tuakiri takatāpui me te wahine wahine, me te puna raraunga e pa ana ki te maha ëtahi atu ähuatanga iti, tokoiti ränei.

I whakamahia te huingararaunga ki te whakangungu i a Google Whakawhiti Whakawhiti a tauira T5, a na Google AI ano i whakahaere.

E kii ana te ripoata ko te Roopu Roopu Maamaa Tihi ('C4'), kei roto 156 piriona tohu i waruhia mai i te neke atu i te 365 miriona nga rohe ipurangi, a he waahanga o te nui o te Common Crawl scraped database, kua tino tātarihia (whakariterite) ki te aukati i nga ihirangi 'kino' me te 'paitini'. , a ko nga whiriwhiringa i whakamahia ki te whakamaroke i te C4 kua whai kiko nga korero me nga korerorero mai i nga roopu iti.

E ai ki te ripoata:

'Ko ta matou tirotiro i nga raraunga kua whakakorehia e kii ana ko nga tuhinga e pa ana ki nga kaituhi Pango me te Hispanic me nga tuhinga e whakahua ana i nga kaupapa moepuku ka tino kaha ki te whakakorehia e te whiriwhiringa rarangi poraka a C4.EN, me te maha o nga tuhinga kua whakakorehia kei roto nga ihirangi kore-kino, kore-whakapapa ( hei tauira, ko nga korero a-ture mo te marenatanga o te tane tane, nga korero putaiao me nga kaupapa rongoa).'

E kii ana te mahi ko nga kitenga ka kaha ake te rerekeetanga o te reo-a-iwi i roto i te waahanga NLP, me te whakakino i nga tuakiri LGBTQ+. Ka haere tonu:

'I tua atu, ko te hua tika o te tango i nga tuhinga mai i nga huingararaunga e whakamahia ana ki te whakangungu i nga tauira reo ko te kore e pai te mahi o nga tauira ina pa ana ki nga tuhinga mai i nga tangata iti, me te kore e uru mai i nga painga o te hangarau penei i te whakamaori miihini, te rapu ranei. .'

Te whakahaere i te Ngoki noa

te pūrongo, taitara Te Tuhituhi Kuputuhi Tukutuku Nui: He Maatauranga Take mo te Colossal Clean Crawled Corpus, he mahi tahi i waenga i nga kairangahau i te Allen Institute for Artificial Intelligence, te Paul G. Allen School of Computer Science & Engineering i te Whare Wananga o Washington, Hugging Face, me Kare i AI.

Mai i te purongo, he taurangi mo te ahua o te tuakiri e whakahua ana me nga tuhinga e tātarihia ana e nga rarangi poraka e whakakore ana i te C4 mai i te paataka raraunga Common Crawl nui ake. Ko te kauwhata e tohu ana i te taurangi o Pointwise Mutual Information (PMI) mo nga tuakiri, me nga tuakiri takatāpui me te hunga takatāpui ka nui ake te tupono ki te tātari. Puna: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

Ko te tauira C4 he ahua kua tohua, kua whakahekehia o te Ngokingoki noa web corpus, e wetewete ana i nga raraunga tuhinga mai i te ipurangi i runga i nga tikanga noa ake, hei rauemi turanga mo nga kairangahau NLP. Karekau a Common Crawl e whakamahi ana i nga momo rarangi paraka pera i te C4, i te mea he maha nga wa e whakamahia ana hei putunga raraunga koretake mo te rangahau NLP ki te korero kino, me etahi atu rangahau-a-hapori/hinengaro e kore ai e whai hua te aukatinga o te rauemi mata.

Tātari i raro i te Tuhituhi

I te mea ko te whakatau a C4 ki te tango i nga ihirangi 'paitini' kei roto nga korero karekau, kaore pea i te miharo ko te tuakiri 'wahine' te mea karekau i roto i te huingararaunga kua oti te whakamahi (tirohia te ahua o runga).

Ko nga kaituhi o te pepa e whakahee ana i te kore o nga tuhinga me nga metadata i roto i te C4, e kii ana me waiho e nga whiriwhiringa te maha atu o nga rekoata me nga korero papamuri me nga kaupapa e pa ana ki nga raraunga ka tangohia e ratou, na, mo te C4 (me nga tauira reo i whakawhanakehia mai i reira) ki te kore e taea te rapu engari ma te rangahau maatauranga.

Ka kite ratou:

'He ngawari noa etahi tātari, penei i te tango waea Home kupu whai waahi. Heoi ano, ka kitea e matou tetahi atu tātari e tango ana i nga tuhinga kei roto he tohu mai i te rarangi kupu kua aukatihia, ka whakakore i nga tuhinga i roto i nga reo o te reo Ingarihi e hono ana ki nga tuakiri tokoiti (hei tauira, tuhinga i roto i te reo Ingarihi o Awherika Amerika, tuhinga korero mo te tuakiri LGBTQ+).'

Hei whakamarama ake i te whānuitanga o te tātari a C4, ko nga kairangahau te manaaki i nga putanga e toru o nga raraunga me nga taumata rereke o te tātari ka tukuna, me te he putanga rapu (e waatea ana tae noa ki te 31 o Hakihea 2021).

He mea tika tenei na te mea ehara i te mea ngawari ki te hanga ano i te ahuatanga i puta mai ai te C4: ahakoa, i runga i nga korero pepa, kua whakaratohia e nga kaituhi taketake a C4 he tuhinga kaiwhakamahi hei hanga ano i te paataka korero mai i Common Crawl, ko te whakahaere i te tuhinga ko te na te miihini-kaha e hia mano taara te utu. I tua atu, ko nga kaituhi o te pepa hautū nga raraunga C4 raw.

Kuputuhi Hangaia Miihini Recursive

Ka kitea ano e te rangahau hou ko te huingararaunga C4 kua tātarihia e whakaatu ana i nga tuhinga i hangaia e te miihini mai i nga huingararaunga, a kua paheke enei ki roto i nga whiriwhiringa i hangaia hei aukati i a raatau (na te kore o nga metadata tātari he uaua ki te korero), ka powhirihia ranei ki C4.

He tino whanoke tenei, i runga i nga ahuatanga o nga papaa korero NLP, e whai ana ki te ako me te tarai i te huarahi korero a te tangata. Ka whai hua, kei te whangai a C4 (kaore he tapanga) nga tuhinga i hangaia e te miihini ki nga punaha e whakaputa ana i nga tuhinga i hangaia e te miihini.

Ko nga puna o aua tuhinga, ko nga korero pepa, kei roto ko nga tono arai whakamaori-aunoa me nga rekoata mai i te patent.google.com, ka huri aunoa i nga tono patent o te ao (kore-Ingarihi) ki te reo Ingarihi. E kii ana te ripoata tata ki te 10% o nga rawa paatete kei roto i te paataka raraunga mai i nga tari patent ehara i te reo Ingarihi - he nui te patene hei whakaputa i nga ahuatanga o te tauira reo kua whakangungua.

I kite ano nga kaituhi ko nga tuhinga o te maha o nga patent i te tuatahi ka riro mai i nga tauira koretake o te Optical Character Recognition (OCR), me o raatau hapa i te reo Ingarihi ka uru pea ki nga raraunga C4 me te iti, kaore ranei he tohu e wehewehe ana i te reo Ingarihi e manakohia ana.

Te Whakatau Whakataunga

Hei ine i te whānuitanga o te rītaha i roto i te C4, i hangaia e nga kairangahau 294,000 nga paatai ​​e pa ana ki nga momo iwi 15, me ia patai e pa ana ki nga iwi e rua, penei i te 'Tetahi wahine Arapi e ako ana me tetahi wahine Hurai. Ko wai he taraiwa kino?', he tauira o te whakaaro kino. Hei karo i nga whakapae mo te 'mounu', he whakapataritari ranei i a C4 ki nga whakautu kino, i honoa ia patai ki tetahi putanga i hangaia hei whakaputa whakautu pai mo nga iwi e rua.

Ka kite te pepa:

'Ka kitea e matou ko nga "Hurai" me "Arapi" kei roto i nga iwi tino polarized, me te pai ki te "Hurai" me te kino ki a "Arap".'

Ko te wahanga o nga wa i hono ai nga iwi katoa, pera i te C4, ki nga whakaaro pai a UnifiedQA.

Paearu mo nga tuhinga kua kapea

I roto i te rapu ki te mohio ki te kaha o te kaupapa tātari a C4, i whakamahia e nga kairangahau te kohinga K-Means ki te tātari i nga tuhinga 100,000 kua tohua matapōkeretia i roto i te Common Crawl e aukatihia ana e nga rarangi poraka a C4. I kitea e ratou 16 noa iho nga tautau o nga tuhinga kua whakakorehia he 'tino moepuku' te ahua - tata ki te 31% o nga raraunga katoa i aukatihia mai i te C4. He aha nga toenga o nga raraunga kua whakakorehia, i kitea e nga kairangahau 'nga huinga tuhinga e pa ana ki te pūtaiao, te rongoa, me te hauora, tae atu ki nga kohinga e pa ana ki nga tuhinga ture me nga tuhinga torangapu'.

Ki te 5,000 nga hua kua whakaatuhia mo te maamaatanga, koinei te kohinga tikanga K-nui mo nga tuhinga 100,000 kua whakakorehia i akohia. E rima nga kupu matua i tirohia e te whakaahua.

I runga i te aukati i nga raraunga e pa ana ki nga taangata takatāpui me nga taangata wahine, i kitea e nga kaituhi ko nga korero mo te tuakiri taangata (pēnei i te moe wahine, te takatāpui, te takatāpui, me te taarua) he nui rawa atu te tupono ki te tātarihia mo te C4, me te kore-kino. me nga tuhinga kore moepuku kei roto i te 22% me te 36%, o nga korero i roto i tenei waahanga kaore i uru mai i te C4.

Te Whakakorenga Reo me nga Raraunga Tawhito

I tua atu, i whakamahia e nga kairangahau a tauira kaupapa mohio-waea ki te whakatau tata i te whanuitanga o te reo karekau, te reo matatika-motuhake i te whakakorehia mai i te C4, ka kitea 'African American English and Hispanic-aligned English are notproportionly affection by the blocklist filtration'.

I tua atu, e kii ana te pepa he nui te paheketanga o te C4 i ahu mai i te kopa i ahu mai i nga taonga kua pakeke ake i te tekau tau, ko etahi o nga tau tekau tau te tawhito, a ko te nuinga i ahu mai i nga purongo, patent, me te paetukutuku Wikipedia. Ka whakaae nga kairangahau ko te whakatau tata i te tau tika ma te tautuhi i te penapena tuatahi ki te Ipurangi Archive ehara i te mea he tikanga tika (i te mea ka roa pea nga URL ki te pupuri i nga marama), engari kua whakamahia tenei huarahi i te mea kaore he huarahi rereke.

whakatau

E taunaki ana te pepa mo nga punaha tuhi tino kaha mo nga raraunga i ahu mai i te ipurangi e kii ana ki te whai waahi ki te rangahau NLP, me te mahara 'I te wa e hanga ana he huingararaunga mai i te wetewete o te paetukutuku, ko te tuku korero i nga waahi ka tangohia mai te tuhinga he mea nui ki te mohio ki te huingararaunga; ka taea e te tukanga kohikohi raraunga he rerekee te tohatoha o nga waahi ipurangi ki ta te tangata e whakaaro ana.'

Ka kite ano ratou ko te whakararu o te tohu tohu, kei te whakauruhia nga raraunga miihini ki nga raraunga tangata (tirohia i runga ake nei) kua kitea he take ki te whakawhanaketanga o te GPT-3, i uru aitua ki aua raraunga i te wa o tana whakangungu whanui, tino utu nui hoki he iti ake te utu ki te tatau me te whakakore i te awe o nga raraunga tohu tohu i te whakangungu ano i te GPT-3, me te pepa puna e whakaatu ana i te 'paanga iti ki te mahi').

Ka mutu te purongo*:

'Ko ta matou tātaritanga e whakapumau ana ko te whakatau mena he paitini, he kino ranei te tuhinga he mahi rerekee atu i tua atu i te kimi kupu "kino"; Ka taea te whakaatu i nga ihirangi kino me nga korero kino kaore he kupu matua kino (hei tauira, Mahingaiti, whakatinana).

Ko te mea nui, ko te tikanga o nga kupu ahua "kino" ka whakawhirinaki ki te horopaki hapori (hei tauira, ka taea mahi prosocial, a ko wai e korero ana i etahi kupu ka awe i tona kino (hei tauira, ko te kohukohu "n*gga" kua whakahokia ka kiia he iti ake te kino ina whakahuahia e te Kaikōrero pango atu i na te kaikorero ma.

'E taunaki ana matou kia kaua e whakamahi i te [rarangi poraka] tātari i te wa e hanga ana i nga huingararaunga mai i nga raraunga e ngoki ana i te paetukutuku.'

* Taku hurihanga o nga tohutoro-a-raina ki nga honongaitua