Appen Limited Tniedi Settijiet Diversi ta' Taħriġ tad-Data għall-NLP

Appen Limited, fornitur ewlieni ta’ data ta’ taħriġ ta’ kwalità għolja għal kumpaniji li qed ifittxu li jibnu sistemi ta’ AI fuq skala kbira, qed iniedi settijiet ta’ data ta’ taħriġ differenti ġodda għal inizjattivi ta’ pproċessar tal-lingwa naturali (NLP). Dawn is-settijiet tad-dejta se jippermettu lill-utenti finali jirċievu l-istess esperjenza irrispettivament mill-varjetà tal-lingwa, djalett, etnolett, aċċent, razza jew sess. 

Skond tirrapporta minn PNAS f'Marzu 2020, sistemi popolari ta 'rikonoxximent tad-diskors awtomatizzat (ASR), speċjalment dawk użati għal assistenti virtwali, captioning magħluqa, u kompjuters mingħajr idejn, ħafna drabi juru disparitajiet razzjali fil-prestazzjoni. Ħafna minn dan għandu x'jaqsam mas-sistemi li jkunu bbażati fuq data preġudikata jew mhux kompluta, u għalhekk huwa daqshekk kruċjali li jiġu żviluppati settijiet ta' taħriġ differenti. 

Bit-tnedija l-ġdida, Appen għandu l-għan li jnaqqas id-differenzi fil-prestazzjoni u joħloq ambjent aktar inklużiv għat-teknoloġija tar-rikonoxximent tad-diskors. L-istess tipi ta' sfidi huma preżenti fl-interpretazzjoni tal-lingwa u fis-sistemi NLP. 

Mark Brayan huwa l-Kap Eżekuttiv ta' Appen. 

"Il-kwalità u d-diversità tad-dejta tat-taħriġ jaffettwaw direttament il-prestazzjoni u l-preġudizzju preżenti fil-mudelli tal-AI," qal Brayan. “Bħala sieħeb tad-dejta, nistgħu nipprovdu dejta kompleta ta’ taħriġ għal ħafna każijiet ta’ użu biex niżguraw li l-mudelli tal-IA jaħdmu għal kulħadd. Huwa kritiku li ningaġġaw grupp divers ta’ individwi biex jipproduċu, jittikkettaw, u jivvalidaw id-dejta biex niżguraw li l-mudell li qed jitħarreġ mhux biss ikun ekwu, iżda wkoll mibni b’mod responsabbli.”

Appen Proġetti Lingwistiċi

Appen jipprova joħloq ambjent AI divers permezz tal-proġetti u s-sħubijiet differenti tiegħu, inklużi: 

• Sħubija Tradutturi mingħajr Fruntieri (TWB): Appen ssieħbet ma' TWB, Amazon, Carnegie Mellon University, Facebook, Google, Johns Hopkins University, Microsoft, u Translated. Is-sħubija ngħaqdet mal- Inizjattiva tat-Traduzzjoni għall-COVID-19 (TICO-19), li ppruvat tespandi l-aċċess għall-informazzjoni dwar il-COVID-19 billi tappoġġja l-iżvilupp tat-teknoloġija tal-lingwa f’diversi lingwi. Dawn jinkludu pajjiżi li qed jiżviluppaw bħal Swaħili Kongoliż, Tigrinya, u Fulfulde Niġerjan.

• Proġett ta' traduzzjoni bil-Franċiż Kanadiż: Appen għen lill-Microsoft iżżid il-“Franċiż Kanadiż” bħala għażla tal-lingwa fil-Microsoft Translator wara li kkoordina ma’ konsulenti tal-lingwa nattiva.
  
• Proġett tat-traduzzjoni tal-Inuktitut: Appen ikkollabora mal-Gvern ta' Nunavut li għen biex Microsoft żżid l-Inuktitut mal-Microsoft Translator. Il-lingwa indiġena hija mitkellma fl-Artiku Kanadiż.

• Settijiet ta' dejta mhux disponibbli bl-Ingliż Vernakulari Afrikan Amerikan (AAVE): Billi taħdem ma 'kelliema AAVE u tiġbor dejta għal sett ta' dejta OTS ibbażat fuq konversazzjonijiet dwar suġġetti varji, Appen jipprova jagħmel settijiet ta 'dejta ġodda ta' taħriġ li jirrappreżentaw AAVE. 

Dr Judith Bishop hija Direttur Anzjan tal-Ispeċjalisti tal-AI f’Appen.

"Dejta preġudikata tal-AI twassal għal proġetti li jistgħu jonqsu milli jagħtu r-riżultati tan-negozju mistennija u jagħmlu ħsara lill-individwi li suppost jibbenefikaw," qal Dr Bishop. “L-iskala u l-kumplessità tal-proġetti tal-IA tagħmilha impossibbli għall-biċċa l-kbira tal-kumpaniji li jakkwistaw biżżejjed dejta imparzjali ta’ kwalità għolja mingħajr ma jissieħbu ma’ espert tad-dejta tal-AI. L-impenn ta’ Appen li jiżviluppa l-aktar folla diversa u esperta ta’ annotaturi tad-dejta jipprovdi lill-industrija b’riżors differenzjat b’mod ċar għall-bini ta’ proġetti AI ġusti u etiċi.”

Appen huwa megħjun minn annotaturi tad-dejta tat-taħriġ minn aktar minn 170 pajjiż, u r-rappreżentazzjonijiet tal-lingwa jinkludu 235 lingwa unika u 395 djalett. Joffri wkoll settijiet ta' dejta mhux disponibbli fuq l-ixkaffa (OTS), li jippermettu lin-negozji jakkwistaw dejta ta' taħriġ ta' kwalità għolja aktar malajr għall-proġetti tal-IA tagħhom.