Appen Limited julkaisee monipuoliset koulutusaineistot NLP:lle

Appen Limited, johtava laadukkaiden koulutusaineistojen tarjoaja yrityksille, jotka haluavat rakentaa laajamittaisia tekoälyjärjestelmiä, julkaisee uusia monipuolisia koulutusaineistoja luonnollisen kielen prosessoinnin (NLP) aloitteille. Nämä aineistot mahdollistavat loppukäyttäjille saman kokemuksen riippumatta kielestä, murteesta, etnisyydestä, aksentista, rodusta tai sukupuolesta.

PNAS:n raportin mukaan maaliskuussa 2020, suositut automaattiset puhetunnistusjärjestelmät, erityisesti ne, jotka käytetään virtuaaliavustajissa, tekstityksessä ja käsisidonnaisissa tietokoneissa, usein osoittavat rotueroja suorituskyvyssä. Suurin osa tästä johtuu siitä, että järjestelmät perustuvat vääristyneisiin tai epätäydellisiin aineistoihin, ja tästä syystä on niin tärkeää kehittää monipuolisia koulutusaineistoja.

Uuden julkaisun myötä Appen pyrkii vähentämään suorituskykyeroja ja luomaan enemmän inklusiivisen ympäristön puheentunnistusteknologialle. Samanlaisia haasteita on myös kielentulkkaus- ja NLP-järjestelmissä.

Mark Brayan on Appenin toimitusjohtaja.

“Koulutusaineiston laatu ja monipuolisuus vaikuttavat suoraan tekoälymallien suorituskykyyn ja vääristymään”, sanoi Brayan. “Datapartnerina voimme toimittaa täydelliset koulutusaineistot moniin käyttötarkoituksiin, jotta tekoälymallit toimisivat kaikille. On kriittinen, että osallistumme monipuoliseen ryhmään yksilöitä, jotka tuottavat, merkitsevät ja validoi aineistot, jotta malli, jota koulutetaan, on ei vain tasapuolinen, vaan myös vastuullisesti rakennettu.”

Appen KieliProjektit

Appen pyrkii luomaan monipuolisen tekoälyympäristön eri projekteillaan ja kumppanuuksillaan, mukaan lukien:

• Kääntäjät ilman rajoja (TWB) -kumppanuus: Appen on solminut kumppanuuden TWB:n, Amazonin, Carnegie Mellonin yliopiston, Facebookin, Googleen, Johns Hopkinsin yliopiston, Microsoftin ja Translatedin kanssa. Kumppanuus on liittynyt Käännösalan COVID-19 -aloitteeseen (TICO-19), joka on pyrkinyt laajentamaan pääsyä COVID-19 -tietoihin tukeakseen kieliteknologian kehittämistä useilla kielillä. Nämä kielet ovat mukaan lukien kehittyvien maiden kielet, kuten kongolainen swahili, tigrinja ja nigerialainen fulfulde.
• Kanadalaisen ranskan käännösprojekti: Appen auttoi Microsoftia lisäämään “kanadalaisen ranskan” kielen vaihtoehdon Microsoft (MSFT ) Translatoriin koordinoimalla kanssa alkuperäisten kielten asiantuntijoiden.
• Inuktitutin käännösprojekti: Appen yhteistyössä Nunavutin hallituksen kanssa johti siihen, että Microsoft lisäsi inuktitutin Microsoft Translatoriin. Alkuperäiskieli puhutaan Kanadan arktisella alueella.
• Afrikanamerikkalaisen puhekielen (AAVE) valmiit aineistot: Työskentelemällä AAVE-puhujien kanssa ja keräämällä tietoja valmiista aineistosta, Appen pyrkii luomaan uusia koulutusaineistoja, jotka edustavat AAVE:aa.

Tohtori Judith Bishop on Appenin tekoälyasiantuntijoiden johtaja.

“Vääristynyt tekoälyaineisto johtaa projekteihin, jotka eivät voi toimittaa odotettuja liiketoimintatuloksia ja vahingoittaa yksilöitä, joita ne on tarkoitettu hyödyttämään”, sanoi tohtori Bishop. “Tekoälydatan asiantuntijana voimme toimittaa täydelliset koulutusaineistot moniin käyttötarkoituksiin, jotta tekoälymallit toimisivat kaikille. On kriittinen, että osallistumme monipuoliseen ryhmään yksilöitä, jotka tuottavat, merkitsevät ja validoi aineistot, jotta malli, jota koulutetaan, on ei vain tasapuolinen, vaan myös vastuullisesti rakennettu.”

Appen on avustettu koulutusaineistojen annotoijilla yli 170 maasta, ja kieliedustukset käsittävät 235 yksilöllistä kieltä ja 395 murretta. Se tarjoaa myös valmiita aineistoja, jotka mahdollistavat yritysten hankkimisen laadukkaita koulutusaineistoja nopeammin tekoälyprojekteja varten.