Appen Limited lanceert diverse trainingsdatasets voor NLP

Appen Limited, een toonaangevende aanbieder van hoogwaardige trainingsdata voor bedrijven die op grote schaal AI-systemen willen bouwen, lanceert nieuwe diverse trainingsdatasets voor natuurlijke taalverwerking (NLP)-initiatieven. Deze datasets zullen eindgebruikers in staat stellen om ongeacht taalvariëteit, dialect, etnolekt, accent, ras of geslacht dezelfde ervaring te hebben.

Volgens een rapport van PNAS in maart 2020, vertonen populaire geautomatiseerde spraakherkenningsystemen (ASR), vooral die welke worden gebruikt voor virtuele assistenten, ondertiteling en handsfree-computing, vaak raciale dispariteiten in prestaties. Dit heeft veel te maken met het feit dat de systemen zijn gebaseerd op bevooroordeelde of onvolledige gegevens, en dat is waarom het zo cruciaal is om diverse trainingssets te ontwikkelen.

Met de nieuwe lancering, streeft Appen ernaar om de prestatieverschillen te verkleinen en een meer inclusieve omgeving te creëren voor spraakherkenningsTechnologie. Dezelfde soort uitdagingen zijn aanwezig in taalinterpretatie en NLP-systemen.

Mark Brayan is de CEO van Appen.

“De kwaliteit en diversiteit van trainingsdata hebben een directe impact op de prestaties en vooroordelen in AI-modellen”, zei Brayan. “Als datapartner kunnen we complete trainingsdata voor veel use cases leveren om ervoor te zorgen dat AI-modellen voor iedereen werken. Het is cruciaal dat we een diverse groep individuen betrekken om de gegevens te produceren, labelen en valideren om ervoor te zorgen dat het model dat wordt getraind niet alleen eerlijk is, maar ook verantwoordelijk wordt gebouwd.”

Appen Language Projects

Appen probeert een diverse AI-omgeving te creëren via verschillende projecten en partnerschappen, waaronder:

• Translators without Borders (TWB) partnerschap: Appen heeft een partnerschap met TWB, Amazon (AMZN ), Carnegie Mellon University, Facebook (META ), Google (GOOGL ), Johns Hopkins University, Microsoft (MSFT ) en Translated. Het partnerschap heeft zich aangesloten bij de Translation Initiative for COVID-19 (TICO-19), die heeft geprobeerd om de toegang tot COVID-19-informatie uit te breiden door de ontwikkeling van taaltechnologie in meerdere talen te ondersteunen. Deze omvatten ontwikkelingslanden zoals Congolees Swahili, Tigrinya en Nigeriaans Fulfulde.
• Canadees-Frans vertaalproject: Appen heeft geholpen om “Canadees-Frans” toe te voegen als taaloptie in Microsoft Translator na coördinatie met native taalconsultants.
• Inuktitut vertaalproject: Appen heeft samengewerkt met de regering van Nunavut, wat heeft geleid tot het toevoegen van Inuktitut aan Microsoft Translator. De inheemse taal wordt gesproken in de Canadese Arctis.
• Afro-Amerikaans Vertaalproject (AAVE) off-the-shelf datasets: Door samen te werken met AAVE-sprekers en gegevens te verzamelen voor een OTS-dataset op basis van gesprekken over verschillende onderwerpen, probeert Appen nieuwe trainingsdatasets te maken die AAVE vertegenwoordigen.

Dr. Judith Bishop is Senior Director of AI Specialists bij Appen.

“Bevooroordeelde AI-gegevens leiden tot projecten die kunnen falen in het leveren van de verwachte bedrijfsresultaten en schade kunnen toebrengen aan de personen die ze zouden moeten helpen”, zei Dr. Bishop. “De schaal en complexiteit van AI-projecten maken het onmogelijk voor de meeste bedrijven om onbevooroordeelde, hoogwaardige gegevens te verkrijgen zonder samen te werken met een AI-gegevensexpert. Appens toewijding aan het ontwikkelen van de meest diverse en deskundige menigte van gegevensannotators biedt de industrie een duidelijk onderscheiden resource voor het bouwen van eerlijke en ethische AI-projecten.”

Appen wordt ondersteund door trainingsdata-annotators uit meer dan 170 landen, en de taalrepresentaties omvatten 235 unieke talen en 395 dialecten. Het biedt ook off-the-shelf (OTS) datasets aan, waarmee bedrijven hoogwaardige trainingsdata sneller kunnen verkrijgen voor hun AI-projecten.