Η Appen Limited Εκκινεί Ποικίλες Συνόλους Εκπαίδευσης Δεδομένων για NLP

Appen Limited, ένας ηγέτης στην παροχή υψηλής ποιότητας συνόλων εκπαίδευσης δεδομένων για εταιρείες που επιδιώκουν να κατασκευάσουν συστήματα AI σε μεγάλη κλίμακα, εκκινεί νέα ποικίλα συνόλους εκπαίδευσης δεδομένων για πρωτοβουλίες επεξεργασίας φυσικής γλώσσας (NLP). Αυτά τα συνόλους θα επιτρέψουν στους τελικούς χρήστες να λαμβάνουν την ίδια εμπειρία ανεξάρτητα από την ποικιλία γλώσσας, διάλεκτο, εθνολεκτό, προφορά, φυλή ή φύλο. 

Σύμφωνα με μια έκθεση από το PNAS τον Μάρτιο του 2020, τα δημοφιλή αυτόματα συστήματα αναγνώρισης ομιλίας (ASR),特別 těch που χρησιμοποιούνται για εικονικούς βοηθούς, κλειστό καπνισμό και χειροκίνητη υπολογιστική, συχνά παρουσιάζουν φυλετικές ανισότητες στην απόδοση. Πολύ από αυτό οφείλεται στο γεγονός ότι τα συστήματα βασίζονται σε προκατειλημμένα ή ελλιπή δεδομένα, και αυτό είναι το λόγο για τον οποίο είναι τόσο κρίσιμο να αναπτύξουμε ποικίλα συνόλους εκπαίδευσης. 

Με την νέα εκκίνηση, η Appen στοχεύει να μειώσει τις διαφορές απόδοσης και να δημιουργήσει ένα πιο περιεκτικό περιβάλλον για την τεχνολογία αναγνώρισης ομιλίας. Οι ίδιες προκλήσεις υπάρχουν στην ερμηνεία γλώσσας και τα συστήματα NLP. 

Ο Mark Brayan είναι ο CEO της Appen. 

«Η ποιότητα και η ποικιλία των συνόλων εκπαίδευσης δεδομένων επηρεάζουν trực tiếp την απόδοση και την προκατάληψη που υπάρχει στα μοντέλα AI», δήλωσε ο Brayan. «Ως εταίρος δεδομένων, μπορούμε να παρέχουμε πλήρη συνόλους εκπαίδευσης για πολλές περιπτώσεις χρήσης, ώστε τα μοντέλα AI να λειτουργούν για όλους. Είναι κρίσιμο να εμπλακούμε μια ποικίλη ομάδα ατόμων για την παραγωγή, επισήμανση και επικύρωση των δεδομένων, ώστε το μοντέλο που εκπαιδεύεται να μην είναι μόνο ισότιμο, αλλά και να κατασκευαστεί με ευθύνη.»

Εργαστήρια Γλώσσας Appen

Η Appen προσπαθεί να δημιουργήσει ένα ποικίλο περιβάλλον AI μέσω των διαφόρων έργων και συνεργασιών της, συμπεριλαμβανομένων: 

• Συνεργασία με τους Μεταφραστές Χωρίς Σύνορα (TWB): Η Appen έχει συνεργαστεί με τους TWB, την Amazon (AMZN ), το Πανεπιστήμιο Carnegie Mellon, την Facebook (META ), την Google (GOOGL ), το Πανεπιστήμιο Johns Hopkins, την Microsoft (MSFT ) και την Translated. Η συνεργασία έχει ενταχθεί στην Προσπάθεια Μετάφρασης για το COVID-19 (TICO-19), η οποία προσπάθησε να επεκτείνει την πρόσβαση στις πληροφορίες για το COVID-19 υποστηρίζοντας την ανάπτυξη της τεχνολογίας γλώσσας σε πολλές γλώσσες. Αυτές περιλαμβάνουν τις αναπτυσσόμενες χώρες όπως η Κονγκολέζικη Σουαχίλι, η Τιγκρινί, και η Νιγηριανή Φουλφούντε.

• Εργαστήριο μετάφρασης Καναδικής Γαλλικής: Η Appen βοήθησε την Microsoft να προσθέσει την «Καναδική Γαλλική» ως επιλογή γλώσσας στο Microsoft Translator μετά από συνεργασία με συμβούλους γλωσσών.
  
• Εργαστήριο μετάφρασης Ινουκτιτούτ: Η Appen συνεργάστηκε με την Κυβέρνηση του Νουνάβουτ, η οποία οδήγησε στην προσθήκη της Ινουκτιτούτ στο Microsoft Translator. Η ιθαγενής γλώσσα ομιλείται στον Καναδικό Άρktiko.
  
• Συνόλους εκπαίδευσης για την Αφροαμερικανική Ποικίλη Αγγλική (AAVE): Με την συνεργασία με ομιλητές της AAVE και τη συλλογή δεδομένων για ένα σύνολο εκπαίδευσης βασισμένο σε συζητήσεις για διάφορα θέματα, η Appen προσπαθεί να δημιουργήσει νέα συνόλους εκπαίδευσης που αντιπροσωπεύουν την AAVE. 

Η Δρ. Judith Bishop είναι η Ανώτατη Διευθύντρια Ειδικών AI στην Appen.

«Τα προκατειλημμένα δεδομένα AI οδηγούν σε έργα που μπορεί να αποτύχουν να παράσχουν τα αναμενόμενα επιχειρηματικά αποτελέσματα και να βλάψουν τα άτομα που προορίζονται να ωφεληθούν», δήλωσε η Δρ. Bishop. «Η κλίμακα και η复잡κότητα των έργων AI καθιστά αδύνατο για τις περισσότερες εταιρείες να αποκτήσουν αμερόληπτα υψηλής ποιότητας δεδομένα χωρίς να συνεργαστούν με έναν ειδικό δεδομένων AI. Η δέσμευση της Appen για την ανάπτυξη των πιο ποικίλων και ειδικών συνόλων δεδομένων παρέχει στη βιομηχανία ένα σαφώς διαφοροποιημένο πόρο για την κατασκευή δίκαιων και ηθικών έργων AI.»

Η Appen υποστηρίζεται από αναλυτές δεδομένων εκπαίδευσης από πάνω από 170 χώρες, και οι αναπαραστάσεις γλώσσας περιλαμβάνουν 235 μοναδικές γλώσσες και 395 διαλέκτους. Επίσης, προσφέρει συνόλους εκπαίδευσης off-the-shelf (OTS), τα οποία επιτρέπουν στις επιχειρήσεις να αποκτήσουν υψηλής ποιότητας δεδομένα εκπαίδευσης πιο γρήγορα για τα έργα AI τους.