Η Baidu ξεπερνά την Google και τη Microsoft, δημιουργώντας μια νέα τεχνική για την κατανόηση της γλώσσας

Η Baidu, μια από τις μεγαλύτερες τεχνολογικές εταιρείες της Κίνας, έχει αναπτύξει πρόσφατα μια νέα μέθοδο για τη διδασκαλία των ΑΙ να κατανοούν τη γλώσσα. Όπως αναφέρεται στο TechnologyReview, η εταιρεία最近 νίκησε τη Microsoft (MSFT ) και τη Google (GOOGL ) στο διαγωνισμό General Language and Understanding Evaluation (GLUE), επιτυγχάνοντας αποτελέσματα στο επίπεδο του κράτους της τέχνης.

Το GLUE αποτελείται από εννέα διαφορετικά τεστ, με κάθε τεστ να μετρά μια διαφορετική εργασία που είναι σημαντική για την κατανόηση της γλώσσας, όπως η διάκριση των ονομάτων των οντοτήτων σε μια πρόταση και η διάκριση του контекστού στο οποίο χρησιμοποιείται το αντωνυμία “αυτό” όταν υπάρχουν πολλά πιθανά υποψήφια. Ο μέσος άνθρωπος συνήθως σκοράρει γύρω στα 87 πόντους στο GLUE, από τα 100 δυνατά. Το νέο μοντέλο της Baidu, ERNIE, έσπασε το όριο των 90 πόντων.

Οι ερευνητές προσπαθούν πάντα να βελτιώσουν την απόδοση των μοντελών τους στο GLUE, και επομένως το τρέχον πρότυπο που έχει θέσει η Baidu θα ξεπεραστεί πιθανότατα σύντομα. Ωστόσο, αυτό που κάνει την επιτυχία της Baidu αξιοσημείωτη είναι ότι η προσέγγιση μάθησης που χρησιμοποιούν φαίνεται να μπορεί να γενικευθεί σε άλλες γλώσσες. mặc dù το μοντέλο αναπτύχθηκε για να ερμηνεύσει την κινεζική γλώσσα, τα ίδια principia κάνουν το μοντέλο καλύτερο στην ερμηνεία της αγγλικής γλώσσας. Το ERNIE σημαίνει “Ενισχυμένη Αναπαράσταση μέσω της Ολοκλήρωσης της Γνώσης” και ακολουθεί την ανάπτυξη του BERT (“Διπλής Κατεύθυνσης Encoder Αναπαραστάσεων από Transformers”) μοντέλο γλώσσας.

Το BERT έθεσε ένα νέο πρότυπο για την κατανόηση της γλώσσας λόγω του ότι ήταν ένα μοντέλο διπλής κατεύθυνσης. Τα προηγούμενα μοντέλα γλώσσας ήταν μόνο ικανά να ερμηνεύσουν δεδομένα που ρέουν σε μια “κατεύθυνση”, κοιτάζοντας μια λέξη που ήρθε είτε πριν είτε μετά τη λέξη-στόχο ως контекスト. Το BERT ήταν ικανό να εφαρμόσει μια διπλής κατεύθυνσης προσέγγιση που θα μπορούσε να χρησιμοποιήσει και τις προηγούμενες και τις μεταγενέστερες λέξεις σε μια πρόταση για να βοηθήσει να κατανοήσει τη σημασία της λέξης-στόχου. Το BERT χρησιμοποιεί μια τεχνική που ονομάζεται masking για να κάνει δυνατή την διπλής κατεύθυνσης ανάλυση, επιλέγοντας μια λέξη σε μια πρόταση και κρύβοντας την, που chiaζει τα πιθανά контекστ για αυτή τη λέξη σε προηγούμενα και μεταγενέστερα контекστ.

Στην αγγλική γλώσσα, η λέξη είναι η κυρίαρχη σημασιολογική μονάδα, οι άνθρωποι κοιτάζουν ολόκληρες λέξεις παρά μεμονωμένα γράμματα για να κατανοήσουν τη σημασία. Είναι δυνατό να αφαιρέσετε μια λέξη από το контекστο της και να διατηρήσει ακόμη τη σημασία της, και η σημασία των μεμονωμένων γραμμάτων είναι σχεδόν πάντα η ίδια. Αντίθετα, η κινεζική γλώσσα βασίζεται πολύ περισσότερο σε το πώς τα γράμματα ταιριάζουν μαζί με άλλα γράμματα όταν κατανοούν τη σημασία.

Η ερευνητική ομάδα της Baidu βασικά πήρε το μοντέλο που χρησιμοποιούσε το BERT και το επέκτεινε, κρύβοντας σειρές χαρακτήρων αντί για ολόκληρες λέξεις. Το σύστημα ΑΙ επίσης εκπαιδεύτηκε για να διακρίνει τυχαίες σειρές και σημαντικές σειρές χαρακτήρων, ώστε να μπορέσει να κρύψει τις σωστές σειρές χαρακτήρων. Αυτό κάνει το ERNIE ικανό να ανακτά πληροφορίες από ένα έγγραφο κειμένου και να thựcεί μετάφραση μηχανής. Η ερευνητική ομάδα επίσης βρήκε ότι η μέθοδος εκπαίδευσής τους οδήγησε επίσης σε ένα μοντέλο που θα μπορούσε να διακρίνει αγγλικές φράσεις καλύτερα από πολλά άλλα μοντέλα. Αυτό είναι γιατί η αγγλική γλώσσα χρησιμοποιεί đôiότερες φορές, αν και σπάνια, συνδυασμούς λέξεων που εκφράζουν διαφορετικές σημασίες όταν συνδυάζονται μαζί παρά όταν είναι μόνοι τους. Τα σωστά ονόματα και τα ιδιώματα ή τα κοινά λόγια, όπως “chip off the old block” είναι παραδείγματα τέτοιων γλωσσικών φαινομένων.

Το ERNIE χρησιμοποιεί πολλές άλλες τεχνικές εκπαίδευσης για να βελτιώσει την απόδοση, συμπεριλαμβανομένης της ανάλυσης της σειράς και της απόστασης των προτάσεων όταν ερμηνεύει παραγράφους. Μια συνεχής μέθοδος εκπαίδευσης cũng χρησιμοποιείται, η οποία επιτρέπει στο ERNIE να εκπαιδευτεί σε νέα δεδομένα και να μάθει νέα μοτίβα χωρίς να ξεχάσει τις προηγουμένως αποκτηθείσες γνώσεις.

Η Baidu χρησιμοποιεί目前 το ERNIE για να βελτιώσει την ποιότητα των αποτελεσμάτων αναζήτησης. Η τελευταία αρχιτεκτονική του ERNIE θα λεπτομερήσει σε μια επικείμενη εργασία που θα παρουσιαστεί στη διάσκεψη 2020 της Association for the Advancement of Artificial Intelligence.