Η Επίδραση των Transformers: Έχει Λυθεί το Πρόβλημα της Μηχανικής Μετάφρασης;

Η Google ανακοίνωσε πρόσφατα την κυκλοφορία 110 νέων γλωσσών στο Google Translate ως μέρος της πρωτοβουλίας 1000 γλωσσών που ξεκίνησε το 2022. Το 2022, στην αρχή, προστέθηκαν 24 γλώσσες. Με τις 110 πρόσθετες γλώσσες, είναι τώρα 243 γλώσσες. Αυτή η ταχεία επέκταση ήταν δυνατή χάρη στη Μεταφορά Μηχανής.Zero-Shot, μια τεχνολογία όπου τα μοντέλα μηχανικής μάθησης μαθαίνουν να μεταφράζουν σε μια άλλη γλώσσα χωρίς προηγούμενα παραδείγματα. Αλλά στο μέλλον θα δούμε μαζί αν αυτή η πρόοδος μπορεί να είναι η οριστική λύση στο πρόβλημα της μηχανικής μετάφρασης και εν τω μεταξύ μπορούμε να εξερευνήσουμε τους τρόπους με τους οποίους μπορεί να συμβεί. Αλλά πρώτα η ιστορία της.

Πώς Ήταν Πριν;

Στατιστική Μηχανική Μετάφραση (SMT)

Αυτή ήταν η αρχική μέθοδος που χρησιμοποιούσε το Google Translate. Βασίζονταν σε στατιστικά μοντέλα. Ανέλυαν μεγάλες παράλληλες corpora, συλλογές από συγχρονισμένες μεταφράσεις προτάσεων, για να καθορίσουν τις πιθανότερες μεταφράσεις. Πρώτα το σύστημα μετέφρασε το κείμενο στα αγγλικά ως ενδιάμεσο βήμα πριν από τη μετατροπή του στην προορισμική γλώσσα και χρειαζόταν να αναζητήσει φράσεις με εκτεταμένα δεδομένα από μεταγραφές του ΟΗΕ και του Ευρωπαϊκού Κοινοβουλίου. Διαφέρει από τις παραδοσιακές προσεγγίσεις που απαιτούσαν τη συλλογή εξαντλητικών γραμματικών κανόνων. Και η στατιστική προσέγγισή του επέτρεψε να προσαρμοστεί και να μάθει από τα δεδομένα χωρίς να βασίζεται σε στατικά γλωσσικά πλαίσια που θα μπορούσαν να γίνουν πλήρως περιττά.

Νευρωνική Μηχανική Μετάφραση (NMT)

Το 2016, η Google μετέβαλε στο Neural Machine Translation. Χρησιμοποιεί μοντέλα βαθιάς μάθησης για να μεταφράσει ολόκληρες προτάσεις ως σύνολο και ταυτόχρονα, δίνοντας πιο ροϊκές και ακριβείς μεταφράσεις. Η NMT λειτουργεί παρόμοια με το να έχεις ένα εξειδικευμένο πολυγλωσσικό βοηθό στον υπολογιστή σου. Χρησιμοποιώντας μια αρχιτεκτονική ακολουθίας-προς-ακολουθία (seq2seq), η NMT επεξεργάζεται μια πρόταση σε μια γλώσσα για να κατανοήσει το νόημά της. Στη συνέχεια, δημιουργεί μια αντίστοιχη πρόταση σε μια άλλη γλώσσα. Αυτή η μέθοδος χρησιμοποιεί τεράστια δεδομένα για την εκπαίδευση, σε αντίθεση με τη Στατιστική Μηχανική Μετάφραση, η οποία βασίζεται σε στατιστικά μοντέλα που αναλύουν μεγάλες παράλληλες corpora για να καθορίσουν τις πιθανότερες μεταφράσεις. Σε αντίθεση με τη SMT, η οποία επικεντρώθηκε στη μεταφράση με βάση τις φράσεις και χρειαζόταν πολλή χειροκίνητη προσπάθεια για την ανάπτυξη και τη συντήρηση γλωσσικών κανόνων και λεξικών, η NMT έχει τη δύναμη να επεξεργαστεί ολόκληρες ακολουθίες λέξεων, επιτρέποντάς της να κατανοήσει τις νюανς της γλώσσας πιο αποτελεσματικά. Έτσι, έχει βελτιώσει την ποιότητα μετάφρασης σε διάφορες γλωσσικές ζεύξεις, συχνά φτάνοντας σε επίπεδα ροής και ακρίβειας συγκρίσιμα με αυτές των ανθρώπινων μεταφραστών.

Εισαγωγή των Transformers

Το 2017, η Google Research δημοσίευσε το έγγραφο με τίτλο “Attention is All You Need,” εισάγοντας τους transformers στον κόσμο και σηματοδοτώντας μια σημαντική στροφή μακριά από τις RNNs στην αρχιτεκτονική των νευρωνικών δικτύων.

Οι transformers βασίζονται μόνο στο μηχανισμό προσοχής, – αυτοπροσοχής, που επιτρέπει στα μοντέλα μηχανικής μετάφρασης να εστιάζουν επιλεκτικά στα πιο κρίσιμα μέρη των εισαγωγικών ακολουθιών. Σε αντίθεση με τις RNNs, οι οποίες επεξεργάζονται λέξεις σε μια ακολουθία μέσα σε προτάσεις, η αυτοπροσοχή αξιολογεί κάθε token σε ολόκληρο το κείμενο, καθορίζοντας ποια άλλα είναι κρίσιμα για την κατανόηση του контекστου. Αυτή η ταυτόχρονη υπολογισμός όλων των λέξεων επιτρέπει στους transformers να κατανοήσουν αποτελεσματικά τόσο τις σύντομες όσο και τις μακροπρόθεσμες εξαρτήσεις χωρίς να βασίζονται σε αναδρομικές συνδέσεις ή σε φίλτρα σύγκλισης.

Zero-Shot Μηχανική Μετάφραση και PaLM 2

Το 2022, η Google κυκλοφόρησε υποστήριξη για 24 νέες γλώσσες χρησιμοποιώντας Zero-Shot Μηχανική Μετάφραση, σηματοδοτώντας một σημαντική ορόσημο στη τεχνολογία μηχανικής μετάφρασης. Ανακοίνωσαν επίσης την Πρωτοβουλία 1.000 Γλωσσών, με στόχο την υποστήριξη των 1.000 πιο ομιλούμενων γλωσσών του κόσμου. Τώρα έχουν κυκλοφορήσει 110 ακόμη γλώσσες. Η Zero-Shot μηχανική μετάφραση επιτρέπει τη μετάφραση χωρίς παράλληλα δεδομένα μεταξύ της πηγαίας και της προορισμικής γλώσσας, εξαλείφοντας την ανάγκη για τη δημιουργία εκπαιδευτικών δεδομένων για κάθε γλωσσικό ζεύγμα — μια διαδικασία που προηγουμένως ήταν δαπανηρή και χρονοβόρα, και για ορισμένα ζεύγη γλωσσών επίσης αδύνατη.

Αυτή η πρόοδος έγινε δυνατή χάρη στην αρχιτεκτονική και τους μηχανισμούς αυτοπροσοχής των transformers. Η ικανότητα του μοντέλου transformer να μάθει контεκστικές σχέσεις μεταξύ γλωσσών, σε συνδυασμό με την κλιμακωσιμότητά του να χειρίζεται πολλές γλώσσες ταυτόχρονα, επέτρεψε την ανάπτυξη πιο αποτελεσματικών και αποτελεσματικών πολυγλωσσικών συστημάτων μετάφρασης. Ωστόσο, τα μοντέλα Zero-Shot γενικά εμφανίζουν χαμηλότερη ποιότητα από αυτά που εκπαιδεύονται σε παράλληλα δεδομένα.

Μπορούμε να ισχυριστούμε ότι το πρόβλημα της μηχανικής μετάφρασης έχει λυθεί πλήρως με τους transformers;

Η εξέλιξη που μιλάμε για πήρε 18 χρόνια από την υιοθέτηση της SMT από τη Google μέχρι τις 110 πρόσθετες γλώσσες που χρησιμοποιούν Zero-Shot Μηχανική Μετάφραση. Αυτό αντιπροσωπεύει ένα τεράστιο βήμα που μπορεί να μειώσει την ανάγκη για εκτεταμένη συλλογή παραλληλών corpora — μια ιστορικά και πολύ χρονοβόρα εργασία που η βιομηχανία έχει αναλάβει για πάνω από δύο δεκαετίες. Αλλά, η δήλωση ότι η μηχανική μετάφραση έχει λυθεί πλήρως θα ήταν πρόωρη, λαμβάνοντας υπόψη cả τεχνικές και ηθικές σκέψεις.

Τα τρέχοντα μοντέλα ακόμα παλεύουν με το контέκστ και τη συνάφεια και κάνουν λεπτές λάθη που μπορούν να αλλάξουν το νόημα που προόριζες για ένα κείμενο. Αυτά τα προβλήματα είναι πολύ παρόντα σε μεγαλύτερες, πιο σύνθετες προτάσεις όπου η διατήρηση του λογικού ροής και η κατανόηση των νυάνσεων είναι απαραίτητες για τα αποτελέσματα. Επίσης, οι πολιτιστικές νυάνσεις και οι ιδιωματικές εκφράσεις συχνά χάνονται ή χάνουν τη σημασία τους, προκαλώντας μεταφράσεις που μπορεί να είναι γραμματικά σωστές αλλά δεν έχουν την προοριζόμενη επίδραση ή δεν ακούγονται φυσικά.

Δεδομένα για Προ-εκπαίδευση: Το PaLM 2 και παρόμοια μοντέλα είναι προ-εκπαιδευμένα σε ένα διαφορετικό πολυγλωσσικό κείμενο, υπερβαίνοντας τον προκάτοχό του PaLM. Αυτή η βελτίωση εξοπλίζει το PaLM 2 να ξεχωρίσει σε πολυγλωσσικές εργασίες, υπογραμμίζοντας τη συνεχιζόμενη σημασία των παραδοσιακών δεδομένων για τη βελτίωση της ποιότητας μετάφρασης.

Ειδικές Γλώσσες ή Σπάνιες Γλώσσες: Σε εξειδικευμένα πεδία όπως η νομική, ιατρική ή τεχνική, τα παράλληλα corpora διασφαλίζουν ότι τα μοντέλα συναντούν συγκεκριμένες ορολογίες και γλωσσικές νυάνσεις. Τα προηγμένα μοντέλα μπορεί να παλεύουν με ειδικές ορολογίες ή εξελισσόμενες γλωσσικές τάσεις, δημιουργώντας προκλήσεις για τη Zero-Shot Μηχανική Μετάφραση. Επίσης, οι Γλώσσες με Λιγότερες Πόροι είναι ακόμα κακώς μεταφρασμένες, επειδή δεν έχουν τα δεδομένα που χρειάζονται για να εκπαιδεύσουν ακριβή μοντέλα.

Βελτιστοποίηση: Τα παράλληλα corpora παραμένουν απαραίτητα για την αξιολόγηση και τη βελτιστοποίηση της απόδοσης των μοντέλων μετάφρασης, ιδιαίτερα για γλώσσες που δεν έχουν επαρκείς παράλληλους corpora δεδομένων. Τα αυτοματοποιημένα μετρικά όπως το BLEU, BLERT και METEOR έχουν περιορισμούς στην αξιολόγηση της νυάνσεως της ποιότητας μετάφρασης εκτός από τη γραμματική. Αλλά, εμείς οι άνθρωποι εμποδίζουμε από τις προκαταλήψεις μας. Επίσης, δεν υπάρχουν πολλοί εξειδικευμένοι αξιολογητές εκεί έξω, και η εύρεση του ιδανικού δίγλωσσου αξιολογητή για κάθε ζεύγμα γλωσσών για να πιάσει τις λεπτές λάθη.

Εντατική Πόροι: Η εντατική φύση της εκπαίδευσης και της ανάπτυξης των LLMs παραμένει ένα εμπόδιο, περιορίζοντας την προσβασιμότητα για ορισμένες εφαρμογές ή οργανισμούς.

Πολιτιστική Διατήρηση. Η ηθική διάσταση είναι βαθιά. Όπως περιγράφει ο Isaac Caswell, ένας ερευνητής του Google Translate: “Μπορείς να το σκεφτείς ως ένα πολυγλωσσικό που γνωρίζει πολλές γλώσσες. Αλλά τότε, επιπλέον, βλέπει κείμενο σε 1.000 περισσότερες γλώσσες που δεν έχει μεταφραστεί. Μπορείς να φανταστείς αν είσαι κάποιος μεγάλος πολυγλωσσικός και μετά αρχίσεις να διαβάζεις μυθιστορήματα σε μια άλλη γλώσσα, μπορείς να αρχίσεις να κατανοείς τι σημαίνει με βάση τη γνώση σου για τη γλώσσα γενικά.” Ωστόσο, είναι κρίσιμο να λάβουμε υπόψη μας την μακροπρόθεσμη επίδραση στις μικρές γλώσσες που δεν έχουν παράλληλα corpora, που μπορεί να επηρεάσει την πολιτιστική διατήρηση όταν η εξάρτηση μετατοπίζεται μακριά από τις γλώσσες τους ίδιες.