Εφαρμογή Μετασχηματιστών: Έχει Λυθεί το Πρόβλημα της Μηχανικής Μετάφρασης;

Η Google ανακοίνωσε πρόσφατα την κυκλοφορία 110 νέων γλωσσών στο Google Translate ως μέρος της πρωτοβουλίας 1000 γλωσσών που ξεκίνησε το 2022. Το 2022, στην αρχή πρόσθεσαν 24 γλώσσες. Με τις 110 πρόσθετες γλώσσες, είναι τώρα 243 γλώσσες. Αυτή η γρήγορη επέκταση ήταν δυνατή χάρη στη Μηχανική Μετάφραση Zero-Shot, μια τεχνολογία όπου τα μοντέλα μηχανικής μάθησης μαθαίνουν να μεταφράζουν σε άλλη γλώσσα χωρίς προηγούμενα παραδείγματα. Αλλά στο μέλλον θα δούμε μαζί αν αυτή η πρόοδος μπορεί να είναι η οριστική λύση στο πρόβλημα της μηχανικής μετάφρασης, και εν τω μεταξύ μπορούμε να εξερευνήσουμε τους τρόπους με τους οποίους μπορεί να συμβεί. Αλλά πρώτα η ιστορία της.

Πώς Ήταν Παλιότερα;

Στατιστική Μηχανική Μετάφραση (SMT)

Αυτή ήταν η αρχική μέθοδος που χρησιμοποιούσε το Google Translate. Βασίζονταν σε στατιστικά μοντέλα. Ανάλυζαν μεγάλες παράλληλες συλλογές, συλλογές συναρμολογημένων μεταφράσεων προτάσεων, για να καθορίσουν τις πιο πιθανές μεταφράσεις. Πρώτα το σύστημα μετέφρασε το κείμενο στα αγγλικά ως ενδιάμεσο βήμα πριν το μετατρέψει στην προορισμιακή γλώσσα, και χρειαζόταν να διασταυρώσει φράσεις με εκτενείς δεδομένα από μεταγραφές του ΟΗΕ και του Ευρωπαϊκού Κοινοβουλίου. Διαφέρει από τις παραδοσιακές προσεγγίσεις που απαιτούσαν τη συλλογή εξαντλητικών γραμματικών κανόνων. Και η στατιστική προσέγγισή του επέτρεψε να προσαρμοστεί και να μάθει από τα δεδομένα χωρίς να βασίζεται σε στατικά γλωσσικά πλαίσια που θα μπορούσαν γρήγορα να γίνουν πλήρως περιττά.

Αλλά υπάρχουν κάποιοι μειονεκτήματα σε αυτήν την προσέγγιση, επίσης. Πρώτα το Google Translate χρησιμοποίησε μετάφραση βασισμένη σε φράσεις όπου το σύστημα διάλυσε τις προτάσεις σε φράσεις και τις μετέφρασε ξεχωριστά. Αυτό ήταν μια βελτίωση σε σχέση με τη μετάφραση λέξη-προς-λέξη αλλά vẫn είχε περιορισμούς όπως ακατάλληλη φράση και σφάλματα контекστο. Απλά δεν κατανόησε πλήρως τις νιουάνς όπως εμείς. Επίσης, η SMT βασίζεται πολύ στη διαθεσιμότητα παραλληλών συλλογών, και οποιαδήποτε σχετικά σπάνια γλώσσα θα ήταν δύσκολο να μεταφραστεί επειδή δεν έχει đủ παραλληλά δεδομένα.

Νευρωνική Μηχανική Μετάφραση (NMT)

Το 2016, η Google μετέβαλε στο Neural Machine Translation. Χρησιμοποιεί μοντέλα βαθιάς μάθησης για να μεταφράσει ολόκληρες προτάσεις ως ένα σύνολο και ταυτόχρονα, δίνοντας πιο ροϊκές και ακριβείς μεταφράσεις. Η NMT λειτουργεί παρόμοια με το να έχεις ένα εξελιγμένο πολυγλωσσικό βοηθό μέσα στον υπολογιστή σου. Χρησιμοποιώντας αρχιτεκτονική ακολουθίας-προς-ακολουθία (seq2seq) η NMT επεξεργάζεται μια πρόταση σε μια γλώσσα για να κατανοήσει την έννοια της. Στη συνέχεια – παράγει μια αντίστοιχη πρόταση σε άλλη γλώσσα. Αυτή η μέθοδος χρησιμοποιεί τεράστια σύνολα δεδομένων για την εκπαίδευση, σε αντίθεση με τη Στατιστική Μηχανική Μετάφραση που βασίζεται σε στατιστικά μοντέλα που αναλύουν μεγάλες παράλληλες συλλογές για να καθορίσουν τις πιο πιθανές μεταφράσεις. Σε αντίθεση με την SMT, η οποία επικεντρώθηκε στη μετάφραση βασισμένη σε φράσεις και χρειαζόταν πολύ χειρονακτική προσπάθεια για την ανάπτυξη και τη συντήρηση γλωσσικών κανόνων και λεξικών, η NMT έχει τη δύναμη να επεξεργάζεται ολόκληρες ακολουθίες λέξεων, επιτρέποντάς της να κατανοήσει πιο αποτελεσματικά το контέκστ της γλώσσας. Έτσι, έχει βελτιώσει την ποιότητα μετάφρασης σε διάφορες γλωσσικές ζευγάρια, συχνά φτάνοντας σε επίπεδα ροής και ακρίβειας συγκρίσιμα με τους ανθρώπινους μεταφραστές.

Στην πραγματικότητα, τα παραδοσιακά μοντέλα NMT χρησιμοποιούσαν Αναδρομικά Νευρωνικά Δίκτυα – RNNs – ως την πυρήνα αρχιτεκτονική,既然 ότι είναι σχεδιασμένα για την επεξεργασία ακολουθιακών δεδομένων διατηρώντας einen κρυφό κατάσταση που εξελίσσεται καθώς κάθε νέο είσοδο (λέξη ή token) επεξεργάζεται. Αυτή η κρυφή κατάσταση λειτουργεί ως ένα είδος μνήμης που καταγράφει το контέκστ των προηγούμενων εισόδων, επιτρέποντας στο μοντέλο να μάθει εξαρτήσεις με την πάροδο του χρόνου. Αλλά, τα RNNs ήταν υπολογιστικά ακριβά και δύσκολα να παραλληλοποιηθούν αποτελεσματικά, το οποίο περιόριζε το πόσο ανέβαινο ήταν.

Εισαγωγή των Transformers

Το 2017, η Google Research δημοσίευσε το έγγραφο με τίτλο “Attention is All You Need,” εισάγοντας τους transformers στον κόσμο και σηματοδοτώντας μια σημαντική στροφή μακριά από τα RNNs στην αρχιτεκτονική των νευρωνικών δικτύων.

Οι transformers βασίζονται μόνο στο μηχανισμό προσοχής, – αυτοπροσοχής, που επιτρέπει στα μοντέλα μηχανικής μετάφρασης να εστιάσουν επιλεκτικά στα πιο κρίσιμα μέρη των εισοδικών ακολουθιών. Σε αντίθεση με τα RNNs, τα οποία επεξεργάζονται λέξεις σε μια ακολουθία μέσα στις προτάσεις, η αυτοπροσοχή αξιολογεί κάθε token σε ολόκληρο το κείμενο, καθορίζοντας ποιες άλλες είναι κρίσιμες για την κατανόηση του контέκστ της. Αυτή η ταυτόχρονη υπολογιστική όλων των λέξεων επιτρέπει στους transformers να κατανοήσουν αποτελεσματικά τόσο τις σύντομες όσο και τις μακροπρόθεσμες εξαρτήσεις χωρίς να βασίζονται σε αναδρομικές συνδέσεις ή φίλτρα σύγκλισης.

Έτσι, με την εξάλειψη της αναδρομικότητας, οι transformers προσφέρουν beberapa βασικά οφέλη:

• Παραλληλοποίηση: Οι μηχανισμοί προσοχής μπορούν να υπολογιστούν παράλληλα σε διαφορετικά τμήματα της ακολουθίας, το οποίο επιταχύνει την εκπαίδευση σε σύγχρονο υλικό όπως τα GPU.
• Αποτελεσματικότητα Εκπαίδευσης: Απαιτούν επίσης σημαντικά λιγότερο χρόνο εκπαίδευσης σε σύγκριση με τα παραδοσιακά μοντέλα RNN- ή CNN-βασισμένα, παρέχοντας καλύτερη απόδοση σε εργασίες όπως η μηχανική μετάφραση.

Zero-Shot Μηχανική Μετάφραση και PaLM 2

Το 2022, η Google κυκλοφόρησε υποστήριξη για 24 νέες γλώσσες χρησιμοποιώντας Zero-Shot Μηχανική Μετάφραση, σηματοδοτώντας einen σημαντικό ορό σε τεχνολογία μηχανικής μετάφρασης. Ανακοίνωσαν επίσης την Πρωτοβουλία 1.000 Γλωσσών, με στόχο την υποστήριξη των 1.000 πιο ομιλούμενων γλωσσών του κόσμου. Τώρα έχουν κυκλοφορήσει 110 ακόμη γλώσσες. Η Zero-Shot μηχανική μετάφραση επιτρέπει τη μετάφραση χωρίς παραλληλά δεδομένα μεταξύ πηγαίας και προορισμιακής γλώσσας, εξαλείφοντας την ανάγκη για δημιουργία δεδομένων εκπαίδευσης για κάθε γλωσσικό ζεύγος — μια διαδικασία που προηγουμένως ήταν δαπανηρή και χρονοβόρα, και για ορισμένα ζεύγη γλωσσών επίσης αδύνατη.

Αυτή η πρόοδος έγινε δυνατή λόγω της αρχιτεκτονικής και των μηχανισμών αυτοπροσοχής των transformers. Η ικανότητα του μοντέλου transformer να μάθει контεκστοτικές σχέσεις μεταξύ γλωσσών, σε συνδυασμό με την κλιμακωσιμότητά του να χειρίζεται πολλές γλώσσες ταυτόχρονα, επέτρεψε την ανάπτυξη πιο αποτελεσματικών και αποτελεσματικών πολυγλωσσικών συστημάτων μετάφρασης. Ωστόσο, τα μοντέλα Zero-Shot γενικά εμφανίζουν χαμηλότερη ποιότητα από αυτά που εκπαιδεύονται σε παραλληλά δεδομένα.

Στη συνέχεια, βασισμένοι στην πρόοδο των transformers, η Google εισήγαγε τον PaLM 2 το 2023, ο οποίος άνοιξε τον δρόμο για την κυκλοφορία 110 νέων γλωσσών το 2024. Ο PaLM 2 βελτίωσε σημαντικά την ικανότητα του Translate να μάθει στενά συγγενείς γλώσσες όπως τα Awadhi και Marwadi (σχετικά με τα Χίντι) και τα γαλλικά κρεολικά όπως τα Seychellois και Mauritian Creole. Οι βελτιώσεις στο PaLM 2, όπως η βέλτιστη κλιμάκωση, τα βελτιωμένα σύνολα δεδομένων και ο εξευγενισμένος σχεδιασμός — επέτρεψαν πιο αποτελεσματική μάθηση γλωσσών και υποστήριξαν τις συνεχείς προσπάθειες της Google για να κάνει την υποστήριξη γλωσσών καλύτερη και μεγαλύτερη και να διατηρήσει τις γλωσσικές νιουάνς.

Μπορούμε να ισχυριστούμε ότι το πρόβλημα της μηχανικής μετάφρασης έχει λυθεί πλήρως με τους transformers;

Η εξέλιξη που συζητάμε έλαβε χώρα σε 18 χρόνια από την υιοθέτηση της SMT από την Google μέχρι την πρόσφατη κυκλοφορία 110 νέων γλωσσών χρησιμοποιώντας Zero-Shot Μηχανική Μετάφραση. Αυτή η εξέλιξη αντιπροσωπεύει einen τεράστιο άλμα που μπορεί να μειώσει την ανάγκη για εκτενείς συλλογές παραλληλών δεδομένων — μια ιστορικά και πολύ χρονοβόρα εργασία που έχει αναλάβει η βιομηχανία για πάνω από δύο δεκαετίες. Αλλά, να ισχυριστούμε ότι η μηχανική μετάφραση έχει πλήρως λυθεί θα ήταν πρόωρο, λαμβάνοντας υπόψη τόσο τεχνικές όσο και ηθικές考量.

Τα τρέχοντα μοντέλα εξακολουθούν να πλήττονται από το контέκστ και τη συνάφεια και κάνουν λεπτές λάθη που μπορούν να αλλάξουν την έννοια που προόριζε κανείς για ένα κείμενο. Αυτά τα προβλήματα είναι πολύ παρόντα σε μεγαλύτερες, πιο σύνθετες προτάσεις όπου η διατήρηση του λογικού ροής και η κατανόηση των νιουάνς είναι απαραίτητες για τα αποτελέσματα. Επίσης, οι πολιτιστικές νιουάνς και οι ιδιωματικές εκφράσεις συχνά χάνονται ή χάνουν την έννοια, προκαλώντας μεταφράσεις που μπορεί να είναι γραμματικά σωστές αλλά δεν έχουν την προοριζόμενη επίδραση ή δεν ακούγονται φυσικά.

Δεδομένα για Προ-εκπαίδευση: Ο PaLM 2 και παρόμοια μοντέλα προ-εκπαιδεύονται σε ένα διαφορετικό πολυγλωσσικό κείμενο, ξεπερνώντας τον προκατόχο του PaLM. Αυτή η βελτίωση εξοπλίζει τον PaLM 2 να excels σε πολυγλωσσικές εργασίες, υπογραμμίζοντας τη συνεχιζόμενη σημασία των παραδοσιακών συνόλων δεδομένων για τη βελτίωση της ποιότητας μετάφρασης.

Ειδικές ή Σπάνιες Γλώσσες: Σε εξειδικευμένα πεδία όπως τα νομικά, ιατρικά ή τεχνικά πεδία, τα παραλληλά δεδομένα διασφαλίζουν ότι τα μοντέλα συναντώνται με συγκεκριμένες ορολογίες και γλωσσικές νιουάνς. Τα προηγμένα μοντέλα μπορεί να πλήττονται από ειδικές ορολογίες ή εξελισσόμενες γλωσσικές τάσεις, θέτοντας προκλήσεις για τη Zero-Shot Μηχανική Μετάφραση. Επίσης, οι Σπάνιες Γλώσσες εξακολουθούν να μεταφράζονται κακώς, επειδή δεν έχουν τα δεδομένα που χρειάζονται για να εκπαιδεύσουν ακριβή μοντέλα

Βελτιστοποίηση: Τα παραλληλά δεδομένα παραμένουν απαραίτητα για την αξιολόγηση και τη βελτιστοποίηση της απόδοσης των μοντέλων μετάφρασης, ιδιαίτερα για γλώσσες που λείπουν επαρκών παραλληλών δεδομένων. Οι αυτοματοποιημένοι δείκτες όπως BLEU, BLERT και METEOR έχουν περιορισμούς στην αξιολόγηση της νιουάνς στην ποιότητα μετάφρασης πέρα από τη γραμματική. Αλλά, εμείς οι άνθρωποι εμποδίζουμε από τις προκαταλήψεις μας. Επίσης, δεν υπάρχουν πολλοί καταρτισμένοι αξιολογητές εκεί έξω, και το να βρεις τον ιδανικό δίγλωσσο αξιολογητή για κάθε ζεύγος γλωσσών για να πιάσεις τις λεπτές λάθη.

Εντατικότητα Πόρων: Η πόρων-εντατική φύση της εκπαίδευσης και της ανάπτυξης των LLMs παραμένει ένα εμπόδιο, περιορίζοντας τη διαθεσιμότητα για ορισμένες εφαρμογές ή οργανισμούς.

Πολιτιστική διατήρηση. Η ηθική διάσταση είναι βαθιά. Όπως περιγράφει ο Isaac Caswell, ένας ερευνητής του Google Translate: “Μπορείς να το σκεφτείς ως einen πολυγλωσσικό που γνωρίζει πολλές γλώσσες. Αλλά τότε, επιπλέον, βλέπει κείμενο σε 1.000 ακόμη γλώσσες που δεν έχει μεταφραστεί. Μπορείς να φανταστείς αν είσαι ένας μεγάλος πολυγλωσσικός και τότε ξεκινάς να διαβάζεις μυθιστορήματα σε άλλη γλώσσα, μπορείς να αρχίσεις να συνθέτεις τι θα μπορούσε να σημαίνει με βάση τη γνώση σου για τη γλώσσα γενικά.” Ωστόσο, είναι κρίσιμο να ληφθεί υπόψη η μακροπρόθεσμη επίδραση στις μικρές γλώσσες που λείπουν παραλληλών δεδομένων, потенτικά επηρεάζοντας τη πολιτιστική διατήρηση όταν η εξάρτηση μετατοπίζεται μακριά από τις γλώσσες themselves.