Πώς ενισχύεται η επεξεργασία γλώσσας μέσω του μοντέλου BERT ανοιχτού κώδικα της Google

Αναπαραστάσεις αμφίδρομου κωδικοποιητή από μετασχηματιστές, αλλιώς γνωστές ως BERT. είναι ένα μοντέλο εκπαίδευσης που έχει βελτιώσει δραστικά την αποτελεσματικότητα και την επίδραση των μοντέλων NLP. Τώρα που η Google έχει κάνει τα μοντέλα BERT ανοιχτού κώδικα, επιτρέπει τη βελτίωση των μοντέλων NLP σε όλους τους κλάδους. Στο άρθρο, ρίχνουμε μια ματιά στο πώς η BERT μετατρέπει το NLP σε μια από τις πιο ισχυρές και χρήσιμες λύσεις τεχνητής νοημοσύνης στον σημερινό κόσμο. 

Εφαρμογή μοντέλων BERT στην Αναζήτηση

Η μηχανή αναζήτησης της Google είναι παγκοσμίως γνωστή για την ικανότητά της να παρουσιάζει σχετικό περιεχόμενο και έχει κάνει αυτό το πρόγραμμα επεξεργασίας φυσικής γλώσσας ανοιχτό κώδικα στον κόσμο.

Η ικανότητα ενός συστήματος να διαβάζει και να ερμηνεύει τη φυσική γλώσσα γίνεται όλο και πιο ζωτική καθώς ο κόσμος παράγει εκθετικά νέα δεδομένα. Η βιβλιοθήκη της Google με σημασίες λέξεων, φράσεις και γενική ικανότητα παρουσίασης σχετικού περιεχομένου, είναι ΑΝΟΙΧΤΗ ΠΗΓΗ. Πέρα από την επεξεργασία φυσικής γλώσσας, το μοντέλο BERT τους έχει τη δυνατότητα να εξάγει πληροφορίες από μεγάλες ποσότητες μη δομημένων δεδομένων και μπορεί να εφαρμοστεί για τη δημιουργία διεπαφών αναζήτησης για οποιαδήποτε βιβλιοθήκη. Σε αυτό το άρθρο, θα δούμε πώς αυτή η τεχνολογία μπορεί να εφαρμοστεί στον ενεργειακό τομέα. 

Το BERT (Amidirectional Encoder Representations from Transformers) είναι μια προσέγγιση προεκπαίδευσης που προτείνεται από την Γλώσσα Google AI ομάδα, που αναπτύχθηκε για να ξεπεράσει ένα κοινό πρόβλημα των πρώιμων μοντέλων NLP: την έλλειψη επαρκών δεδομένων εκπαίδευσης.

Ας το αναλύσουμε, χωρίς να μπούμε σε πολλές λεπτομέρειες:

Εκπαιδευτικά μοντέλα

Οι εργασίες NLP χαμηλού επιπέδου (π.χ. αναγνώριση ονομαστικής οντότητας, τμηματοποίηση θεμάτων) και υψηλού επιπέδου (π.χ. ανάλυση συναισθήματος, αναγνώριση ομιλίας) απαιτούν σχολιασμένα σύνολα δεδομένων για συγκεκριμένες εργασίες. Αν και είναι δύσκολο να τα βρει κανείς και να συναρμολογηθεί ακριβά, τα ονομασμένα σύνολα δεδομένων διαδραματίζουν κρίσιμο ρόλο στην απόδοση τόσο των ρηχών όσο και των βαθιών μοντέλων νευρωνικών δικτύων. Αποτελέσματα συμπερασμάτων υψηλής ποιότητας θα μπορούσαν να επιτευχθούν μόνο όταν υπήρχαν διαθέσιμα εκατομμύρια ή και δισεκατομμύρια σχολιασμένα παραδείγματα εκπαίδευσης. Και αυτό ήταν ένα πρόβλημα που έκανε πολλές εργασίες NLP απροσπέλαστες. Αυτό μέχρι που αναπτύχθηκε το BERT.

Το BERT είναι ένα μοντέλο αναπαράστασης γλώσσας γενικής χρήσης, εκπαιδευμένο σε μεγάλα σώματα χωρίς σχόλια. Όταν το μοντέλο εκτίθεται σε μεγάλες ποσότητες περιεχομένου κειμένου, αυτό μαθαίνει να κατανοήσουν το πλαίσιο και τις σχέσεις μεταξύ των λέξεων σε μια πρόταση. Σε αντίθεση με προηγούμενα μοντέλα μάθησης που αντιπροσώπευαν νόημα μόνο σε επίπεδο λέξης (τράπεζα θα σήμαινε το ίδιο σε «τραπεζικός λογαριασμός» και «χόρτο τράπεζα»), η BERT ενδιαφέρεται πραγματικά για το πλαίσιο. Δηλαδή τι μπαίνει πριν και μετά τη λέξη σε μια πρόταση. Το πλαίσιο αποδείχθηκε ότι ήταν μια σημαντική ικανότητα που λείπει από τα μοντέλα NLP, με άμεσο αντίκτυπο στην απόδοση του μοντέλου. Ο σχεδιασμός ενός μοντέλου με επίγνωση του περιβάλλοντος όπως το BERT είναι γνωστό από πολλούς ως η αρχή μιας νέας εποχής στο NLP.

Η εκπαίδευση του BERT σε μεγάλες ποσότητες περιεχομένου κειμένου είναι μια τεχνική γνωστή ως προ-κατάρτιση. Αυτό σημαίνει ότι τα βάρη του μοντέλου προσαρμόζονται για εργασίες γενικής κατανόησης κειμένου και ότι μπορούν να δημιουργηθούν περισσότερα λεπτομερή μοντέλα πάνω από αυτό. Οι συγγραφείς απέδειξαν την ανωτερότητα μιας τέτοιας τεχνικής όταν χρησιμοποίησαν μοντέλα που βασίζονται στο BERT σε 11 εργασίες NLP και πέτυχαν αποτελέσματα αιχμής.

Προ-εκπαιδευμένα μοντέλα

Το καλύτερο είναι: τα προεκπαιδευμένα μοντέλα BERT είναι ανοιχτού κώδικα και διαθέσιμα στο κοινό. Αυτό σημαίνει ότι ο καθένας μπορεί να αντιμετωπίσει εργασίες NLP και να δημιουργήσει τα μοντέλα του πάνω από το BERT. Τίποτα δεν μπορεί να το ξεπεράσει, σωστά; Ω, περιμένετε: αυτό σημαίνει επίσης ότι τα μοντέλα NLP μπορούν πλέον να εκπαιδευτούν (βελτιστοποιηθούν) σε μικρότερα σύνολα δεδομένων, χωρίς να απαιτείται εκπαίδευση από την αρχή. Η αρχή μιας νέας εποχής, όντως.

Αυτά τα προεκπαιδευμένα μοντέλα βοηθούν τις εταιρείες να μειώσουν το κόστος και τον χρόνο για την ανάπτυξη μοντέλων NLP που θα χρησιμοποιηθούν εσωτερικά ή εξωτερικά. Η αποτελεσματικότητα των καλά εκπαιδευμένων μοντέλων NLP τονίζεται από τον Michael Alexis, Διευθύνοντα Σύμβουλο της εταιρείας virtual team-culture building, teambuilding.com. 

"Το μεγαλύτερο όφελος του NLP είναι η κλιμακωτή και συνεπής εξαγωγή συμπερασμάτων και επεξεργασία πληροφοριών." – Μιχαήλ Αλέξης Διευθύνων Σύμβουλος της teambuilding.com

Ο Michael δηλώνει πώς το NLP μπορεί να εφαρμοστεί σε προγράμματα προώθησης πολιτισμού, όπως παγοθραυστικά ή έρευνες. Μια εταιρεία μπορεί να αποκτήσει πολύτιμη εικόνα για το πώς λειτουργεί η εταιρική κουλτούρα αναλύοντας τις απαντήσεις των εργαζομένων. Αυτό επιτυγχάνεται όχι μόνο μέσω της απλής ανάλυσης κειμένου αλλά και της ανάλυσης του σχολιασμού του κειμένου. Ουσιαστικά το μοντέλο «διαβάζει μεταξύ των γραμμών» για να αντλήσει συμπεράσματα σχετικά με το συναίσθημα, το συναίσθημα και τη συνολική προοπτική. Το BERT μπορεί να βοηθήσει σε καταστάσεις όπως αυτή, εκπαιδεύοντας μοντέλα με βάση δείκτες που μπορεί να χρησιμοποιήσει για να αποκαλύψει τις αποχρώσεις της γλώσσας και να παρέχει πιο ακριβείς πληροφορίες.  

Βελτίωση ερωτημάτων

Η δυνατότητα μοντελοποίησης του πλαισίου έχει μετατρέψει τον BERT σε ήρωα NLP και έχει φέρει επανάσταση στην ίδια την Αναζήτηση Google. Παρακάτω είναι ένα απόσπασμα από την ομάδα προϊόντων της Αναζήτησης Google και οι εμπειρίες δοκιμών τους, ενώ συντόνιζε το BERT για να κατανοήσει την πρόθεση πίσω από ένα ερώτημα.

«Ακολουθούν μερικά από τα παραδείγματα που καταδεικνύουν την ικανότητα του BERT να κατανοεί την πρόθεση πίσω από την αναζήτησή σας. Ακολουθεί μια αναζήτηση για "Ο ταξιδιώτης της Βραζιλίας για τις ΗΠΑ του 2019 χρειάζεται βίζα". Η λέξη "to" και η σχέση της με τις άλλες λέξεις στο ερώτημα είναι ιδιαίτερα σημαντικές για την κατανόηση του νοήματος. Πρόκειται για έναν Βραζιλιάνο που ταξιδεύει στις ΗΠΑ και όχι το αντίστροφο. Προηγουμένως, οι αλγόριθμοί μας δεν κατανοούσαν τη σημασία αυτής της σύνδεσης και επιστρέφαμε αποτελέσματα σχετικά με πολίτες των ΗΠΑ που ταξίδευαν στη Βραζιλία. Με το BERT, η Αναζήτηση μπορεί να κατανοήσει αυτήν την απόχρωση και να γνωρίζει ότι η πολύ κοινή λέξη "to" έχει πραγματικά μεγάλη σημασία εδώ και μπορούμε να παρέχουμε ένα πολύ πιο σχετικό αποτέλεσμα για αυτό το ερώτημα."
- Κατανοώντας τις αναζητήσεις καλύτερα από ποτέ, από τον Pandu Nayak, Συνεργάτη Google και Αντιπρόεδρο της Αναζήτησης.

Παράδειγμα αναζήτησης BERT, πριν και μετά. Πηγή blog

Στο τελευταίο μας κομμάτι για NLP και OCR, έχουμε παρουσιάσει ορισμένες χρήσεις του NLP στον τομέα των ακινήτων. Έχουμε επίσης αναφέρει πώς «τα εργαλεία NLP είναι ιδανικά εργαλεία εξαγωγής πληροφοριών». Ας δούμε τον ενεργειακό τομέα και ας δούμε πόσο ενοχλητικές τεχνολογίες NLP όπως το BERT επιτρέπουν νέες περιπτώσεις χρήσης εφαρμογών. 

Τα μοντέλα NLP μπορούν να εξάγουν πληροφορίες από μεγάλες ποσότητες μη δομημένων δεδομένων

Ένας τρόπος με τον οποίο μπορούν να χρησιμοποιηθούν τα μοντέλα NLP είναι η εξαγωγή κρίσιμων πληροφοριών από μη δομημένα δεδομένα κειμένου. Τα μηνύματα ηλεκτρονικού ταχυδρομείου, τα ημερολόγια, οι σημειώσεις, τα αρχεία καταγραφής και οι αναφορές είναι όλα παραδείγματα πηγών δεδομένων κειμένου που αποτελούν μέρος των καθημερινών λειτουργιών των επιχειρήσεων. Ορισμένα από αυτά τα έγγραφα μπορεί να αποδειχθούν κρίσιμα στις οργανωτικές προσπάθειες για αύξηση της λειτουργικής αποτελεσματικότητας και μείωση του κόστους. 

Όταν σκοπεύετε να εφαρμόσετε προγνωστική συντήρηση ανεμογεννητριών, αναφορές αποτυχίας μπορεί να περιέχει κρίσιμες πληροφορίες σχετικά με τη συμπεριφορά διαφορετικών εξαρτημάτων. Επειδή όμως διαφορετικοί κατασκευαστές ανεμογεννητριών έχουν διαφορετικά πρότυπα συλλογής δεδομένων (δηλαδή οι αναφορές συντήρησης διατίθενται σε διαφορετικές μορφές και ακόμη και γλώσσες), η μη αυτόματη αναγνώριση σχετικών στοιχείων δεδομένων θα μπορούσε γρήγορα να γίνει ακριβή για τον ιδιοκτήτη της εγκατάστασης. Τα εργαλεία NLP μπορούν να εξάγουν σχετικές έννοιες, χαρακτηριστικά και συμβάντα από μη δομημένο περιεχόμενο. Η ανάλυση κειμένου μπορεί στη συνέχεια να χρησιμοποιηθεί για την εύρεση συσχετίσεων και προτύπων σε διαφορετικές πηγές δεδομένων. Αυτό δίνει στους ιδιοκτήτες εγκαταστάσεων την ευκαιρία να εφαρμόσουν προγνωστική συντήρηση με βάση τα ποσοτικά μέτρα που προσδιορίζονται στις αναφορές αστοχίας τους.

Τα μοντέλα NLP μπορούν να παρέχουν διεπαφές αναζήτησης φυσικής γλώσσας

Ομοίως, οι γεωεπιστήμονες που εργάζονται για εταιρείες πετρελαίου και φυσικού αερίου συνήθως χρειάζεται να επανεξετάσουν πολλά έγγραφα που σχετίζονται με προηγούμενες εργασίες γεώτρησης, καταγραφής φρεατίων και σεισμικά δεδομένα. Δεδομένου ότι τέτοια έγγραφα διατίθενται επίσης σε διαφορετικές μορφές και συνήθως διασκορπίζονται σε διάφορες τοποθεσίες (τόσο φυσικές όσο και ψηφιακές), χάνουν πολύ χρόνο αναζητώντας τις πληροφορίες σε λάθος μέρη. Μια βιώσιμη λύση σε μια τέτοια περίπτωση θα ήταν μια Διεπαφή αναζήτησης με NLP, που θα επέτρεπε στους χρήστες να αναζητήσουν δεδομένα σε φυσική γλώσσα. Στη συνέχεια, ένα μοντέλο NLP θα μπορούσε να συσχετίσει δεδομένα σε εκατοντάδες έγγραφα και να επιστρέψει ένα σύνολο απαντήσεων στο ερώτημα. Οι εργαζόμενοι μπορούν στη συνέχεια να επικυρώσουν το αποτέλεσμα με βάση τις δικές τους ειδικές γνώσεις και η ανατροφοδότηση θα βελτιώσει περαιτέρω το μοντέλο. 

Ωστόσο, υπάρχουν και τεχνικά ζητήματα για την ανάπτυξη τέτοιων μοντέλων. Μια πτυχή θα ήταν ότι η ειδική ορολογία του κλάδου μπορεί να μπερδέψει τα παραδοσιακά μοντέλα μάθησης που δεν έχουν την κατάλληλη σημασιολογική κατανόηση. Δεύτερον, η απόδοση των μοντέλων μπορεί να επηρεαστεί από το μέγεθος του συνόλου δεδομένων εκπαίδευσης. Αυτό συμβαίνει όταν τα προεκπαιδευμένα μοντέλα όπως το BERT μπορούν να αποδειχθούν ωφέλιμα. Οι αναπαραστάσεις με βάση τα συμφραζόμενα μπορούν να μοντελοποιήσουν την κατάλληλη σημασία της λέξης και να αφαιρέσουν κάθε σύγχυση που προκαλείται από όρους που αφορούν συγκεκριμένους κλάδους. Με τη χρήση προεκπαιδευμένων μοντέλων, είναι δυνατή η εκπαίδευση του δικτύου σε μικρότερα σύνολα δεδομένων. Αυτό εξοικονομεί χρόνο, ενέργεια και πόρους που διαφορετικά θα ήταν απαραίτητοι για την εκπαίδευση από την αρχή.

Τι γίνεται με τη δική σας επιχείρηση; 

Μπορείτε να σκεφτείτε κάποιες εργασίες NLP που θα μπορούσαν να σας βοηθήσουν να μειώσετε το κόστος και να αυξήσετε τη λειτουργική αποτελεσματικότητα;

Η Blue Orange Digital Η ομάδα επιστήμης δεδομένων είναι στην ευχάριστη θέση να τροποποιήσει το BERT προς όφελός σας επίσης!