Πώς η επεξεργασία γλώσσας ενισχύεται μέσω του ανοιχτού κώδικα του Google, BERT

Οι αναπαραστάσεις Bidirectional Encoder από Transformers, γνωστές και ως BERT, είναι ένα μοντέλο εκπαίδευσης που έχει βελτιώσει δραματικά την αποτελεσματικότητα και την απόδοση των μοντέλων NLP. Τώρα που η Google (GOOGL ) έχει κάνει τα μοντέλα BERT ανοιχτού κώδικα, επιτρέπει τη βελτίωση των μοντέλων NLP σε όλους τους κλάδους. Στο άρθρο, εξετάζουμε πώς το BERT καθιστά τα NLP ένα από τα πιο ισχυρά και χρήσιμα λύσεις AI στον κόσμο σήμερα.

Εφαρμογή μοντέλων BERT στην αναζήτηση

Ο μηχανισμός αναζήτησης της Google είναι παγκοσμίως γνωστός για την ικανότητά του να παρουσιάζει σχετικό περιεχόμενο και έχουν κάνει αυτό το πρόγραμμα επεξεργασίας φυσικής γλώσσας ανοιχτού κώδικα για τον κόσμο.

Η ικανότητα ενός συστήματος να διαβάζει και να ερμηνεύει φυσική γλώσσα γίνεται ολοένα και πιο ζωτική, καθώς ο κόσμος παράγει εκθετικά νέα δεδομένα. Η βιβλιοθήκη της Google με τις σημασίες των λέξεων, τις φράσεις και την γενική ικανότητά της να παρουσιάζει σχετικό περιεχόμενο, είναι ανοιχτού κώδικα. Πέρα από την επεξεργασία φυσικής γλώσσας, το μοντέλο BERT έχει την ικανότητα να εξάγει πληροφορίες από μεγάλες ποσότητες μη δομημένων δεδομένων και μπορεί να εφαρμοστεί για τη δημιουργία διεπαφών αναζήτησης για οποιαδήποτε βιβλιοθήκη. Σε αυτό το άρθρο, θα δούμε πώς αυτή η τεχνολογία μπορεί να εφαρμοστεί στον ενεργειακό τομέα.

Το BERT (Bidirectional Encoder Representations από Transformers) είναι μια προσεγγιστική εκπαίδευσης που προτάθηκε από την ομάδα Google AI Language, αναπτύχθηκε για να υπερβεί ένα κοινό πρόβλημα των πρώτων μοντέλων NLP: την έλλειψη επαρκούς εκπαίδευσης δεδομένων.

Ας εξηγήσουμε, χωρίς να đi vào λεπτομέρειες:

Εκπαίδευση μοντέλων

Οι εργασίες NLP χαμηλού επιπέδου (π.χ. αναγνώριση ονομάτων, διαίρεση θεμάτων) και υψηλού επιπέδου (π.χ. ανάλυση συναισθήματος, αναγνώριση ομιλίας) απαιτούν δεδομένα εκπαίδευσης που έχουν αναλυθεί για κάθε εργασία. Ενώ είναι δύσκολο να προμηθευτείτε και ακριβό να συλλέξετε, τα δεδομένα εκπαίδευσης με ετικέτες παίζουν κρίσιμο ρόλο στην απόδοση και των μοντέλων浅 και των βαθιών νευρωνικών δικτύων. Τα αποτελέσματα της εκπαίδευσης θα μπορούσαν να επιτευχθούν μόνο όταν ήταν διαθέσιμα εκατομμύρια ή ακόμη και δισεκατομμύρια δεδομένα εκπαίδευσης με ετικέτες. Και αυτό ήταν ένα πρόβλημα που έκανε πολλές εργασίες NLP μη προσιτές. Μέχρι που αναπτύχθηκε το BERT.

Το BERT είναι ένα γενικής χρήσης μοντέλο αναπαράστασης γλώσσας, εκπαιδευμένο σε μεγάλες συλλογές μη αναλυμένων κειμένων. Όταν το μοντέλο εκτίθεται σε μεγάλες ποσότητες κειμένου, μάθει να κατανοήσει το контέκστ και τις σχέσεις μεταξύ των λέξεων σε μια πρόταση. Σε αντίθεση με τα προηγούμενα μοντέλα μάθησης που αντιπροσώπευαν τη σημασία μόνο σε επίπεδο λέξης (τράπεζα θα σήμαινε το ίδιο σε «λογαριασμός τράπεζας» και «χλόη τράπεζα»), το BERT πραγματικά φροντίζει για το контέκστ. Δηλαδή, τι προηγείται και τι ακολουθεί τη λέξη σε μια πρόταση. Ο контέκστ αποδείχθηκε μια σημαντική ελλειπή ικανότητα των μοντέλων NLP, με άμεσο αντίκτυπο στην απόδοση του μοντέλου. Η σχεδίαση ενός μοντέλου που είναι συνείδητο του контέκστ, όπως το BERT, είναι γνωστή από πολλούς ως η αρχή μιας νέας εποχής στην NLP.

Η εκπαίδευση του BERT σε μεγάλες ποσότητες κειμένου είναι μια τεχνική γνωστή ως προ-εκπαίδευση. Αυτό σημαίνει ότι τα βάρη του μοντέλου điều chỉnhονται για γενικές εργασίες κατανόησης κειμένου και ότι πιο εξειδικευμένα μοντέλα μπορούν να χτιστούν πάνω σε αυτό. Οι συγγραφείς έχουν αποδείξει την υπεροχή τέτοιου είδους τεχνικής όταν χρησιμοποίησαν μοντέλα BERT σε 11 εργασίες NLP και έφτασαν σε αποτελέσματα state-of-the-art.

Προ-εκπαιδευμένα μοντέλα

Το καλύτερο είναι: τα προ-εκπαιδευμένα μοντέλα BERT είναι ανοιχτού κώδικα και διαθέσιμα δημόσια. Αυτό σημαίνει ότι οποιοσδήποτε μπορεί να αντιμετωπίσει εργασίες NLP και να χτίσει τα δικά του μοντέλα πάνω στο BERT. Τίποτα δεν μπορεί να το ξεπεράσει, σωστά; Όχι, περιμένετε: αυτό επίσης σημαίνει ότι τα μοντέλα NLP μπορούν τώρα να εκπαιδευτούν (περιορίζοντας) σε μικρότερα σύνολα δεδομένων, χωρίς την ανάγκη εκπαίδευσης από την αρχή. Η αρχή μιας νέας εποχής, πράγματι.

Αυτά τα προ-εκπαιδευμένα μοντέλα βοηθούν τις εταιρείες να μειώσουν το κόστος και τον χρόνο για την ανάπτυξη μοντέλων NLP για χρήση εσωτερικά ή εξωτερικά. Η αποτελεσματικότητα των καλά εκπαιδευμένων μοντέλων NLP υπογραμμίζεται από τον Michael Alexis, CEO της εταιρείας teambuilding.com.

“Η μεγαλύτερη ωφέλεια της NLP είναι η μετρήσιμη και συνεπής ανίχνευση και επεξεργασία πληροφοριών.” – Michael Alexis, CEO της teambuilding.com

Ο Michael αναφέρει πώς η NLP μπορεί να εφαρμοστεί σε προγράμματα καλλιέργειας πολιτισμού, όπως icebreakers ή ερωτηματολόγια. Μια εταιρεία μπορεί να κερδίσει πολύτιμες πληροφορίες σχετικά με το πώς ο πολιτισμός της εταιρείας εξελίσσεται, αναλύοντας τις απαντήσεις των υπαλλήλων. Αυτό επιτυγχάνεται όχι μόνο μέσω της ανάλυσης κειμένου, αλλά και μέσω της ανάλυσης της σημειογραφίας του κειμένου. Ουσιαστικά, το μοντέλο «διαβάζει μεταξύ των γραμμών» για να βγάλει συμπεράσματα σχετικά με τα συναισθήματα, την αίσθηση και την γενική προοπτική. Το BERT μπορεί να βοηθήσει σε τέτοιες περιπτώσεις, προ-εκπαιδεύοντας μοντέλα με μια βάση δεικτών που μπορεί να χρησιμοποιηθεί για να ανακαλύψει τις νюανς της γλώσσας και να παρέχει πιο ακριβείς πληροφορίες.

Βελτίωση ερωτημάτων

Η ικανότητα να μοντελοποιήσει το контέκστ έχει μετατρέψει το BERT σε ήρωα της NLP και έχει επανακαθορίσει τον μηχανισμό αναζήτησης της Google. Παρακάτω είναι μια αναφορά από την ομάδα προϊόντων αναζήτησης της Google και τις εμπειρίες τους κατά τη διάρκεια της συντονισμού του BERT για να κατανοήσει την πρόθεση πίσω από μια αναζήτηση.

“Εδώ είναι einige παραδείγματα που δείχνουν την ικανότητα του BERT να κατανοήσει την πρόθεση πίσω από μια αναζήτηση. Εδώ είναι μια αναζήτηση για «2019 brazil traveler to USA needs a visa». Η λέξη «to» και η σχέση της με τις άλλες λέξεις στην αναζήτηση είναι ιδιαίτερα σημαντικές για την κατανόηση της σημασίας. Είναι για einen Βραζιλιάνο που ταξιδεύει στις ΗΠΑ και όχι το αντίστροφο. Προηγουμένως, οι αλγόριθμοί μας δεν θα κατανοούσαν την σημασία αυτής της σύνδεσης και θα επέστρεφαν αποτελέσματα για Αμερικανούς πολίτες που ταξιδεύουν στη Βραζιλία. Με το BERT, η αναζήτηση μπορεί να κατανοήσει αυτή τη νюανς και να γνωρίζει ότι η πολύ κοινή λέξη «to» έχει μεγάλη σημασία εδώ, και μπορούμε να παρέχουμε ένα πολύ πιο σχετικό αποτέλεσμα για αυτή την αναζήτηση.”– Κατανόηση αναζητήσεων καλύτερα από ποτέ, από τον Pandu Nayak, Fellow και Αντιπρόεδρο της Αναζήτησης.

Παράδειγμα αναζήτησης BERT, πριν και μετά. Πηγή blog

Στο τελευταίο μας άρθρο σχετικά με NLP και OCR, έχουμε εικονογραφήσει κάποιες χρήσεις της NLP στον τομέα της ακίνητης περιουσίας. Έχουμε επίσης αναφέρει πώς «τα εργαλεία NLP είναι ιδανικά εργαλεία εξαγωγής πληροφοριών». Ας δούμε τον ενεργειακό τομέα και πώς οι ανατρεπτικές τεχνολογίες NLP όπως το BERT ενεργοποιούν νέες περιπτώσεις χρήσης.

Τα μοντέλα NLP μπορούν να εξάγουν πληροφορίες από μεγάλες ποσότητες μη δομημένων δεδομένων

Ένας τρόπος με τον οποίο τα μοντέλα NLP μπορούν να χρησιμοποιηθούν είναι για την εξαγωγή κρίσιμων πληροφοριών από μη δομημένα δεδομένα κειμένου. Τα email, τα περιοδικά, οι σημειώσεις, τα αρχεία και οι αναφορές είναι όλα παραδείγματα πηγών δεδομένων κειμένου που είναι μέρος των καθημερινών επιχειρηματικών δραστηριοτήτων. Κάποια από αυτά τα έγγραφα μπορεί να αποδειχθούν κρίσιμα στις προσπάθειες της εταιρείας για αύξηση της λειτουργικής αποτελεσματικότητας και μείωση του κόστους.

Όταν στοχεύουμε στην εφαρμογή προληπτικής συντήρησης ανεμογεννητριών, αναφορές αποτυχίας μπορεί να περιέχουν κρίσιμες πληροφορίες σχετικά με τη συμπεριφορά των διαφόρων компонентів. Αλλά既然 ότι οι διαφορετικοί κατασκευαστές ανεμογεννητριών έχουν διαφορετικές προδιαγραφές συλλογής δεδομένων (δηλαδή, οι αναφορές συντήρησης έρχονται σε διαφορετικές μορφές και ακόμη και γλώσσες), η χειροκίνητη αναγνώριση των σχετικών στοιχείων δεδομένων θα μπορούσε να γίνει γρήγορα ακριβή για τον ιδιοκτήτη του εργοστασίου. Τα εργαλεία NLP μπορούν να εξάγουν σχετικές έννοιες, ιδιότητες και γεγονότα από μη δομημένο περιεχόμενο. Η ανάλυση κειμένου μπορεί τότε να χρησιμοποιηθεί για να βρει συσχετίσεις και μοτίβα σε διαφορετικές πηγές δεδομένων. Αυτό δίνει στους ιδιοκτήτες του εργοστασίου την ευκαιρία να εφαρμόσουν προληπτική συντήρηση με βάση ποσοτικές μετρήσεις που αναγνωρίζονται στις αναφορές αποτυχίας τους.

Τα μοντέλα NLP μπορούν να παρέχουν φυσικές διεπαφές αναζήτησης

Παράλληλα, οι γεωεπιστήμονες που εργάζονται για εταιρείες πετρελαίου και φυσικού αερίου συνήθως πρέπει να αναθεωρήσουν πολλά έγγραφα σχετικά με προηγούμενες εργασίες διάτρηξης, αρχεία πηγαδιών και σεισμικά δεδομένα.既然 ότι αυτά τα έγγραφα έρχονται επίσης σε διαφορετικές μορφές και είναι συνήθως διασκορπισμένα σε πολλές τοποθεσίες (και φυσικές και ψηφιακές), χάνουν πολύ χρόνο ψάχνοντας τις πληροφορίες στις λάθος τοποθεσίες. Μια βιώσιμη λύση σε τέτοιου είδους περίπτωση θα ήταν μια διεπαφή αναζήτησης NLP, η οποία θα επέτρεπε στους χρήστες να αναζητούν δεδομένα σε φυσική γλώσσα. Τότε, ένα μοντέλο NLP θα μπορούσε να συσχετίσει δεδομένα σε εκατοντάδες έγγραφα και να επιστρέψει ένα σύνολο απαντήσεων στην ερώτηση. Οι εργαζόμενοι μπορούν τότε να επικυρώσουν την έξοδο με βάση τη δική τους εμπειρία και η ανάδραση θα βελτιώσει περαιτέρω το μοντέλο.

Ωστόσο, υπάρχουν επίσης τεχνικές σκέψεις για την ανάπτυξη τέτοιων μοντέλων. Ένας από τους παράγοντες θα ήταν ότι η βιομηχανική ιδιωματική γλώσσα μπορεί να συγχύσει τα παραδοσιακά μοντέλα μάθησης που δεν έχουν την κατάλληλη σεμαντική κατανόηση. Δεύτερον, η απόδοση των μοντέλων μπορεί να επηρεαστεί από το μέγεθος του συνόλου δεδομένων εκπαίδευσης. Αυτό είναι όταν τα προ-εκπαιδευμένα μοντέλα όπως το BERT μπορούν να αποδείξουν ωφέλιμα. Οι περιεκτικές αναπαραστάσεις μπορούν να μοντελοποιήσουν την κατάλληλη σημασία της λέξης και να αφαιρέσουν jede σύγχυση που προκαλείται από βιομηχανική ιδιωματική γλώσσα. Χρησιμοποιώντας προ-εκπαιδευμένα μοντέλα, είναι δυνατό να εκπαιδεύσετε το δίκτυο σε μικρότερα σύνολα δεδομένων. Αυτό σώζει χρόνο, ενέργεια και πόρους που θα είχαν άλλως απαιτηθεί για την εκπαίδευση από την αρχή.

Τι για τη δική σας επιχείρηση;

Μπορείτε να σκεφτείτε κάποιες εργασίες NLP που θα μπορούσαν να σας βοηθήσουν να μειώσετε το κόστος και να αυξήσετε την λειτουργική αποτελεσματικότητα;

Η ομάδα επιστημών δεδομένων της Blue Orange Digital είναι ευχαριστημένη να ρυθμίσει το BERT για το όφελος σας επίσης!