Come l’elaborazione del linguaggio sta migliorando attraverso il modello BERT open source di Google

Le rappresentazioni bidirezionali degli encoder da trasformatori, note anche come BERT, sono un modello di formazione che ha migliorato notevolmente l’efficienza e l’efficacia dei modelli di elaborazione del linguaggio naturale (NLP). Ora che Google (GOOGL ) ha reso i modelli BERT open source, ciò consente di migliorare i modelli NLP in tutti i settori. In questo articolo, esaminiamo come BERT sta trasformando l’NLP in una delle soluzioni di intelligenza artificiale più potenti e utili nel mondo di oggi.

Applicazione dei modelli BERT alla ricerca

Il motore di ricerca di Google è famoso per la sua capacità di presentare contenuti rilevanti e ha reso questo programma di elaborazione del linguaggio naturale open source per il mondo.

La capacità di un sistema di leggere e interpretare il linguaggio naturale sta diventando sempre più vitale poiché il mondo produce nuovi dati in modo esponenziale. La libreria di significati di parole, frasi e la capacità generale di presentare contenuti rilevanti di Google è open source. Oltre all’elaborazione del linguaggio naturale, il modello BERT ha la capacità di estrarre informazioni da grandi quantità di dati non strutturati e può essere applicato per creare interfacce di ricerca per qualsiasi libreria. In questo articolo, vedremo come questa tecnologia possa essere applicata nel settore energetico.

BERT (Rappresentazioni bidirezionali degli encoder da trasformatori) è un approccio di pre-formazione proposto dal gruppo di linguaggio dell’intelligenza artificiale di Google, sviluppato per superare un problema comune dei primi modelli di NLP: la mancanza di dati di formazione sufficienti.

Vediamo di spiegarlo senza entrare troppo nei dettagli:

Formazione dei modelli

I compiti di NLP di basso livello (ad esempio, riconoscimento di entità nominate, segmentazione di argomenti) e di alto livello (ad esempio, analisi del sentimento, riconoscimento del parlato) richiedono set di dati annotati specifici del compito. Sebbene siano difficili da ottenere e costosi da assemblare, i set di dati etichettati svolgono un ruolo cruciale nelle prestazioni di entrambi i modelli di reti neurali superficiali e profonde. I risultati di inferenza di alta qualità potevano essere raggiunti solo quando erano disponibili milioni o addirittura miliardi di esempi di formazione annotati. E questo era un problema che rendeva molti compiti di NLP inaccessibili. Fino a quando non è stato sviluppato BERT.

BERT è un modello di rappresentazione linguistica generale, addestrato su grandi corpora di testo non annotato. Quando il modello è esposto a grandi quantità di contenuto testuale, impara a comprendere il contesto e le relazioni tra le parole in una frase. A differenza dei modelli di apprendimento precedenti che rappresentavano il significato solo a livello di parola (banca avrebbe lo stesso significato in “conto bancario” e “banca erbosa”), BERT si preoccupa effettivamente del contesto. Ciò significa cosa viene prima e dopo la parola in una frase. Il contesto si è rivelato una capacità mancante importante dei modelli di NLP, con un impatto diretto sulle prestazioni del modello. Progettare un modello consapevole del contesto come BERT è noto a molti come l’inizio di una nuova era nell’NLP.

La formazione di BERT su grandi quantità di contenuto testuale è una tecnica nota come pre-formazione. Ciò significa che i pesi del modello vengono regolati per compiti di comprensione del testo generale e che modelli più raffinati possono essere costruiti su di esso. Gli autori hanno dimostrato la superiorità di tale tecnica quando hanno impiegato modelli basati su BERT su 11 compiti di NLP e hanno ottenuto risultati di stato dell’arte.

Modelli pre-addestrati

La cosa migliore è: i modelli BERT pre-addestrati sono open source e pubblicamente disponibili. Ciò significa che chiunque possa affrontare compiti di NLP e costruire i propri modelli su BERT. Nulla può battere questo, giusto? Oh, aspetta: ciò significa anche che i modelli di NLP possono ora essere addestrati (regolati) su set di dati più piccoli, senza la necessità di addestrare da zero. L’inizio di una nuova era, davvero.

Questi modelli pre-addestrati aiutano le aziende a ridurre i costi e il tempo di distribuzione per l’uso dei modelli di NLP all’interno o all’esterno. L’efficacia dei modelli di NLP ben addestrati è sottolineata da Michael Alexis, amministratore delegato di teambuilding.com, un’azienda di costruzione di cultura di squadra virtuale.

“Il maggior vantaggio dell’NLP è l’inferenza e l’elaborazione scalabile e coerente delle informazioni.” – Michael Alexis, amministratore delegato di teambuilding.com

Michael afferma come l’NLP possa essere applicato a programmi di promozione della cultura aziendale, come icebreaker o sondaggi. Un’azienda può ottenere informazioni preziose su come sta andando la cultura aziendale analizzando le risposte dei dipendenti. Ciò viene realizzato non solo analizzando il testo, ma anche l’annotazione del testo. In sostanza, il modello “legge tra le righe” per trarre inferenze sull’emozione, il sentimento e l’atteggiamento generale. BERT può aiutare in situazioni come questa pre-addestrando modelli con una base di indicatori che possono essere utilizzati per scoprire le sfumature del linguaggio e fornire informazioni più accurate.

Miglioramento delle query

La capacità di modellare il contesto ha trasformato BERT in un eroe dell’NLP e ha rivoluzionato la stessa ricerca di Google. Di seguito è riportata una citazione del team di prodotto di Google Search e delle loro esperienze di test, mentre stavano regolando BERT per comprendere l’intento dietro una query.

“Ecco alcuni esempi che dimostrano la capacità di BERT di comprendere l’intento dietro la tua ricerca. Ecco una ricerca per ‘2019 brasileiro che viaggia negli Stati Uniti ha bisogno di un visto’. La parola ‘a’ e la sua relazione con le altre parole nella query sono particolarmente importanti per comprendere il significato. Si tratta di un brasiliano che viaggia negli Stati Uniti e non viceversa. In precedenza, i nostri algoritmi non avrebbero capito l’importanza di questa connessione e avremmo restituito risultati su cittadini statunitensi che viaggiano in Brasile. Con BERT, la ricerca può afferrare questa sottigliezza e sapere che la parola molto comune ‘a’ ha davvero molta importanza qui, e possiamo fornire un risultato molto più rilevante per questa query.” – Comprensione delle ricerche meglio che mai, di Pandu Nayak, Google Fellow e Vice President di Search.

Esempio di ricerca BERT, prima e dopo. Fonte blog

Nel nostro ultimo articolo su NLP e OCR, abbiamo illustrato alcuni casi d’uso di NLP nel settore immobiliare. Abbiamo anche menzionato come “gli strumenti NLP siano ideali per l’estrazione di informazioni”. Vediamo il settore energetico e come le tecnologie di NLP come BERT consentono nuovi casi d’uso.

I modelli di NLP possono estrarre informazioni da grandi quantità di dati non strutturati

Un modo in cui i modelli di NLP possono essere utilizzati è per l’estrazione di informazioni critiche da dati testuali non strutturati. E-mail, giornali, note, registri e rapporti sono tutti esempi di fonti di dati testuali che fanno parte delle operazioni quotidiane delle aziende. Alcuni di questi documenti possono rivelarsi cruciali negli sforzi dell’azienda per aumentare l’efficienza operativa e ridurre i costi.

Quando si mira a implementare la manutenzione predittiva delle turbine eoliche, i rapporti di guasto possono contenere informazioni critiche sul comportamento dei diversi componenti. Tuttavia, poiché i diversi produttori di turbine eoliche hanno norme di raccolta dei dati diverse (ad esempio, i rapporti di manutenzione sono in formati e lingue diversi), l’identificazione manuale degli elementi di dati rilevanti potrebbe diventare rapidamente costosa per il proprietario dell’impianto. Gli strumenti di NLP possono estrarre concetti, attributi ed eventi rilevanti da contenuti non strutturati. Le analisi del testo possono quindi essere utilizzate per trovare correlazioni e modelli in diverse fonti di dati. Ciò dà ai proprietari dell’impianto la possibilità di implementare la manutenzione predittiva in base a misure quantitative identificate nei loro rapporti di guasto.

I modelli di NLP possono fornire interfacce di ricerca in linguaggio naturale

Allo stesso modo, i geoscienziati che lavorano per aziende di petrolio e gas devono spesso esaminare molti documenti relativi alle operazioni di perforazione passate, ai registri di pozzi e ai dati sismici. Poiché tali documenti sono anche in formati diversi e sono solitamente distribuiti in più luoghi (sia fisici che digitali), sprecano molto tempo cercando le informazioni nei posti sbagliati. Una soluzione efficace in questo caso sarebbe un’ interfaccia di ricerca basata su NLP, che consentirebbe agli utenti di cercare dati in linguaggio naturale. Quindi, un modello di NLP potrebbe correlare i dati attraverso centinaia di documenti e restituire un set di risposte alla query. I lavoratori possono quindi convalidare l’output in base alle loro conoscenze esperte e il feedback migliorerebbe ulteriormente il modello.

Tuttavia, ci sono anche considerazioni tecniche per la distribuzione di tali modelli. Un aspetto sarebbe che il gergo specifico dell’industria può confondere i modelli di apprendimento tradizionali che non hanno la comprensione semantica appropriata. In secondo luogo, le prestazioni del modello potrebbero essere influenzate dalle dimensioni del set di dati di addestramento. È qui che i modelli pre-addestrati come BERT possono dimostrarsi utili. Le rappresentazioni contestuali possono modellare il significato appropriato della parola e rimuovere qualsiasi confusione causata da termini specifici dell’industria. Utilizzando modelli pre-addestrati, è possibile addestrare la rete su set di dati più piccoli. Ciò risparmia tempo, energia e risorse che sarebbero stati altrimenti necessari per l’addestramento da zero.

Che cosa riguarda la tua azienda?

Puoi pensare a compiti di NLP che potrebbero aiutarti a ridurre i costi e aumentare l’efficienza operativa?

Il team di scienza dei dati di Blue Orange Digital è felice di regolare BERT per il tuo beneficio!