Come l’elaborazione del linguaggio sta venendo migliorata attraverso il modello BERT open source di Google

Bidirectional Encoder Representations from Transformers, noto anche come BERT; è un modello di training che ha drasticamente migliorato l’efficienza e l’efficacia dei modelli NLP. Ora che Google ha reso i modelli BERT open source, ciò consente il miglioramento dei modelli NLP in tutti i settori. In questo articolo, esaminiamo come BERT sta trasformando l’NLP in una delle soluzioni AI più potenti e utili nel mondo di oggi.

Applicazione dei modelli BERT alla ricerca

Il motore di ricerca di Google è famoso in tutto il mondo per la sua capacità di presentare contenuti rilevanti e hanno reso questo programma di elaborazione del linguaggio naturale open source per il mondo.

La capacità di un sistema di leggere e interpretare il linguaggio naturale sta diventando sempre più vitale poiché il mondo produce esponenzialmente nuovi dati. La libreria di Google dei significati delle parole, delle frasi e della capacità generale di presentare contenuti rilevanti, è OPEN SOURCE. Oltre all’elaborazione del linguaggio naturale, il modello BERT ha la capacità di estrarre informazioni da grandi quantità di dati non strutturati e può essere applicato per creare interfacce di ricerca per qualsiasi libreria. In questo articolo, vedremo come questa tecnologia possa essere applicata nel settore energetico.

BERT (Bidirectional Encoder Representations from Transformers) è un approccio di pre-training proposto dal gruppo Google AI Language, sviluppato per superare un problema comune dei primi modelli NLP: la mancanza di dati di training sufficienti.

Vediamo di spiegarlo senza entrare troppo nei dettagli:

Modelli di training

I compiti NLP di basso livello (ad esempio, riconoscimento di entità nominate, segmentazione di argomenti) e di alto livello (ad esempio, analisi dei sentimenti, riconoscimento del parlato) richiedono set di dati annotati specifici per il compito. Mentre sono difficili da reperire e costosi da assemblare, i set di dati etichettati svolgono un ruolo cruciale nelle prestazioni di entrambi i modelli di reti neurali superficiali e profonde. I risultati dell’inferenza di alta qualità potevano essere ottenuti solo quando erano disponibili milioni o addirittura miliardi di esempi di training annotati. E questo era un problema che rendeva molti compiti NLP inaccessibili. Finché non è stato sviluppato BERT.

BERT è un modello di rappresentazione del linguaggio generico, addestrato su grandi corpora di testo non annotato. Quando il modello è esposto a grandi quantità di contenuto testuale, impara a comprendere il contesto e le relazioni tra le parole in una frase. A differenza dei modelli di apprendimento precedenti che rappresentavano il significato solo a livello di parola (banca avrebbe lo stesso significato in “conto bancario” e “banca erbosa”), BERT si preoccupa effettivamente del contesto. Cioè, cosa viene prima e dopo la parola in una frase. Il contesto si è rivelato una capacità mancante importante dei modelli NLP, con un impatto diretto sulle prestazioni del modello. Progettare un modello consapevole del contesto come BERT è noto da molti come l’inizio di una nuova era nell’NLP.

Addestrare BERT su grandi quantità di contenuto testuale è una tecnica nota come pre-training. Ciò significa che i pesi del modello vengono regolati per compiti di comprensione del testo generale e che modelli più fini possono essere costruiti su di esso. Gli autori hanno dimostrato la superiorità di tale tecnica quando hanno impiegato modelli basati su BERT su 11 compiti NLP e hanno ottenuto risultati di stato dell’arte.

Modelli pre-addestrati

La cosa migliore è: i modelli BERT pre-addestrati sono open source e pubblicamente disponibili. Ciò significa che chiunque può affrontare compiti NLP e costruire i propri modelli su BERT. Niente può battere questo, giusto? Oh, aspetta: ciò significa anche che i modelli NLP possono ora essere addestrati (regolati) su set di dati più piccoli, senza la necessità di addestrare da zero. L’inizio di una nuova era, davvero.

Questi modelli pre-addestrati aiutano le aziende a ridurre i costi e il tempo di distribuzione per l’uso dei modelli NLP all’interno o all’esterno. L’efficacia dei modelli NLP ben addestrati è sottolineata da Michael Alexis, CEO di teambuilding.com, un’azienda di costruzione della cultura dei team virtuali.

“Il maggior vantaggio dell’NLP è l’inferenza e l’elaborazione scalabile e coerente delle informazioni.” – Michael Alexis, CEO di teambuilding.com

Michael afferma come l’NLP possa essere applicato a programmi di cultura aziendale come icebreaker o sondaggi. Un’azienda può ottenere informazioni preziose su come sta andando la cultura aziendale analizzando le risposte dei dipendenti. Ciò viene ottenuto non solo analizzando il testo, ma anche analizzando l’annotazione del testo. In sostanza, il modello “legge tra le righe” per trarre inferenze sull’emozione, il sentimento e l’atteggiamento generale. BERT può aiutare in situazioni come questa pre-addestrando modelli con una base di indicatori che possono essere utilizzati per scoprire le sfumature del linguaggio e fornire informazioni più accurate.

Miglioramento delle query

La capacità di modellare il contesto ha trasformato BERT in un eroe dell’NLP e ha rivoluzionato la stessa ricerca di Google. Di seguito è riportata una citazione del team di prodotto di Google Search e le loro esperienze di testing, mentre stavano regolando BERT per comprendere l’intento dietro una query.

“Ecco alcuni esempi che dimostrano la capacità di BERT di comprendere l’intento dietro la tua ricerca. Ecco una ricerca per “2019 brazil traveler to USA needs a visa.” La parola “to” e la sua relazione con le altre parole nella query sono particolarmente importanti per comprendere il significato. Si tratta di un brasiliano che viaggia negli Stati Uniti e non viceversa. In precedenza, i nostri algoritmi non capivano l’importanza di questa connessione e restituivano risultati su cittadini statunitensi che viaggiano in Brasile. Con BERT, Search è in grado di afferrare questa sottigliezza e capire che la parola molto comune “to” è in realtà molto importante qui, e possiamo fornire un risultato molto più rilevante per questa query.” – Comprendere le ricerche meglio che mai, di Pandu Nayak, Google Fellow e Vice President di Search.

Esempio di ricerca BERT, prima e dopo. Fonte blog

Nel nostro ultimo articolo su NLP e OCR, abbiamo illustrato alcuni utilizzi dell’NLP nel settore immobiliare. Abbiamo anche menzionato come “gli strumenti NLP siano ideali per l’estrazione di informazioni”. Vediamo il settore energetico e scopriamo come le tecnologie NLP come BERT consentono nuovi casi d’uso.

I modelli NLP possono estrarre informazioni da grandi quantità di dati non strutturati

Un modo in cui i modelli NLP possono essere utilizzati è per l’estrazione di informazioni critiche da dati testuali non strutturati. Email, riviste, appunti, registri e rapporti sono tutti esempi di fonti di dati testuali che fanno parte delle operazioni quotidiane delle aziende. Alcuni di questi documenti possono rivelarsi cruciali negli sforzi aziendali per aumentare l’efficienza operativa e ridurre i costi.

Quando si mira a implementare la manutenzione predittiva delle turbine eoliche, i rapporti di guasto possono contenere informazioni critiche sul comportamento dei diversi componenti. Ma poiché i diversi produttori di turbine eoliche hanno norme di raccolta dei dati diverse (ad esempio, i rapporti di manutenzione sono in formati diversi e anche in lingue diverse), l’identificazione manuale degli elementi di dati rilevanti potrebbe diventare rapidamente costosa per il proprietario dell’impianto. Gli strumenti NLP possono estrarre concetti, attributi ed eventi rilevanti da contenuti non strutturati. L’analisi del testo può quindi essere impiegata per trovare correlazioni e modelli in diverse fonti di dati. Ciò dà ai proprietari degli impianti la possibilità di implementare la manutenzione predittiva in base a misure quantitative identificate nei loro rapporti di guasto.

I modelli NLP possono fornire interfacce di ricerca in linguaggio naturale

Allo stesso modo, i geoscienziati che lavorano per aziende di petrolio e gas devono esaminare molti documenti relativi alle operazioni di trivellazione passate, registri di pozzi e dati sismici. Poiché tali documenti sono anche in formati diversi e sono solitamente distribuiti in più luoghi (sia fisici che digitali), perdono molto tempo cercando le informazioni nei posti sbagliati. Una soluzione fattibile in questo caso sarebbe un’ interfaccia di ricerca basata sull’NLP, che consentirebbe agli utenti di cercare dati in linguaggio naturale. Quindi, un modello NLP potrebbe correlare i dati attraverso centinaia di documenti e restituire un set di risposte alla query. I lavoratori possono quindi convalidare l’output in base alla loro conoscenza esperta e il feedback ulteriormente migliorerebbe il modello.

Tuttavia, ci sono anche considerazioni tecniche per la distribuzione di tali modelli. Un aspetto sarebbe che il gergo specifico dell’industria può confondere i modelli di apprendimento tradizionali che non hanno la comprensione semantica appropriata. In secondo luogo, le prestazioni del modello possono essere influenzate dalle dimensioni del set di dati di training. È qui che i modelli pre-addestrati come BERT possono essere utili. Le rappresentazioni contestuali possono modellare il significato appropriato della parola e rimuovere eventuali confusioni causate da termini specifici dell’industria. Utilizzando modelli pre-addestrati, è possibile addestrare la rete su set di dati più piccoli. Ciò risparmia tempo, energia e risorse che sarebbero stati altrimenti necessari per l’addestramento da zero.

E per la tua azienda?

Puoi pensare a compiti NLP che potrebbero aiutarti a ridurre i costi e aumentare l’efficienza operativa?Il team di data science di Blue Orange Digital è felice di personalizzare BERT anche per te!