Jak przetwarzanie języka naturalnego jest ulepszane dzięki otwartemu modelowi BERT od Google

Bidirectional Encoder Representations from Transformers, inaczej BERT, to model szkoleniowy, który znacznie poprawił wydajność i skuteczność modeli NLP. Teraz, gdy Google (GOOGL ) udostępniło modele BERT jako otwarte, umożliwia to poprawę modeli NLP we wszystkich branżach. W artykule przyglądamy się, jak BERT sprawia, że NLP staje się jednym z najpotężniejszych i najbardziej przydatnych rozwiązań AI w dzisiejszym świecie.

Stosowanie modeli BERT w wyszukiwarkach

Wyszukiwarka Google jest słynna ze swojej zdolności do prezentowania istotnych treści, a teraz udostępniła ten program przetwarzania języka naturalnego jako otwarty dla świata.

Zdolność systemu do czytania i interpretowania języka naturalnego staje się coraz bardziej istotna, ponieważ świat wytwarza coraz więcej nowych danych. Biblioteka znaczeń słów, fraz i ogólna zdolność do prezentowania istotnych treści Google jest otwarta. Poza przetwarzaniem języka naturalnego, model BERT ma zdolność do ekstrakcji informacji z dużych ilości nieustrukturyzowanych danych i może być stosowany do tworzenia interfejsów wyszukiwania dla każdej biblioteki. W tym artykule zobaczymy, jak ta technologia może być stosowana w sektorze energetycznym.

BERT (Bidirectional Encoder Representations from Transformers) to podejście do pre-trenowania zaproponowane przez zespół Google AI Language, opracowane w celu pokonania powszechnego problemu wczesnych modeli NLP: braku wystarczających danych szkoleniowych.

Wyjaśnijmy to bez wchodzenia w zbyt wielkie szczegóły:

Trenowanie modeli

Zadania NLP na niskim poziomie (np. rozpoznawanie nazwanych encji, segmentacja tematyczna) i wysokim poziomie (np. analiza sentymentu, rozpoznawanie mowy) wymagają zestawów danych z oznaczonymi etykietami. Chociaż są one trudne do uzyskania i drogie w montażu, oznaczone zestawy danych odgrywają kluczową rolę w wydajności zarówno płytkich, jak i głębokich modeli sieci neuronowych. Wyniki inferencyjne o wysokiej jakości można było osiągnąć tylko wtedy, gdy dostępne były miliony lub nawet miliardy oznaczonych przykładów szkoleniowych. I to był problem, który sprawił, że wiele zadań NLP stało się nieosiągalne. To trwało do czasu, gdy został opracowany BERT.

BERT to model reprezentacji języka o charakterze ogólnym, wytrenowany na dużych korpusach nieoznaczonych tekstów. Gdy model jest narażony na duże ilości treści tekstowych, uczy się rozumieć kontekst i relacje między słowami w zdaniu. W przeciwieństwie do poprzednich modeli uczenia, które reprezentowały znaczenie tylko na poziomie słowa (słowo “bank” miałoby takie same znaczenie w “koncie bankowym” i “brzegu rzeki”), BERT naprawdę dba o kontekst. To znaczy, co poprzedza i co następuje po słowie w zdaniu. Kontekst okazał się być znaczącą brakującą możliwością modeli NLP, z bezpośrednim wpływem na wydajność modelu. Opracowanie modelu świadomego kontekstu, takiego jak BERT, jest uważane przez wielu za początek nowej ery w NLP.

Trenowanie BERT na dużych ilościach treści tekstowych to technika znana jako pre-trenowanie. Oznacza to, że wagi modelu są dostosowywane do ogólnych zadań zrozumienia tekstu i że można zbudować bardziej szczegółowe modele na jego podstawie. Autorzy udowodnili wyższość takiej techniki, gdy zastosowali modele oparte na BERT w 11 zadaniach NLP i osiągnęli wyniki na poziomie stanu sztuki.

Wstępnie wytrenowane modele

Najlepsze w tym jest to, że wstępnie wytrenowane modele BERT są otwarte i dostępne publicznie. Oznacza to, że każdy może podejmować zadania NLP i budować swoje modele na podstawie BERT. Nic nie może być lepsze, prawda? Czekaj, okaże się, że modele NLP mogą teraz być trenowane (dostosowywane) na mniejszych zestawach danych, bez potrzeby trenowania od podstaw. Początek nowej ery, rzeczywiście.

Te wstępnie wytrenowane modele pomagają firmom obniżyć koszty i czas wdrożenia modeli NLP do użytku wewnętrznego lub zewnętrznego. Skuteczność dobrze wytrenowanych modeli NLP jest podkreślana przez Michaela Alexis, CEO wirtualnej firmy budującej kulturę zespołową, teambuilding.com.

“Największą zaletą NLP jest skalowalna i spójna inferencja i przetwarzanie informacji.” – Michael Alexis, CEO teambuilding.com

Michael wyjaśnia, jak NLP może być stosowany w programach kształtowania kultury, takich jak icebreakery lub ankiety. Firma może uzyskać cenne informacje o tym, jak radzi sobie kultura firmy, analizując odpowiedzi pracowników. To osiągane jest nie tylko przez analizę samego tekstu, ale także przez analizę adnotacji tekstu. Podstawowo model “czyta między wierszami”, aby wyciągnąć wnioski o emocjach, uczuciach i ogólnym nastawieniu. BERT może pomóc w sytuacjach takich, pomagając w pre-trenowaniu modeli z podstawą wskaźników, które mogą pomóc w odkryciu niuansów języka i dostarczyć bardziej dokładne informacje.

Poprawa zapytań

Zdolność do modelowania kontekstu sprawiła, że BERT stał się bohaterem NLP i rewolucjonizował samą wyszukiwarkę Google. Poniżej znajduje się cytат z zespołu produktowego Google Search i ich doświadczeń podczas dostosowywania BERT do zrozumienia intencji za zapytaniem.

“Oto kilka przykładów, które pokazują, jak BERT potrafi zrozumieć intencję za Twoim zapytaniem. Oto zapytanie “2019 brazil traveler to USA needs a visa.” Słowo “to” i jego relacja z innymi słowami w zapytaniu są szczególnie ważne do zrozumienia znaczenia. Chodzi o Brazylijczyka podróżującego do USA, a nie odwrotnie. Wcześniej nasze algorytmy nie rozumiały znaczenia tego połączenia i zwracały wyniki o obywatelach USA podróżujących do Brazylii. Z BERT, wyszukiwarka może pojąć tę nuansę i wie, że bardzo powszechne słowo “to” ma tu ogromne znaczenie, i możemy dostarczyć znacznie bardziej istotny wynik dla tego zapytania.” – Zrozumienie wyszukiwań lepiej niż kiedykolwiek wcześniej, Pandu Nayak, Google Fellow i Vice Prezes Search.

Przykład wyszukiwania z BERT, przed i po.

W naszym poprzednim artykule na temat NLP i OCR, przedstawiliśmy kilka zastosowań NLP w sektorze nieruchomości. Wspomnieliśmy również, jak “narzędzia NLP są idealnymi narzędziami do ekstrakcji informacji”. Zobaczmy, jak technologie NLP, takie jak BERT, umożliwiają nowe przypadki użycia w sektorze energetycznym.

Modele NLP mogą ekstrahować informacje z dużych ilości nieustrukturyzowanych danych

Jednym ze sposobów, w jaki modele NLP mogą być stosowane, jest ekstrakcja krytycznych informacji z nieustrukturyzowanych danych tekstowych. E-maile, czasopisma, notatki, logi i raporty to wszystko przykłady źródeł danych tekstowych, które są częścią codziennych operacji firm. Niektóre z tych dokumentów mogą okazać się kluczowe w wysiłkach organizacyjnych, aby zwiększyć efektywność operacyjną i obniżyć koszty.

Gdy celem jest wdrożenie predykcyjnej konserwacji turbin wiatrowych, raporty o awariach mogą zawierać kluczowe informacje o zachowaniu się poszczególnych komponentów. Ale ponieważ różni producenci turbin wiatrowych mają różne normy zbierania danych (tj. raporty konserwacyjne przychodzą w różnych formatach i nawet językach), ręczne identyfikowanie istotnych elementów danych mogłoby szybko stać się kosztowne dla właściciela zakładu. Narzędzia NLP mogą ekstrahować istotne pojęcia, atrybuty i zdarzenia z nieustrukturyzowanej zawartości. Analiza tekstu może być następnie zastosowana do znalezienia korelacji i wzorców w różnych źródłach danych. To daje właścicielom zakładów szansę na wdrożenie predykcyjnej konserwacji na podstawie ilościowych miar zidentyfikowanych w raportach o awariach.

Modele NLP mogą dostarczać interfejsy wyszukiwania w języku naturalnym

Podobnie, geolodzy pracujący dla firm naftowych i gazowych zazwyczaj muszą przeglądać wiele dokumentów związanych z poprzednimi operacjami wiertniczymi, logami otworów i danymi sejsmicznymi. Ponieważ takie dokumenty również przychodzą w różnych formatach i są zwykle rozproszone w wielu miejscach (zarówno fizycznych, jak i cyfrowych), tracą dużo czasu na poszukiwanie informacji w niewłaściwych miejscach. Rozwiązaniem w takim przypadku byłby interfejs wyszukiwania zasilany przez NLP, który pozwoliłby użytkownikom na wyszukiwanie danych w języku naturalnym. Następnie model NLP mógłby skorelować dane z setek dokumentów i zwrócić zestaw odpowiedzi na zapytanie. Pracownicy mogliby następnie zweryfikować dane wyjściowe na podstawie własnej wiedzy eksperckiej, a informacje zwrotne poprawiłyby dalej model.

Jednakże, istnieją również rozważania techniczne dotyczące wdrożenia takich modeli. Jednym z aspektów byłoby to, że słownictwo branżowe może mylić tradycyjne modele uczenia, które nie mają odpowiedniego zrozumienia semantycznego. Po drugie, wydajność modeli może być wpływana przez rozmiar zestawu danych szkoleniowych. To jest sytuacja, w której wstępnie wytrenowane modele, takie jak BERT, mogą okazać się przydatne. Reprezentacje kontekstowe mogą modelować odpowiednie znaczenie słów i usunąć wszelkie zamieszanie spowodowane słownictwem branżowym. Używając wstępnie wytrenowanych modeli, można trenować sieć na mniejszych zestawach danych. To oszczędza czas, energię i zasoby, które w przeciwnym razie byłyby niezbędne do szkolenia od podstaw.

A co z Twoim własnym biznesem?

Czy możesz pomyśleć o jakichkolwiek zadaniach NLP, które mogłyby pomóc Ci obniżyć koszty i zwiększyć efektywność operacyjną?

Zespół Blue Orange Digital jest zadowolony z dostosowania BERT dla Twojej korzyści również!