Як покращується обробка мови за допомогою моделі Google BERT з відкритим кодом

Представлення двонаправленого кодера від Transformers, також відомі як BERT; це навчальна модель, яка суттєво підвищила ефективність і ефект моделей НЛП. Тепер, коли Google зробив моделі BERT відкритими, це дозволяє покращувати моделі NLP у всіх галузях. У статті ми розглянемо, як BERT перетворює НЛП на одне з найпотужніших і найкорисніших рішень штучного інтелекту в сучасному світі. 

Застосування моделей BERT до пошуку

Пошукова система Google відома в усьому світі своєю здатністю представляти відповідний вміст, і вони зробили цю програму обробки природної мови відкритим для всього світу.

Здатність системи читати та інтерпретувати природну мову стає все більш важливою, оскільки світ експоненціально створює нові дані. Бібліотека Google зі значеннями слів, фраз і загальною можливістю представлення релевантного вмісту є ВІДКРИТИМ. Крім обробки природної мови, їх модель BERT має здатність витягувати інформацію з великих обсягів неструктурованих даних і може бути застосована для створення пошукових інтерфейсів для будь-якої бібліотеки. У цій статті ми побачимо, як цю технологію можна застосувати в енергетичному секторі. 

BERT (Bidirectional Encoder Representations from Transformers) — це підхід до підготовки, запропонований Google AI Language група, розроблена для подолання загальної проблеми ранніх моделей НЛП: відсутність достатніх навчальних даних.

Розповімо докладніше, не вдаючись у подробиці:

Навчальні моделі

Завдання НЛП низького рівня (наприклад, розпізнавання іменованих сутностей, сегментація теми) і високого рівня (наприклад, аналіз настроїв, розпізнавання мовлення) потребують анотованих наборів даних для конкретного завдання. Хоча їх важко знайти та дорого зібрати, мічені набори даних відіграють вирішальну роль у продуктивності як дрібних, так і глибоких моделей нейронних мереж. Високоякісних результатів висновків можна було досягти лише за наявності мільйонів або навіть мільярдів анотованих навчальних прикладів. І це була проблема, через яку багато завдань НЛП були недоступними. Так до тих пір, поки не було розроблено BERT.

BERT — це модель представлення мови загального призначення, навчена на великих корпусах неанотованого тексту. Коли модель піддається впливу великої кількості текстового вмісту, вона вчиться розуміти контекст і зв'язки між словами в реченні. На відміну від попередніх моделей навчання, які представляли лише значення на рівні слова (банк означатиме те саме в «банківський рахунок» і «трав’яний банк»), BERT насправді дбає про контекст. Тобто те, що стоїть перед і після слова в реченні. Контекст виявився основною відсутньою можливістю моделей НЛП, яка безпосередньо впливає на продуктивність моделі. Розробка контекстно-залежної моделі, такої як BERT, багатьом відома як початок нової ери в НЛП.

Навчання BERT на великих обсягах текстового вмісту є технікою, відомою як попередня підготовка. Це означає, що ваги моделі налаштовані для загальних завдань розуміння тексту, і що на її основі можна будувати більш детальні моделі. Автори довели перевагу такої методики, застосувавши моделі на основі BERT до 11 завдань НЛП і досягли найсучасніших результатів.

Попередньо навчені моделі

Найкраще: попередньо підготовлені моделі BERT є відкритими та загальнодоступними. Це означає, що кожен може вирішувати завдання НЛП і будувати свої моделі на основі BERT. Ніщо не може перемогти це, вірно? О, зачекайте: це також означає, що моделі НЛП тепер можна тренувати (точніше налаштовувати) на менших наборах даних, без необхідності навчання з нуля. Дійсно, початок нової ери.

Ці попередньо навчені моделі допомагають компаніям скоротити витрати та час на розгортання моделей НЛП для внутрішнього чи зовнішнього використання. Ефективність добре навчених моделей НЛП підкреслює Майкл Алексіс, генеральний директор компанії з розбудови віртуальної командної культури teambuilding.com. 

«Найбільша перевага НЛП — це масштабоване та послідовне виведення та обробка інформації». – Майкл Алексіс, генеральний директор teambuilding.com

Майкл розповідає, як НЛП можна застосувати до культурних програм, таких як айсбрейк або опитування. Компанія може отримати цінну інформацію про те, як працює культура компанії, аналізуючи відповіді співробітників. Це досягається не лише аналізом тексту, але й аналізом анотації тексту. По суті, модель також «читає між рядків», щоб зробити висновки щодо емоцій, почуттів і загального погляду. BERT може допомогти в таких ситуаціях, як ця, попередньо підготувавши моделі з основою індикаторів, які він може використати, щоб розкрити нюанси мови та надати більш точне розуміння.  

Покращення запитів

Здатність моделювати контекст перетворила BERT на героя НЛП і революціонізувала сам Пошук Google. Нижче наведено цитату від команди продукту Google Search і їхній досвід тестування, коли вони налаштовували BERT, щоб зрозуміти мету запиту.

«Ось кілька прикладів, які демонструють здатність BERT зрозуміти намір вашого пошуку. Ось пошуковий запит «мандрівнику з Бразилії 2019 року в США потрібна віза». Слово «до» та його зв’язок з іншими словами в запиті особливо важливі для розуміння значення. Це про бразильця, який подорожує до США, а не навпаки. Раніше наші алгоритми не розуміли важливості цього зв’язку, і ми повертали результати про громадян США, які подорожували до Бразилії. За допомогою BERT Пошук може зрозуміти цей нюанс і знати, що дуже поширене слово «до» насправді має тут велике значення, і ми можемо надати набагато релевантніший результат для цього запиту».
- Розуміння пошуків краще, ніж будь-коли ранішеПанду Наяка, співробітника Google і віце-президента з пошуку.

Приклад пошуку BERT, до і після. Джерело блозі

У нашому останньому матеріалі на НЛП і OCR, ми проілюстрували деякі використання НЛП у секторі нерухомості. Ми також згадували, що «інструменти НЛП є ідеальними інструментами вилучення інформації». Давайте подивимося на енергетичний сектор і побачимо, як проривні технології NLP, такі як BERT, створюють нові варіанти використання додатків. 

Моделі НЛП можуть витягувати інформацію з великої кількості неструктурованих даних

Одним із способів використання моделей НЛП є вилучення важливої ​​інформації з неструктурованих текстових даних. Електронні листи, журнали, нотатки, журнали та звіти – це приклади джерел текстових даних, які є частиною щоденної діяльності компаній. Деякі з цих документів можуть виявитися вирішальними в організаційних зусиллях, спрямованих на підвищення ефективності роботи та зниження витрат. 

При націленні реалізувати прогнозне обслуговування вітрової турбіни, звіти про несправності може містити критична інформація про поведінку різних компонентів. Але оскільки різні виробники вітрових турбін мають різні норми збору даних (тобто звіти про технічне обслуговування надходять у різних форматах і навіть мовах), ручне визначення відповідних елементів даних може швидко стати дорогим для власника установки. Інструменти НЛП можуть витягувати відповідні концепції, атрибути та події з неструктурованого вмісту. Текстову аналітику потім можна використовувати для пошуку кореляцій і шаблонів у різних джерелах даних. Це дає власникам установок можливість запроваджувати прогнозне обслуговування на основі кількісних показників, визначених у їхніх звітах про несправності.

Моделі NLP можуть надавати інтерфейси пошуку природною мовою

Подібним чином, геологи, які працюють у нафтових і газових компаніях, зазвичай потребують перегляду багатьох документів, пов’язаних із минулими буровими операціями, каротажем свердловин і сейсмічними даними. Оскільки такі документи також мають різні формати та зазвичай розкидані в кількох місцях (як фізичних, так і цифрових), вони витрачають багато часу на пошук інформації не в тих місцях. Життєздатним рішенням у такому випадку буде Інтерфейс пошуку на основі NLP, що дозволить користувачам шукати дані природною мовою. Тоді модель НЛП могла б співвіднести дані в сотнях документів і повернути набір відповідей на запит. Потім працівники можуть перевірити результат на основі своїх власних експертних знань, а зворотний зв’язок ще більше покращить модель. 

Однак існують також технічні міркування для розгортання таких моделей. Одним із аспектів може бути те, що галузевий жаргон може заплутати традиційні моделі навчання, які не мають належного семантичного розуміння. По-друге, на продуктивність моделей може вплинути розмір навчального набору даних. Саме тоді попередньо навчені моделі, такі як BERT, можуть виявитися корисними. Контекстуальні представлення можуть моделювати відповідне значення слова та усунути будь-яку плутанину, спричинену галузевими термінами. Використовуючи попередньо підготовлені моделі, можна навчити мережу на менших наборах даних. Це економить час, енергію та ресурси, які були б необхідні для навчання з нуля.

А як щодо власного бізнесу? 

Чи можете ви згадати якісь завдання НЛП, які могли б допомогти вам скоротити витрати та підвищити операційну ефективність?

Команда Синьо-помаранчевий цифровий Команда аналізу даних із задоволенням налаштує BERT і для вас!