Як обробка мови покращується завдяки відкритій моделі BERT від Google

Бідірекціональні представлення від трансформерів, також відомі як BERT, – це модель навчання, яка суттєво покращила ефективність та результативність моделей обробки природної мови. Тепер, коли Google (GOOGL ) зробила моделі BERT відкритими, це дозволяє покращити моделі обробки природної мови в усіх галузях. У цій статті ми розглянемо, як BERT робить обробку природної мови однією з найпотужніших та найкорисніших рішень штучного інтелекту у світі сьогодні.

Застосування моделей BERT до пошуку

Пошуковий двигун Google відомий своєю здатністю надавати релевантний контент, і вони зробили цю програму обробки природної мови відкритою для світу.

Здатність системи читати та інтерпретувати природну мову стає дедалі важливішою, оскільки світ експоненційно виробляє нові дані. Бібліотека значень слів, фраз та загальна здатність надавати релевантний контент Google відкрита. Окрім обробки природної мови, їхня модель BERT має здатність витягувати інформацію з великих обсягів неструктурованих даних та може бути застосована для створення інтерфейсів пошуку для будь-якої бібліотеки. У цій статті ми побачимо, як цю технологію можна застосувати в енергетичній галузі.

BERT (Бідірекціональні представлення від трансформерів) – це підхід до попереднього навчання, запропонований групою Google AI Language, розроблений для подолання спільної проблеми ранніх моделей обробки природної мови: відсутності достатніх даних для навчання.

Давайте роз’яснимо, не вдавшись у надмірні деталі:

Навчання моделей

Низькорівневі (наприклад, розпізнавання іменованих сутностей, сегментація тем) та високорівневі (наприклад, аналіз настрою, розпізнавання мови) завдання обробки природної мови вимагають наборів даних, анотованих для конкретних завдань. Хоча вони важко доступні та дорого коштують, анотовані набори даних відіграють важливу роль у виконанні як неглибоких, так і глибоких нейронних мережевих моделей. Якісні результати інференції могли бути досягнуті лише тоді, коли були доступні мільйони або навіть мільярди анотованих прикладів навчання. І це була проблема, яка зробила багато завдань обробки природної мови недосяжними. До тих пір, поки не була розроблена BERT.

BERT – це загальна модель представлення мови, навчена на великих корпусах неанотованого тексту. Коли модель піддається великим обсягам текстового контенту, вона навчиться розуміти контекст та відносини між словами у реченні. На відміну від попередніх моделей навчання, які представляли значення лише на рівні слова (банк мав би те саме значення в „банківському рахунку“ та „берегові території“), BERT дійсно цінує контекст. Тобто, що передує та слідує за словом у реченні. Контекст виявився важливою відсутньою можливістю моделей обробки природної мови, з прямим впливом на виконання моделі. Проектування контекстно-чутливої моделі, такої як BERT, відоме багатьма як початок нової ери в обробці природної мови.

Навчання BERT на великих обсягах текстового контенту – це техніка, відома як попереднє навчання. Це означає, що ваги моделі регулюються для загальних завдань розуміння тексту, і що більш тонкі моделі можуть бути побудовані на її основі. Автори довели перевагу такого підходу, коли вони застосували моделі на основі BERT до 11 завдань обробки природної мови та досягли результатів державного рівня.

Моделі попереднього навчання

Краще все: моделі попереднього навчання BERT відкриті та публічно доступні. Це означає, що будь-хто може займатися завданнями обробки природної мови та будувати свої моделі на основі BERT. Нічого не може перевершити це, правда? Чекаємо: це також означає, що моделі обробки природної мови тепер можуть бути навчені (тонко налаштовані) на менших наборах даних, без потреби навчання з нуля. Початок нової ери, дійсно.

Ці моделі попереднього навчання допомагають компаніям скоротити витрати та час на розгортання моделей обробки природної мови для внутрішнього чи зовнішнього використання. Ефективність добре навчених моделей обробки природної мови підкреслюється Майклом Алексісом, генеральним директором компанії з будівництва віртуальної команди, teambuilding.com.

“Найбільша перевага обробки природної мови полягає в масштабованому та послідовному висновку та обробці інформації.” – Майкл Алексіс, генеральний директор teambuilding.com

Майкл розповідає, як обробку природної мови можна застосувати до програм з розвитку культури, таких як ігри чи опитування. Компанія може отримати цінну інформацію про те, як справи з корпоративною культурою, аналізуючи відповіді працівників. Це досягається не лише шляхом аналізу тексту, але також аналізу анотації тексту. Зрештою, модель також „читає між рядками“, щоб робити висновки про емоції, відчуття та загальний настрій. BERT може допомогти в таких ситуаціях, попередньо навчаючи моделі на основі індикаторів, які можуть допомогти розкрити нюанси мови та надати більш точні висновки.

Покращення запитів

Здатність моделі розуміти контекст перетворила BERT на героя обробки природної мови та революціонізувала сам пошук Google. Нижче наведено цитату з команди продукту Google Search та їхнього досвіду тестування, коли вони налаштовували BERT для розуміння намірів за запитом.

“Ось приклади, які демонструють здатність BERT rozumіти наміри за вашим запитом. Ось запит „2019 бразилець мандрівник до США потребує візи“. Слово „до“ та його відносини з іншими словами у запиті особливо важливі для розуміння значення. Це про бразильця, який мандрівник до США, а не навпаки. Раніше наші алгоритми не розуміли важливості цього зв’язку, і ми повертали результати про громадян США, які мандрівник до Бразилії. З BERT пошук може зрозуміти цю нюанс та знати, що дуже звичайне слово „до“ насправді дуже важливо тут, і ми можемо надати значно більш релевантний результат для цього запиту.” – Розуміння пошукових запитів краще, ніж будь-коли раніше, від Панду Наяка, фелло Google та віце-президента з пошуку.

Приклад пошуку BERT, до та після. Джерело блог

У нашій попередній статті про обробку природної мови та OCR ми проілюстрували деякі випадки використання обробки природної мови в галузі нерухомості. Ми також згадали, як „інструменти обробки природної мови ідеальні для витягування інформації“. Давайте розглянемо енергетичну галузь та побачимо, як революційні технології обробки природної мови, такі як BERT, дозволяють створювати нові випадки використання.

Моделі обробки природної мови можуть витягувати інформацію з великих обсягів неструктурованих даних

Одним із способів використання моделей обробки природної мови є витягування критичної інформації з неструктурованих текстових даних. Електронні листи, журнали, нотатки, журнали та звіти – все це приклади текстових даних, які є частиною щоденної діяльності підприємств. Деякі з цих документів можуть виявитися важливими для організаційних зусиль з підвищення ефективності та скорочення витрат.

При реалізації передбачувального технічного обслуговування вітроелектростанцій, звіти про несправності можуть містити критичну інформацію про поведінку різних компонентів. Але оскільки різні виробники вітроелектростанцій мають різні норми збору даних (тобто звіти про технічне обслуговування надходять у різних форматах та навіть мовах), ручне визначення релевантних даних швидко може стати дорогою для власника станції. Інструменти обробки природної мови можуть витягувати релевантні концепції, атрибути та події з неструктурованого контенту. Текстовий аналіз можна застосувати для знаходження кореляцій та закономірностей у різних джерелах даних. Це дає власникам станцій можливість реалізувати передбачувальне технічне обслуговування на основі кількісних показників, визначених у їхніх звітах про несправності.

Моделі обробки природної мови можуть надавати інтерфейси природної мови для пошуку

Аналогічно, геологи, які працюють у нафтових та газових компаніях, зазвичай повинні переглянути багато документів, пов’язаних з попередніми операціями з буріння, журналами свердловин та сейсмічними даними. Оскільки такі документи також надходять у різних форматах та зазвичай розкидані по різних місцях (як фізичних, так і цифрових), вони витрачають багато часу на пошук інформації у неправильних місцях. Виправданим рішенням у такому випадку буде інтерфейс пошуку на основі обробки природної мови, який дозволить користувачам шукати дані природною мовою. Потім модель обробки природної мови може корелювати дані з сотень документів та повернути набір відповідей на запит. Працівники можуть потім перевірити вивід на основі своєї експертної знань, а зворотний зв’язок допоможе ще більше покращити модель.

Однак, також існують технічні міркування щодо розгортання таких моделей. Одним із аспектів буде те, що галузеві жаргони можуть плутати традиційні моделі навчання, які не мають належного семантичного розуміння. Другим аспектом буде те, що продуктивність моделей може бути порушена розміром навчального набору даних. Це саме той випадок, коли попередньо навчені моделі, такі як BERT, можуть бути корисними. Контекстні представлення можуть моделювати належне значення слова та усунути будь-яку плутанину, спричинену галузевими термінами. Використовуючи попередньо навчені моделі, можна навчати мережу на менших наборах даних. Це економить час, енергію та ресурси, які інакше були б необхідні для навчання з нуля.

А що з вашим власним бізнесом?

Чи можете ви подумати про якісь завдання обробки природної мови, які могли б допомогти вам скоротити витрати та підвищити ефективність?

Команда Blue Orange Digital з науки про дані щаслива налаштувати BERT для вашої вигоди також!