Как езиковата обработка се подобрява чрез модела BERT с отворен код на Google

Двупосочни енкодерни представяния от трансформатори, известни още като BERT; е тренировъчен модел, който драстично подобри ефективността и ефекта на НЛП моделите. Сега, след като Google направи моделите BERT с отворен код, това позволява подобряването на моделите на НЛП във всички индустрии. В статията ще разгледаме как BERT превръща НЛП в едно от най-мощните и полезни AI решения в днешния свят. 

Прилагане на BERT модели към Търсене

Търсачката на Google е световно известна със способността си да представя подходящо съдържание и те направиха тази програма за обработка на естествен език с отворен код за света.

Способността на системата да чете и интерпретира естествен език става все по-важна, тъй като светът експоненциално произвежда нови данни. Библиотеката на Google със значения на думи, фрази и общата способност за представяне на подходящо съдържание е ОТВОРЕЕН КОДИЦ. Освен обработката на естествен език, техният BERT модел има способността да извлича информация от големи количества неструктурирани данни и може да се прилага за създаване на интерфейси за търсене за всяка библиотека. В тази статия ще видим как тази технология може да се приложи в енергийния сектор. 

BERT (Двупосочни енкодерни представяния от трансформатори) е подход за предварително обучение, предложен от Google AI език група, разработена за преодоляване на общ проблем на ранните НЛП модели: липсата на достатъчно данни за обучение.

Нека уточним, без да навлизаме в много подробности:

Модели на обучение

Задачите на НЛП от ниско ниво (напр. разпознаване на именуван обект, сегментиране на теми) и високо ниво (напр. анализ на настроението, разпознаване на реч) изискват специфични за задачата анотирани набори от данни. Въпреки че са трудни за намиране и скъпи за сглобяване, етикетираните набори от данни играят решаваща роля в работата както на плитките, така и на дълбоките модели на невронни мрежи. Висококачествени резултати от изводите биха могли да бъдат постигнати само когато са налични милиони или дори милиарди анотирани примери за обучение. И това беше проблем, който направи много НЛП задачи недостъпни. Това е до разработката на BERT.

BERT е модел за езиково представяне с общо предназначение, обучен върху големи корпуси от неанотиран текст. Когато моделът е изложен на големи количества текстово съдържание, той научава да разбират контекста и връзките между думите в изречението. За разлика от предишните модели на обучение, които представят значение само на ниво дума (банка би означавало същото в „банкова сметка“ и „тревиста банка“), BERT всъщност се интересува от контекста. Тоест какво стои преди и след думата в изречението. Оказа се, че контекстът е основна липсваща способност на НЛП моделите, с пряко въздействие върху представянето на модела. Проектирането на съобразен с контекста модел като BERT е известно от мнозина като началото на нова ера в НЛП.

Обучението на BERT върху големи количества текстово съдържание е техника, известна като предварителна подготовка. Това означава, че теглата на модела се коригират за общи задачи за разбиране на текст и че върху него могат да бъдат изградени по-фини модели. Авторите са доказали превъзходството на такава техника, като са използвали базирани на BERT модели върху 11 NLP задачи и са постигнали най-съвременни резултати.

Предварително обучени модели

Най-хубавото е, че предварително обучените BERT модели са с отворен код и са публично достъпни. Това означава, че всеки може да се справи със задачите на НЛП и да изгради своите модели върху BERT. Нищо не може да победи това, нали? О, изчакайте: това също означава, че НЛП моделите вече могат да бъдат обучени (фино настроени) на по-малки масиви от данни, без да е необходимо обучение от нулата. Началото на нова ера наистина.

Тези предварително обучени модели помагат на компаниите да намалят разходите и времето за внедряване на НЛП модели, които да се използват вътрешно или външно. Ефективността на добре обучените НЛП модели се подчертава от Майкъл Алексис, главен изпълнителен директор на компанията за изграждане на виртуална екипна култура, teambuilding.com. 

„Най-голямата полза от НЛП е мащабируемото и последователно извеждане и обработка на информация.“ – Майкъл Алексис, главен изпълнителен директор на teambuilding.com

Майкъл заявява как НЛП може да се приложи към програми за насърчаване на културата като ледоразбивачи или проучвания. Една компания може да придобие ценна представа за това как се справя фирмената култура, като анализира отговорите на служителите. Това се постига не само чрез анализиране на текст, но и чрез анализиране на анотацията на текста. По същество моделът също „чете между редовете“, за да направи изводи за емоция, усещане и цялостна перспектива. BERT може да помогне в ситуации като тази чрез предварително обучение на модели с база от индикатори, които може да използва, за да разкрие нюансите на езика и да предостави по-точни прозрения.  

Подобряване на заявките

Способността за моделиране на контекст превърна BERT в НЛП герой и революционизира самото Google Търсене. По-долу е даден цитат от продуктовия екип на Google Търсене и техния опит при тестване, докато те настройваха BERT, за да разберат намерението зад заявка.

„Ето някои от примерите, които демонстрират способността на BERT да разбере намерението зад вашето търсене. Ето търсене за „2019 бразилски пътник в САЩ се нуждае от виза.“ Думата „до“ и нейната връзка с другите думи в заявката са особено важни за разбирането на значението. Става дума за бразилец, пътуващ до САЩ, а не обратното. Преди нашите алгоритми не можеха да разберат важността на тази връзка и върнахме резултати за американски граждани, пътуващи до Бразилия. С BERT Търсенето е в състояние да схване този нюанс и да знае, че много често срещаната дума „до“ всъщност има голямо значение тук и можем да предоставим много по-подходящ резултат за тази заявка.“
- Разбиране на търсенията по-добре от всякога, от Панду Наяк, сътрудник на Google и вицепрезидент на Търсене.

Пример за търсене на BERT, преди и след. Източник блог

В последното ни парче по НЛП и OCR, илюстрирахме някои приложения на НЛП в сектора на недвижимите имоти. Споменахме също как „НЛП инструментите са идеални инструменти за извличане на информация“. Нека да разгледаме енергийния сектор и да видим как разрушителните NLP технологии като BERT позволяват нови случаи на използване на приложения. 

НЛП моделите могат да извличат информация от големи количества неструктурирани данни

Един от начините, по които могат да се използват НЛП моделите, е за извличане на критична информация от неструктурирани текстови данни. Имейли, дневници, бележки, регистрационни файлове и отчети са примери за текстови източници на данни, които са част от ежедневните операции на бизнеса. Някои от тези документи може да се окажат решаващи в организационните усилия за повишаване на оперативната ефективност и намаляване на разходите. 

Когато се стремите към изпълнение прогнозна поддръжка на вятърни турбини, доклади за повреда може да съдържа критична информация за поведението на различните компоненти. Но тъй като различните производители на вятърни турбини имат различни норми за събиране на данни (т.е. отчетите за поддръжка идват в различни формати и дори езици), ръчното идентифициране на съответните елементи от данни може бързо да стане скъпо за собственика на централата. Инструментите на НЛП могат да извличат подходящи концепции, атрибути и събития от неструктурирано съдържание. След това анализът на текст може да се използва за намиране на корелации и модели в различни източници на данни. Това дава възможност на собствениците на инсталации да прилагат предсказуема поддръжка въз основа на количествени мерки, идентифицирани в техните доклади за неизправности.

НЛП моделите могат да предоставят интерфейси за търсене на естествен език

По същия начин геолозите, работещи за петролни и газови компании, обикновено трябва да прегледат много документи, свързани с минали сондажни операции, сондажни файлове и сеизмични данни. Тъй като такива документи също идват в различни формати и обикновено са разпръснати на няколко места (както физически, така и цифрови), те губят много време в търсене на информация на грешни места. Жизнеспособно решение в такъв случай би било Интерфейс за търсене, задвижван от NLP, което ще позволи на потребителите да търсят данни на естествен език. След това един NLP модел може да съпостави данни в стотици документи и да върне набор от отговори на заявката. След това работниците могат да валидират резултата въз основа на собствените си експертни познания и обратната връзка допълнително ще подобри модела. 

Има обаче и технически съображения за внедряването на такива модели. Един аспект би бил, че специфичният за индустрията жаргон може да обърка традиционните модели на обучение, които нямат подходящо семантично разбиране. Второ, производителността на моделите може да бъде повлияна от размера на набора от данни за обучение. Това е моментът, когато предварително обучени модели като BERT могат да се окажат полезни. Контекстуалните представяния могат да моделират подходящото значение на думата и да премахнат всяко объркване, причинено от специфични за индустрията термини. Чрез използването на предварително обучени модели е възможно да се обучи мрежата на по-малки набори от данни. Това спестява време, енергия и ресурси, които иначе биха били необходими за обучение от нулата.

Какво ще кажете за вашия собствен бизнес? 

Сещате ли се за някакви НЛП задачи, които биха могли да ви помогнат да намалите разходите и да увеличите оперативната ефективност?

- Син оранжев цифров екипът за наука за данни се радва да промени BERT и за ваша полза!