АИ 101 година
Што е NLU (разбирање природен јазик)?
Разбирање природен јазик (NLU) е технички концепт во рамките на пошироката тема за обработка на природниот јазик. NLU е процес одговорен за преведување на природни, човечки зборови во формат што компјутерот може да го протолкува. Во суштина, пред компјутерот да може да ги обработува податоците за јазикот, тој мора да ги разбере податоците.
Техниките за NLU вклучуваат употреба на заедничка синтакса и граматички правила за да му се овозможи на компјутерот да го разбере значењето и контекстот на природниот човечки јазик. Крајната цел на овие техники е компјутерот да има „интуитивно“ разбирање на јазикот, способен да пишува и разбира јазик исто како што тоа го прави човекот, без постојано да се повикува на дефинициите на зборовите.
Дефинирање на NLU (разбирање природен јазик)
Постојат бројни техники кои компјутерските научници и експертите за НЛП ги користат за да им овозможат на компјутерите да го разберат човечкиот јазик. Повеќето техники спаѓаат во категоријата „синтаксичка анализа“. Синтаксичките аналитички техники вклучуваат:
- лематизација
- расположение
- сегментација на зборови
- парсирање
- морфолошка сегментација
- прекршување на реченицата
- дел од означување на говорот
Овие синтаксички аналитички техники применуваат граматички правила на групи зборови и се обидуваат да ги користат овие правила за да извлечат значење. Спротивно на тоа, NLU работи со користење на техники за „семантичка анализа“.
Семантичката анализа применува компјутерски алгоритми на текстот, обидувајќи се да го разбере значењето на зборовите во нивниот природен контекст, наместо да се потпира на пристапи засновани на правила. Граматичката точност/неточност на фразата не мора да биде во корелација со валидноста на фразата. Може да има фрази кои се граматички точни, но безначајни, и фрази кои се граматички неточни, но имаат значење. Со цел да се разликуваат најзначајните аспекти на зборовите, NLU применува разновидни техники наменети да го откријат значењето на група зборови со помалку потпирање на граматичката структура и правила.
NLU е поле кое се развива и се менува и се смета за еден од најтешките проблеми на вештачката интелигенција. Различни техники и алатки се развиваат за да им се даде на машините разбирање на човечкиот јазик. Повеќето NLU системи имаат одредени основни заеднички компоненти. Потребен е лексикон за јазикот, како и некој вид анализатор на текст и граматички правила кои ќе го водат создавањето на текстуални претстави. Системот бара и теорија на семантика за да се овозможи разбирање на претставите. Постојат различни семантички теории кои се користат за толкување на јазикот, како што се стохастичка семантичка анализа или наивна семантика.
Вообичаените NLU техники вклучуваат:
Препознавање на именуван ентитет е процес на препознавање на „именувани ентитети“, кои се луѓе и важни места/работи. Препознавањето именуван ентитет функционира така што ги разликува основните концепти и референци во телото, ги идентификува именуваните ентитети и ги става во категории како локации, датуми, организации, луѓе, дела итн. Надгледуваните модели засновани на граматички правила обично се користат за извршување на NER задачи.
Појаснување со смисла на зборот е процес на одредување на значењето или смислата на зборот врз основа на контекстот во кој се појавува зборот. Појаснувањето на смислата на зборот често користи дел од означувачите на говор со цел да се контекстуализира целниот збор. Надгледуваните методи за појаснување на смислата на зборот го вклучуваат корисникот на векторските машини за поддршка и учењето базирано на меморија. Сепак, повеќето модели за појаснување на смислата на зборовите се полу-надгледувани модели кои користат и означени и неозначени податоци.
Примери за NLU (разбирање природен јазик)
Вообичаени примери на NLU вклучуваат автоматско расудување, автоматско рутирање на билети, машински превод и одговарање на прашања.
Автоматско расудување
Автоматско расудување е дисциплина која има за цел да им даде на машините им се дава тип на логика или расудување. Тоа е гранка на когнитивната наука која се труди да направи заклучоци врз основа на медицински дијагнози или програмски/автоматски да решава математички теореми. NLU се користи за да помогне при собирање и анализа на информации и генерирање заклучоци врз основа на информациите.
Автоматско рутирање на билети
NLU често се користи за автоматизирање на задачите за услуги на клиентите. Кога се генерира билет за услуги на клиентите, четботите и другите машини можат да ја протолкуваат основната природа на потребите на клиентите и да ги пренасочат до правилниот оддел. Компаниите добиваат илјадници барања за поддршка секој ден, така што алгоритмите на NLU се корисни за давање приоритет на билетите и овозможување на агентите за поддршка да се справат со нив на поефикасни начини.
Машински превод
Тешко е точно да се преведе говор или текст од еден јазик на друг јазик. Всушност, машински превод е еден од најтешките проблеми во НЛП и НЛУ. Многу системи за машинско преведување се потпираат на лингвистички правила за преведување меѓу јазиците, но истражувачите бараат пософистицирани начини на преведување меѓу јазиците. Машинскиот превод на NLU се обидува да овозможи прецизно преведување со зачувување на контекстот и семантичките информации поврзани со целниот текст. Најточните системи за машинско преведување комбинираат јазични правила со алгоритми кои извлекуваат семантичко значење.
Прашање Одговарање
Препознавањето говор користи NLU техники за да им дозволи на компјутерите разбираат прашања поставени со природен јазик. NLU се користи за да им се даде на корисниците на уредот одговор на нивниот природен јазик, наместо да им се обезбеди листа на можни одговори. Кога му поставувате прашање на дигитален асистент, NLU се користи за да им помогне на машините да ги разберат прашањата, избирајќи ги најсоодветните одговори врз основа на карактеристики како што се препознаените ентитети и контекстот на претходните изјави.
