AI:n perusteet
Mikä on NLU (Natural Language Understanding)?
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Luonnollisen kielen ymmärtäminen (NLU) on tekninen käsite laajemmassa luonnollisen kielen prosessoinnin aihepiirissä. NLU on prosessi, joka vastaa luonnollisten, ihmisten sanojen kääntämisestä tietokoneen tulkitsemassa muodossa. Olennaisesti, ennen kuin tietokone voi prosessoida kieltä, se on ymmärrettävä tiedot.
Tekniikat NLU: n käyttöön sisältävät yleisen syntaksin ja kieliopin sääntöjen käytön, jotta tietokone voi ymmärtää luonnollisen ihmisen kielen merkityksen ja kontekstin. Näiden tekniikkojen lopullinen tavoite on, että tietokone saa “intuitiivisen” ymmärryksen kielen, pystyen kirjoittamaan ja ymmärtämään kieltä samalla tavalla kuin ihminen, ilman jatkuvaa viittauksia sanojen määritelmiin.
NLU: n määrittely (Natural Language Understanding)
On olemassa useita tekniikoita, joita tietokoneen tutkijat ja NLP-asiantuntijat käyttävät salliakseen tietokoneiden ymmärtää ihmisten kieltä. Useimmat näistä tekniikoista kuuluvat “syntaktisen analyysin” luokkaan. Syntaktisen analyysin tekniikat sisältävät:
- lemmatisointi
- juurenmuodostus
- sanaerottelu
- parsiminen
- morfologinen segmentointi
- lauseen rikkominen
- sanaluokan määritys
Nämä syntaktisen analyysin tekniikat soveltavat kieliopin sääntöjä sanojen ryhmiin ja yrittävät käyttää näitä sääntöjä merkityksen johtamiseen. Toisaalta NLU toimii “semanttisen analyysin” tekniikoiden avulla.
Semanttinen analyysi soveltaa tietokonealgoritmeja tekstin analyysiin, yrittäen ymmärtää sanojen merkitystä luonnollisessa kontekstissaan, sen sijaan että riippuisi sääntöpohjaisista lähestymistavoista. Lauseen kieliopillinen oikein / väärin -suhteuttaaminen ei välttämättä korreloi lauseen pätevyyden kanssa. On olemassa lauseita, jotka ovat kieliopillisesti oikein, mutta merkityksettömiä, ja lauseita, jotka ovat kieliopillisesti väärin, mutta joilla on merkitys. Jotta voidaan erottaa sanojen merkityksellisimmät osat, NLU soveltaa useita tekniikoita, joiden tarkoituksena on havaita sanaryhmän merkitys riippumatta kieliopillisesta rakenteesta ja säännöistä.
NLU on kehittyvä ja muuttuva ala, ja se on yksi AI: n vaikeista ongelmista. Eri tekniikoita ja työkaluja kehitetään antamaan koneille ymmärrys ihmisten kielestä. Useimmat NLU-järjestelmät ovat yhteisiä ydinosaamisalueita. Kielen sanasto vaaditaan, samoin kuin jokin tekstiparseri ja kieliopin säännöt, jotta voidaan luoda tekstiesityksiä. Järjestelmä vaatii myös semantiikan teorian, jotta voidaan ymmärtää esityksiä. On olemassa useita semantiikkaa tulkinnassa käytettäviä teorioita, kuten stokastinen semantiikka-analyysi tai viattomat semantiikat.
Yleisiä NLU-tekniikoita ovat:
Nimettyn tunnistaminen on prosessi, jossa “nimetyt entiteetit” tunnistetaan, jotka ovat henkilöitä ja tärkeitä paikkoja / asioita. Nimettyn tunnistaminen toimii erottamalla peruskäsitteitä ja viittauksia tekstikappaleessa, tunnistamalla nimetyt entiteetit ja luokittelemalla ne kategorioiden mukaan kuten sijainnit, päivämäärät, organisaatiot, henkilöt, teokset jne. Ohjattuja malleja, jotka perustuvat kieliopin sääntöihin, käytetään yleensä suorittamaan NER-tehtäviä.
Sanamerkityksen erottelu on prosessi, jossa määritetään sanan merkitys tai merkitys sen mukaan, missä kontekstissa sana esiintyy. Sanamerkityksen erottelussa käytetään usein sana-luokan määrittämistä kohdesanan kontekstualisointiin. Ohjatut menetelmät sanamerkityksen erottelussa sisältävät tukivektori-koneiden ja muisti-pohjaisen oppimisen käytön. Kuitenkin useimmat sanamerkityksen erottelumallit ovat puoli-ohjattuja malleja, jotka käyttävät sekä merkittyjä että merkitsemättömiä tietoja.
NLU: n esimerkkejä (Natural Language Understanding)
Yleisiä NLU: n esimerkkejä ovat automaattinen päättely, automaattinen lipun reititys, konekäännös ja kysymys-vastaus.
Automaattinen päättely
Automaattinen päättely on tieteenala, joka pyrkii antamaan koneille logiikkaa tai päättelykykyä. Se on kognitiivisen tieteen haara, joka pyrkii tekemään johtopäätöksiä lääketieteellisten diagnoosien tai ohjelmallisesti / automaattisesti ratkaisemalla matemaattisia teoreemoja. NLU: ta käytetään auttamaan tietojen keräämisessä ja analysoinnissa sekä johtopäätösten tekemisessä tiedon perusteella.
Automaattinen lipun reititys
NLU: ta käytetään usein asiakaspalvelutehtävien automatisointiin. Kun asiakaspalvelulippu luodaan, chatbotit ja muut koneet voivat tulkita asiakkaan tarpeen perusluonteen ja ohjata heidät oikeaan osastoon. Yritykset saavat tuhansia tukipyynnöksiä joka päivä, joten NLU-algoritmit ovat hyödyllisiä lipun priorisoinnissa ja sallivat asiakastukihenkilöiden käsitellä niitä tehokkaammin.
Konekäännös
On vaikea kääntää puheen tai tekstin tarkasti toisesta kielestä toiseen. Itseasiassa konekäännös on yksi vaikeimmista ongelmista NLP: ssä ja NLU: ssä. Monet konekäännösjärjestelmät perustuvat kielellisiin sääntöihin kääntääkseen kielten välillä, mutta tutkijat etsivät monimutkaisempia tapoja kääntää kielten välillä. NLU-konekäännös pyrkii sallimaan tarkemman käännöksen säilyttämällä kontekstin ja semanttisen tiedon kohdekielestä. Tarkin konekäännösjärjestelmä yhdistää kielelliset säännöt algoritmeihin, jotka poistavat semanttisen merkityksen.
Kysymys-vastaus
Puhetunnistus käyttää NLU-tekniikoita salliakseen tietokoneiden ymmärtää kysymyksiä, jotka esitetään luonnollisella kielellä. NLU: ta käytetään antamaan laitteen käyttäjille vastaus heidän luonnollisella kielellään, sen sijaan että tarjotaan lista mahdollisista vastauksista. Kun kysyt digitaaliselta avustajalta kysymyksen, NLU: ta käytetään auttamaan koneita ymmärtämään kysymyksiä, valitsemalla sopivimmat vastaukset ominaisuuksien perusteella, kuten tunnistetut entiteetit ja aiempien lauseiden konteksti.
