AI 101
Mikä on NLU (Natural Language Understanding)?
Luonnollisen kielen ymmärtäminen (NLU) on tekninen käsite laajemmassa luonnollisen kielen käsittelyn aiheessa. NLU on prosessi, joka vastaa luonnollisten, inhimillisten sanojen kääntämisestä muotoon, jonka tietokone voi tulkita. Pohjimmiltaan, ennen kuin tietokone voi käsitellä kielitietoja, sen on ymmärrettävä tiedot.
NLU:n tekniikoihin kuuluu yleisten syntaksien ja kielioppisääntöjen käyttö, jotta tietokone voi ymmärtää ihmisen luonnollisen kielen merkityksen ja kontekstin. Näiden tekniikoiden perimmäisenä tavoitteena on, että tietokone oppii "intuitiivisen" kielen ymmärtämisen, kykenee kirjoittamaan ja ymmärtämään kieltä aivan kuten ihminenkin, ilman jatkuvaa viittausta sanojen määritelmiin.
NLU:n (Natural Language Understanding) määrittely
Tietojenkäsittelytieteilijät ja NLP-asiantuntijat käyttävät lukuisia tekniikoita, joiden avulla tietokoneet voivat ymmärtää ihmisten kieltä. Suurin osa tekniikoista kuuluu "syntaktisen analyysin" luokkaan. Syntaktisia analyyttisiä tekniikoita ovat:
- lemmatisaatio
- aiheutuvat
- sanan segmentointi
- jäsentäminen
- morfologinen segmentointi
- lauseen rikkominen
- osa puhetunnisteista
Nämä syntaktiset analyyttiset tekniikat soveltavat kielioppisääntöjä sanaryhmiin ja yrittävät käyttää näitä sääntöjä merkityksen johtamiseen. Sitä vastoin NLU toimii "semanttisen analyysin" tekniikoilla.
Semanttinen analyysi soveltaa tekstiin tietokonealgoritmeja yrittäen ymmärtää sanojen merkityksen niiden luonnollisessa kontekstissa sen sijaan, että luottaisi sääntöihin perustuviin lähestymistapoihin. Ilmauksen kieliopillinen oikeellisuus/virhe ei välttämättä korreloi lauseen pätevyyden kanssa. Voi olla lauseita, jotka ovat kieliopillisesti oikeita mutta merkityksettömiä, ja lauseita, jotka ovat kieliopillisesti virheellisiä, mutta joilla on merkitys. Sanojen merkityksellisimpien osien erottamiseksi NLU käyttää erilaisia tekniikoita, joiden tarkoituksena on poimia sanaryhmän merkitys vähemmän kieliopilliseen rakenteeseen ja sääntöihin perustuen.
NLU on kehittyvä ja muuttuva ala, ja sitä pidetään yhtenä tekoälyn vaikeimmista ongelmista. Erilaisia tekniikoita ja työkaluja kehitetään, jotta koneet ymmärtävät ihmisten kieltä. Useimmilla NLU-järjestelmillä on tiettyjä yhteisiä ydinkomponentteja. Kielen sanasto vaaditaan, samoin kuin tietyntyyppiset tekstin jäsennys- ja kielioppisäännöt, jotka ohjaavat tekstiesitysten luomista. Järjestelmä vaatii myös semantiikan teorian, jotta esitysten ymmärtäminen olisi mahdollista. Kielen tulkitsemiseen käytetään erilaisia semanttisia teorioita, kuten stokastinen semanttinen analyysi tai naiivi semantiikka.
Yleisiä NLU-tekniikoita ovat:
Nimettyjen entiteettien tunnistus on prosessi, jossa tunnistetaan "nimettyjä kokonaisuuksia", jotka ovat ihmisiä ja tärkeitä paikkoja/asioita. Nimettyjen entiteettien tunnistus toimii erottamalla peruskäsitteet ja viittaukset tekstissä, tunnistamalla nimetyt entiteetit ja sijoittamalla ne luokkiin, kuten paikat, päivämäärät, organisaatiot, ihmiset, teokset jne. Kielioppisääntöihin perustuvia valvottuja malleja käytetään tyypillisesti NER:n suorittamiseen. tehtäviä.
Sanan merkityksen yksiselitteisyys on prosessi, jossa määritetään sanan merkitys sen kontekstin perusteella, jossa sana esiintyy. Sanamerkityksissä käytetään usein osan puhetunnisteita kohdesanan kontekstualisoimiseksi. Valvottuja sanajärjestyksen menetelmiä ovat tukivektorikoneiden käyttäjä ja muistiin perustuva oppiminen. Useimmat sanamerkityksityismallit ovat kuitenkin puolivalvottuja malleja, jotka käyttävät sekä merkittyjä että merkitsemättömiä tietoja.
Esimerkkejä luonnollisesta kielen ymmärtämisestä (NLU)
Yleisiä esimerkkejä NLU:sta ovat automaattinen päättely, automaattinen lippujen reititys, konekäännös ja kysymyksiin vastaaminen.
Automaattinen päättely
Automaattinen päättely on tieteenala, jonka tavoitteena on antaa koneille tietynlainen logiikka tai päättely. Se on kognitiivisen tieteen haara, joka pyrkii tekemään päätelmiä lääketieteellisten diagnoosien perusteella tai ratkaisemaan ohjelmallisesti/automaattisesti matemaattisia lauseita. NLU:ta käytetään tiedon keräämiseen ja analysointiin sekä johtopäätösten tekemiseen tiedon perusteella.
Automaattinen lippujen reititys
NLU:ta käytetään usein asiakaspalvelutehtävien automatisointiin. Kun asiakaspalvelulippu syntyy, chatbotit ja muut koneet pystyvät tulkitsemaan asiakkaan tarpeen perusluonteen ja ohjaamaan heidät oikealle osastolle. Yritykset saavat tuhansia tukipyyntöjä joka päivä, joten NLU-algoritmit ovat hyödyllisiä lippujen priorisoinnissa ja tukiagenttien avulla niiden käsittelyssä tehokkaammin.
Konekäännös
Puhetta tai tekstiä on vaikea kääntää tarkasti kielestä toiseen. Itse asiassa, konekäännös on yksi NLP:n ja NLU:n vaikeimmista ongelmista. Monet konekäännösjärjestelmät luottavat kielellisiin sääntöihin kääntäessään kielten välillä, mutta tutkijat etsivät kehittyneempiä tapoja kääntää kielten välillä. NLU-konekäännös yrittää mahdollistaa tarkemman käännöksen säilyttämällä kohdetekstiin liittyvän kontekstin ja semanttisen tiedon. Tarkimmat konekäännösjärjestelmät yhdistävät kielelliset säännöt algoritmeihin, jotka poimivat semanttisen merkityksen.
Kysymykseen vastaaminen
Puheentunnistus käyttää NLU-tekniikoita tietokoneiden sallimiseen ymmärtää kysymyksiä poseerasi luonnollisella kielellä. NLU:ta käytetään antamaan laitteen käyttäjille vastaus heidän luonnollisella kielellään sen sijaan, että heille tarjotaan luettelo mahdollisista vastauksista. Kun kysyt digitaaliselle avustajalle kysymyksen, NLU:ta käytetään auttamaan koneita ymmärtämään kysymykset ja valitsemaan sopivimmat vastaukset ominaisuuksien, kuten tunnistettujen entiteettien ja aikaisempien lausuntojen kontekstin perusteella.
