Baidu Google болон Microsoft-ыг ардаа орхиж, хэлийг ойлгох шинэ техник бүтээв

Хятадын хамгийн том технологийн компаниудын нэг Baidu саяхан хиймэл оюун ухаанд хэлийг ойлгоход сургах шинэ аргыг боловсруулжээ. гэх мэт TechnologyReview мэдээлэв, компани саяхан ерөнхий хэл ба ойлголтын үнэлгээний (GLUE) тэмцээнд Microsoft болон Google-ийг хожиж, хамгийн сүүлийн үеийн үр дүнд хүрсэн.

GLUE нь есөн өөр тестээс бүрдэх бөгөөд шалгалт бүр нь өгүүлбэр дэх нэгжийн нэрийг ялгах, олон тооны боломжит нэр дэвшигчид байгаа үед "энэ" төлөөний үгийг ямар нөхцөлд ашиглаж байгааг ялгах гэх мэт хэлийг ойлгоход чухал ач холбогдолтой өөр өөр даалгаврыг хэмждэг. . Дундаж хүн Цавуу дээр 87 оноо авахаас 100 орчим оноо авдаг. Baidu-гийн шинэ загвар, ЭРНИ, 90 онооны босго давлаа.

Судлаачид GLUE дээр загваруудынхаа гүйцэтгэлийг сайжруулахыг үргэлж хичээдэг тул Baidu-ийн тогтоосон одоогийн стандарт удахгүй халагдах болно. Гэсэн хэдий ч Baidu-ийн ололт амжилтыг онцлох зүйл бол тэдний хэрэглэж буй сургалтын арга барил нь бусад хэлийг нэгтгэх боломжтой юм шиг санагддаг. Хэдийгээр энэ загварыг хятад хэлээр тайлбарлах зорилгоор боловсруулсан ч ижил зарчмууд нь англи хэлийг илүү сайн болгож, орчуулдаг. ERNIE нь "Мэдлэгийн интеграцчлалаар дамжуулан сайжруулсан төлөөлөл" гэсэн үг бөгөөд энэ нь мэдээллийн хөгжлийг дагадаг. БЕРТ  (“Transformers-аас хоёр чиглэлт кодлогчийн төлөөлөл”) хэлний загвар.

BERT нь хоёр чиглэлтэй загвар байсан тул хэлний ойлголтын шинэ стандартыг тогтоосон. Өмнөх хэлний загварууд нь зорилтот үгийн өмнө эсвэл хойно орж ирсэн үгийг контекст болгон харж, зөвхөн нэг "чиглэлд" урсаж буй өгөгдлийг тайлбарлах чадвартай байсан. BERT зорилтот үгийн утгыг ойлгоход туслах өгүүлбэрт өмнөх болон хожмын үгсийг хоёуланг нь ашиглаж болох хоёр чиглэлтэй аргыг хэрэгжүүлж чадсан. BERT нь хоёр чиглэлтэй дүн шинжилгээ хийх, өгүүлбэрт ямар нэг үгийг сонгох, нуух боломжтой болгохын тулд маск хийх аргыг ашигладаг бөгөөд энэ нь тухайн үгийн боломжит контекстийг өмнөх болон дараагийн контекстийн сэдвүүдэд хуваадаг.

Англи хэл дээрх үг нь зонхилох семантик нэгж бөгөөд хүмүүс утгыг ялгахын тулд бие даасан тэмдэгтүүдээс илүү бүх үгийг хардаг. Үгийг контекстээс нь хасаад тэр үг нь утгаараа хэвээр байх боломжтой бөгөөд бие даасан тэмдэгтүүдийн утга бараг үргэлж ижил байдаг. Үүний эсрэгээр, хятад хэл утгыг ялгахдаа тэмдэгтүүд бусад тэмдэгтүүдтэй хэрхэн таарч байгаагаас илүү их хамаардаг. Баатрууд нь эргэн тойрныхоо дүрүүдээс хамаарч өөр өөр утгатай байж болно.

Baidu судалгааны баг үндсэндээ BERT-ийн хэрэглэж байсан загварыг авч, түүнийг өргөтгөж, бүтэн үгсийн оронд тэмдэгтийн мөрүүдийг нуусан. AI системийг мөн тэмдэгтүүдийн зөв мөрүүдийг далдлахын тулд санамсаргүй тэмдэгт мөрүүд болон утга учиртай мөрүүдийг хооронд нь ялгахад сургасан. Энэ нь ERNIE-г текстийн баримтаас мэдээлэл авах, машин орчуулга хийх чадвартай болгодог. Судалгааны багийнхан мөн тэдний сургалтын арга барилын үр дүнд англи хэллэгийг бусад олон загвараас илүү сайн ялгаж чаддаг загварыг олж мэдсэн. Учир нь англи хэл заримдаа дангаараа болон нийлсэн үедээ өөр өөр утгыг илэрхийлдэг үгийн хослолыг ховор боловч ашигладаг. "Хуучин блокийг чип" гэх мэт зохих нэр, хэлц үг эсвэл ярианы хэллэг нь ийм хэл шинжлэлийн үзэгдлийн жишээ юм.

ERNIE нь гүйцэтгэлийг оновчтой болгохын тулд догол мөрүүдийг тайлбарлахдаа өгүүлбэрийн дараалал, зайд дүн шинжилгээ хийх зэрэг сургалтын бусад олон аргыг ашигладаг. Тасралтгүй сургалтын аргыг мөн ашигладаг бөгөөд энэ нь ERNIE-д өмнө нь олж авсан мэдлэгээ марталгүйгээр шинэ өгөгдөл дээр сургах, шинэ хэв маягт суралцах боломжийг олгодог.

Baidu одоогоор хайлтын үр дүнгийн чанарыг сайжруулахын тулд ERNIE-г ашиглаж байна. ERNIE-ийн хамгийн сүүлийн үеийн архитектурыг 2020 онд болох Хиймэл оюун ухааныг хөгжүүлэх нийгэмлэгийн бага хуралд танилцуулах илтгэлд дэлгэрэнгүй тайлбарлах болно.