AI-д суурилсан үүсгэгч бичих загварууд нь эх сурвалжийн өгөгдлийг байнга "хуулбарлах, буулгах"

Америкийн жүжгийн зохиолч, энтрепренёр Уилсон Мизнер 'Та нэг зохиолчоос хулгай хийх юм бол энэ нь хулгай юм; Хэрэв та олон хүнээс хулгай хийвэл энэ нь судалгаа юм.

Үүний нэгэн адил, эргэн тойронд таамаглал шинэ үе AI-д суурилсан бүтээлч бичих системүүдийн нэг нь асар их хэмжээний өгөгдөл сургалтын шатанд тэднийг хооллож жинхэнэ үр дүнд хүрсэн хийсвэрлэл өндөр түвшний үзэл баримтлал, санаа; Эдгээр системүүд нь оюун ухаан нь шинэлэг, эх бичвэрийг боловсруулж чадах мянга мянган зохиогчдын нэрмэл мэргэн ухааныг эзэмшдэг; мөн ийм системийг ашигладаг хүмүүс санамсаргүй байдлаар итгэмжлэгдсэн төлөөлөгчөөр хулгайн гэмт хэрэг үйлдээгүй гэдэгт итгэлтэй байж болно.

Энэ нь GPT цуврал гэх мэт машин сурах үүсгүүрийн хэлний загваруудыг олж тогтоосон судалгааны консорциумын (Facebook болон Microsoft-ын хиймэл оюун ухааны судалгааны хэлтэс зэрэг) шинэ баримт бичигт няцаагдсан таамаглал юм. 'маш урт хэсгүүдийг ч гэсэн хааяа хуулах' ямар ч хамааралгүйгээр анхны гаралт руу оруулав.

Зарим тохиолдолд GPT-2 нь сургалтын багцаас 1,000 гаруй үгийг хуулбарлах болно гэж зохиогчид тэмдэглэжээ.

The цаасан гэсэн гарчигтай Хэлний загварууд сургалтын мэдээллээс хэр их хуулж авдаг вэ? RAVEN ашиглан текст үүсгэх хэл шинжлэлийн шинэлэг байдлыг үнэлэх, бөгөөд Жонс Хопкинсийн их сургууль, Майкрософт судалгаа, Нью-Йоркийн их сургууль болон Facebook AI судалгааны хамтын ажиллагаа юм.

РАВЕН

Судалгаанд RAVEN (RAtingVERbalNovelty) хэмээх шинэ аргыг ашигласан бөгөөд сонгодог шүлгийн шувууны хорон санаатны дүрийг тусгахын тулд зугаатай тарчлаан зовоодог товчлол юм.

"Энэ товчлол нь Эдгар Аллан Погийн "Хэрээ"-г хэлж байгаа бөгөөд өгүүлэгч нь "Хэзээ ч үгүй!" гэж дахин дахин хашгирдаг нууцлаг хэрээтэй тааралддаг. Өгүүлэгч нь хэрээ хүний ​​сонссон зүйлийг зүгээр л давтаж байна уу, эсвэл өөрөө үгээ бүтээж байна уу (магадгүй хэзээ ч болон дэлгэрэнгүй)—манай цаасан дээр дурдсан үндсэн хоёрдмол утгатай зүйл.'

Шинэ баримт бичгийн үр дүн нь "энгийн" засварлах ажлыг орлох, тэр ч байтугай бүрэн хэмжээний контент бичих зорилготой AI контент бичих системүүдийн томоохон өсөлтийн хүрээнд гарч байна. Ийм нэг систем 21 сая доллар хүлээн авав цуврал A санхүүжилт энэ долоо хоногийн эхээр.

Судлаачид үүнийг тэмдэглэж байна 'GPT-2 заримдаа сургалтын хэсгүүдийг давтдаг 1,000 гаруй үгтэй." (тэдгээрийн онцлох зүйл), мөн үүсгэгч хэлний системүүд нь эх өгөгдлийн хэл шинжлэлийн алдааг түгээдэг.

RAVEN-ийн дагуу судлагдсан хэлний загварууд нь GPT-2 хүртэлх GPT цуврал хувилбарууд (тухайн үед зохиогчид GPT-3 ашиглах боломжгүй байсан), Transformer, Transformer-XL болон LSTM.

Шинэлэг зүйл

цаасан дээр GPT-2 зоос Буш 2 маягийн шигтгээ гэх мэт "Швейцарь", болон гарал үүсэл гэх мэт "IKEA", сургалтын явцад бий болсон өндөр хэмжээст орон зайнаас үүссэн хэл шинжлэлийн зарчмууд дээр ийм шинэ үгсийг (тэдгээр нь GPT-2-ийн сургалтын өгөгдөлд байдаггүй) бий болгох.

Үр дүн нь мөн "Transformer-XL-ээр үүсгэсэн өгүүлбэрүүдийн 74% нь ямар ч сургалтын өгүүлбэр байхгүй синтаксийн бүтэцтэй" болохыг харуулж байгаа нь зохиогчдын хэлснээр, 'Мэдрэлийн хэлний загварууд зүгээр л цээжилдэггүй; Үүний оронд тэд танил хэсгүүдийг шинэлэг арга замаар хослуулах боломжийг олгодог бүтээмжтэй процессуудыг ашигладаг.'

Техникийн хувьд ерөнхий ойлголт, хийсвэрлэл байх ёстой шинэлэг, шинэлэг текст гаргах.

Мэдээллийн давхардал нь асуудал байж болзошгүй

Уг баримт бичигт Байгалийн хэлний үүсгүүр (NLG) системээр бүтээгдсэн урт ба үгчлэн ишлэлүүд нь хиймэл оюун ухааны загварт бүхэлд нь "жигнэх" боломжтой болох бөгөөд учир нь эх сурвалжийн эх бичвэр нь хангалттай хуулбарлагдаагүй өгөгдлийн багцад хэд хэдэн удаа давтагддаг гэсэн онолтой.

Хэдийгээр өөр нэг судалгааны төсөл Зөвхөн эх бичвэр гарч ирсэн ч текстийн бүрэн давхардал үүсч болохыг олж мэдсэн нэг удаа өгөгдлийн багцад зохиогчид уг төсөл нь контент үүсгэгч AI системүүдийн нийтлэг хувилбараас ялгаатай концепцийн архитектуртай болохыг тэмдэглэжээ.

Зохиогчид хэл үүсгэх систем дэх код тайлах бүрэлдэхүүн хэсгийг өөрчлөх нь шинэлэг байдлыг нэмэгдүүлэх болно гэдгийг ажиглаж байгаа боловч энэ нь гаралтын чанарт сөргөөр нөлөөлж байгааг туршилтаас олж мэдсэн.

Түлшний контент үүсгэгч алгоритмуудын өгөгдлийн багц улам бүр томрох тусам нэмэлт асуудлууд гарч ирдэг. Мэдээллийн урьдчилсан боловсруулалт, чанарын баталгаа, мэдээллийн давхардлыг арилгах зэрэгтэй холбоотой асуудлыг улам хүндрүүлэхээс гадна, олон үндсэн алдаа хэвээр байна эх сурвалжийн өгөгдөлд, дараа нь AI-ийн агуулгын гаралтад тархдаг.

Зохиогчид тэмдэглэж байна*:

"Сүүлийн үед сургалтын багцын хэмжээ нэмэгдэж байгаа нь шинэлэг зүйл байгаа эсэхийг шалгахыг онцгой чухал болгож байна, учир нь эдгээр сургалтын багцын хэмжээ нь байгалийн жамаар юу болох талаар бидний зөн совингоо эвдэж чадна. Тухайлбал, зарим нэг онцлох ажил байна хэл Худалдан авах Тогтмол бус үйл үгийн өнгөрсөн цагийн тогтмол хэлбэрүүд (жишээ нь: болсон, заасан) суралцагчийн туршлагад байдаггүй гэсэн таамаглалд тулгуурладаг тул хэрэв суралцагч ийм үг гаргавал тэдгээр нь суралцагчийн хувьд шинэлэг байх ёстой.

"Гэхдээ англи хэл дээрх бүх 92 үндсэн жигд бус үйл үгийн хувьд GPT-2-ийн сургалтын багцад буруу тогтмол хэлбэр гарч ирдэг нь харагдаж байна."

Илүү их мэдээлэл цуглуулах шаардлагатай

Уг баримт бичигт өгөгдлийн "саатсан" туршилтын хэсэг (эх өгөгдлийн нэг хэсэг нь хэрхэн тест хийхэд зориулж тусгаарлагдсан) гэдгийг баталгаажуулахад онцгой анхаарал хандуулж, үүсгэгч хэлний системийг боловсруулахад шинэлэг зүйлд илүү анхаарал хандуулах шаардлагатай гэж үзэж байна. Эцсийн алгоритм нь бэлтгэгдсэн өгөгдлийн үндсэн хэсгийг үнэлдэг) даалгаварт тохиромжтой.

"Машины сургалтын хувьд туршилтын багц дээр загваруудыг үнэлэх нь маш чухал юм. Текст үүсгэх нээлттэй шинж чанараас шалтгаалан загварын үүсгэсэн текстийг сургалтын багцаас хуулж болох бөгөөд энэ тохиолдолд үүнийг нуухгүй—тиймээс загварыг үнэлэхэд (жишээ нь, уялдаа холбоо, дүрмийн хувьд) энэ өгөгдлийг ашиглах нь буруу юм. .'

Зохиогчид мөн шалтгааны улмаас хэлний загвар үйлдвэрлэхэд илүү анхаарал хандуулах шаардлагатай гэж үздэг Элиза эффект, 1966 онд тодорхойлсон синдром "Хүмүүс компьютерээр холбосон тэмдэгт, ялангуяа үг хэллэгийг ойлгохоос хамаагүй илүү ихийг унших чадвартай".

* Миний доторх ишлэлүүдийг гипер холбоос руу хөрвүүлэх