Overfitting гэж юу вэ?

Overfitting гэж юу вэ?

Мэдрэлийн сүлжээг сургахдаа хэт ачаалал өгөхөөс зайлсхийх хэрэгтэй. Хэт их тохирох Энэ нь загвар нь сургалтын өгөгдлийн багцын хэв маягийг хэт сайн сурдаг, сургалтын өгөгдлийн багцыг төгс тайлбарладаг боловч бусад багц өгөгдөлд урьдчилан таамаглах хүчийг нэгтгэж чаддаггүй машин сургалт, статистикийн асуудал юм.

Өөрөөр хэлбэл, хэт тохирох загвар нь сургалтын өгөгдлийн багцад маш өндөр нарийвчлалыг харуулах боловч цуглуулсан өгөгдөлд бага нарийвчлалтай байх болно. Энэ бол хэт таарах гэсэн товч тодорхойлолт боловч хэт их тохирох тухай ойлголтыг илүү дэлгэрэнгүй авч үзье. Хэрхэн хэт их таарах, түүнээс хэрхэн зайлсхийх талаар авч үзье.

"Тохирох" ба дутуу тохирох тухай ойлголт

Дутуу тохирох гэсэн ойлголтыг авч үзэх нь тустай бөгөөд "таарах” ерөнхийдөө хэт зохицох тухай хэлэлцэх үед. Загварыг сургахдаа бид тухайн зүйлийг тодорхойлсон шинж чанарууд дээр үндэслэн өгөгдлийн багц доторх зүйлүүдийн мөн чанар, ангиллыг урьдчилан таамаглах чадвартай хүрээг хөгжүүлэхийг оролдож байна. Загвар нь өгөгдлийн багц доторх загварыг тайлбарлаж, энэ загварт үндэслэн ирээдүйн өгөгдлийн цэгүүдийн ангиллыг урьдчилан таамаглах чадвартай байх ёстой. Загвар нь сургалтын багцын онцлог хоорондын хамаарлыг хэдий чинээ сайн тайлбарлана, төдий чинээ бидний загвар “тохиромжтой” байна.

Цэнхэр шугам нь тохиромжгүй загварын таамаглалыг илэрхийлдэг бол ногоон шугам нь илүү тохиромжтой загварыг илэрхийлдэг. Зураг: Пеп Рока Wikimedia Commons, CC BY SA 3.0, (https://commons.wikimedia.org/wiki/File:Reg_ls_curvil%C3%ADnia.svg)

Сургалтын өгөгдлийн шинж чанаруудын хоорондын хамаарлыг муу тайлбарлаж, ирээдүйн өгөгдлийн жишээг үнэн зөв ангилж чадахгүй загвар нь тохиромжгүй сургалтын өгөгдөл. Хэрэв та дутуу тохирох загварын таамагласан хамаарлыг функц болон шошгуудын бодит огтлолцлын эсрэг графикаар зурвал таамаглал нь тэмдэгтээс хазайх болно. Хэрэв бид сургалтын багцын бодит утгуудыг тэмдэглэсэн графиктай байсан бол маш дутуу загвар нь өгөгдлийн цэгүүдийн ихэнхийг эрс алдах болно. Илүү сайн тохирох загвар нь өгөгдлийн цэгүүдийн төв дундуур замыг огтолж болох бөгөөд өгөгдлийн цэгүүд нь урьдчилан таамагласан утгуудаас бага зэрэг хол байна.

Нарийвчлалтай загварыг бий болгоход хангалттай өгөгдөл байхгүй эсвэл шугаман бус өгөгдлөөр шугаман загвар зохион бүтээх гэж оролдох үед дутуу тохирох нь ихэвчлэн тохиолддог. Илүү их сургалтын өгөгдөл эсвэл илүү олон функцууд нь дутуу тохирох байдлыг багасгахад тусалдаг.

Тэгвэл яагаад бид сургалтын өгөгдлийн цэг бүрийг төгс тайлбарлах загварыг бий болгож болохгүй гэж? Мэдээжийн хэрэг төгс нарийвчлалыг хүсч байна уу? Сургалтын өгөгдлийн хэв маягийг хэт сайн сурсан загварыг бий болгох нь хэт тохирох шалтгаан болдог. Сургалтын өгөгдлийн багц болон бусад ирээдүйн өгөгдлийн багц нь загвар дээр яг адилхан биш байх болно. Тэд олон талаараа маш төстэй байх магадлалтай, гэхдээ тэдгээр нь гол зүйлээрээ ялгаатай байх болно. Тиймээс сургалтын өгөгдлийн багцыг төгс тайлбарласан загвар зохион бүтээнэ гэдэг нь бусад өгөгдлийн багцад төдийлөн ерөнхийдөө тохирохгүй шинж чанаруудын хоорондын хамаарлын тухай онолыг олж авна гэсэн үг.

Overfitting-ийн тухай ойлголт

Загвар нь сургалтын өгөгдлийн багц доторх нарийн ширийн зүйлийг хэт сайн сурсан тохиолдолд хэт тохирох байдал үүсдэг бөгөөд энэ нь гадны өгөгдөл дээр таамаглал гаргахад загварт хүндрэл учруулдаг. Загвар нь зөвхөн өгөгдлийн багцын онцлог шинж чанарыг судлахаас гадна санамсаргүй хэлбэлзлийг сурч мэдсэн тохиолдолд энэ нь тохиолдож болно дуу чимээ өгөгдлийн багц дотор эдгээр санамсаргүй/чухал бус тохиолдлуудад ач холбогдол өгөх.

Өгөгдлийн шинж чанарыг судлахад илүү уян хатан байдаг тул шугаман бус загваруудыг ашиглах үед хэт тохируулга хийх магадлал өндөр байдаг. Параметрийн бус машин сургалтын алгоритмууд нь загварын өгөгдөлд мэдрэмтгий байдлыг хязгаарлаж, улмаар хэт тохируулгыг багасгах зорилгоор ашиглаж болох янз бүрийн параметр, техниктэй байдаг. Жишээлбэл, шийдвэрийн модны загварууд Эдгээр нь хэт тохируулгад маш мэдрэмтгий байдаг боловч тайралт гэж нэрлэгддэг техникийг ашиглан загвар өмсөгчдийн сурч мэдсэн зарим нарийн ширийн зүйлийг санамсаргүйгээр арилгах боломжтой.

Хэрэв та X ба Y тэнхлэг дээрх загварын таамаглалыг графикаар гаргавал нааш цааш зигзаг эргэлддэг таамаглалын шугамтай байх бөгөөд энэ нь загвар нь өгөгдлийн багц дахь бүх цэгүүдийг багтаах гэж хэт их хичээсэн болохыг харуулж байна. түүний тайлбар.

Хэт тохируулгыг хянах

Загвар өмсөгчийг сургахдаа бид загвараа алдаа гаргахгүй байхыг хүсдэг. Загварын гүйцэтгэл нь сургалтын өгөгдлийн багц дахь бүх өгөгдлийн цэгүүд дээр зөв таамаглал гаргахад нэгдэх үед тохирох байдал сайжирч байна. Тохиромжтой загвар нь бараг бүх сургалтын өгөгдлийн багцыг хэт тохируулалгүйгээр тайлбарлах чадвартай.

Загвар өмсөгчдийн хувьд цаг хугацаа өнгөрөх тусам гүйцэтгэл нь сайжирдаг. Сургалтын хугацаа өнгөрөх тусам загварын алдааны түвшин буурах боловч тодорхой цэг хүртэл буурдаг. Туршилтын багц дээрх загварын гүйцэтгэл дахин өсөж эхлэх цэг нь ихэвчлэн хэт тохируулагдсан үе юм. Загварт хамгийн сайн тохирохыг авахын тулд алдаа дахин нэмэгдэж эхлэхээс өмнө сургалтын багц дээрх хамгийн бага алдагдалтай үед загварыг сургахаа зогсоохыг хүсч байна. Сургалтын туршид загварын гүйцэтгэлийг графикаар зурж, хамгийн бага алдагдалтай үед сургалтыг зогсоох замаар оновчтой зогсоох цэгийг тодорхойлж болно. Гэсэн хэдий ч, хэт тохируулгыг хянах ийм аргын нэг эрсдэл нь туршилтын гүйцэтгэлд үндэслэн сургалтын төгсгөлийн цэгийг зааж өгөх нь туршилтын өгөгдөл сургалтын журамд тодорхой хэмжээгээр орж, цэвэр "хүрээгүй" өгөгдлийн статусаа алддаг гэсэн үг юм.

Хэт тохируулгатай тэмцэх хэд хэдэн арга байдаг. Хэт тохируулгыг багасгах нэг арга бол загварын нарийвчлалыг тооцоолох замаар дахин түүвэрлэх тактикийг ашиглах явдал юм. Та бас ашиглаж болно баталгаажуулалтын тестийн багцаас гадна өгөгдлийн багц болон сургалтын нарийвчлалыг туршилтын өгөгдлийн багцын оронд баталгаажуулалтын багцтай харьцуулна. Энэ нь таны тестийн өгөгдлийн багцыг харагдахгүй байлгадаг. Дахин дээж авах түгээмэл арга бол K-атираа хөндлөн баталгаажуулалт юм. Энэхүү техник нь танд өгөгдлөө тухайн загварт сургагдсан дэд бүлэгт хуваах боломжийг олгодог бөгөөд дараа нь тухайн загвар нь гаднах өгөгдөл дээр хэрхэн ажиллахыг тооцоолохын тулд дэд олонлогууд дээрх загварын гүйцэтгэлд дүн шинжилгээ хийдэг.

Хөндлөн баталгаажуулалтыг ашиглах нь үл үзэгдэх өгөгдлүүд дээр загварын үнэн зөвийг үнэлэх хамгийн сайн аргуудын нэг бөгөөд баталгаажуулалтын өгөгдлийн багцтай хослуулсан тохиолдолд хэт тохируулгыг хамгийн бага хэмжээнд байлгах боломжтой.