Хэт тайлбарлах нь хэт зохицохоос илүү том бөгөөд даван туулах боломжгүй аюул байж магадгүй юм

Хэрэв таны сайн найз Алис шар цамц өмсөх дуртай бол та жирийн хүнээс хамаагүй илүү шар цамцыг харах болно. Хэсэг хугацааны дараа энэ нь магадгүй та харах үед а өөр өөр шар цамц өмссөн эмэгтэй, үндсэн ойлголт Алис санаанд буух болно.

Хэрэв та шар цамц өмссөн эмэгтэйг харвал хэн төстэй юм Алис бага зэрэг, чи түүнийг найзтайгаа андуурч магадгүй.

Гэхдээ тийм үгүй биш Алис. Эцсийн эцэст та үүнийг ойлгох болно шар цамц Энэ нь Алисыг зун хэзээ ч өмсдөггүй, өвлийн улиралд ч өмсдөггүй тул түүнийг танихад тустай түлхүүр биш юм. Нөхөрлөлийн зарим арга зам бол та зэрэглэлээ бууруулж эхэлнэ шар цамц аль болох Алис танигч, учир нь таны туршлага хангалтгүй байсан бөгөөд үүнийг хадгалахад ашигласан танин мэдэхүйн энерги богино холболт байнга шагнуулдаггүй.

Хэрэв та компьютерийн хараанд суурилсан таних системтэй бол Алисыг хаа сайгүй харж, шар цамцтай байх магадлалтай.

Энэ нь таны буруу биш; Та бүх боломжит мэдээллээс эхлээд Алисыг ямар ч үнээр тодорхойлох үүрэг хүлээсэн бөгөөд энэ бууралтыг хадгалахын тулд танин мэдэхүйн нөөцийн хомсдол байхгүй. Алис хүүхдийн ор.

Гайхалтай ялгах чадвар

MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) болон Amazon Web Services-ийн саяхан гаргасан баримт бичгийн дагуу энэ синдромыг нэрлэсэн байна. хэтрүүлэн тайлбарлах, компьютерийн харааны (CV) судалгааны талбарт өргөн тархсан; хэт тохируулгатай холбоотой асуудлыг шийдвэрлэх замаар багасгах боломжгүй (учир нь энэ нь хэт тохируулгын шууд нэмэлт биш юм); дүрсийг таних, хувиргахад хамгийн нөлөө бүхий хоёр өгөгдлийн багцыг ашигладаг судалгаанд ихэвчлэн нотлогддог. CIFAR-10 болон IMAGEnet; мөн хялбар арга байхгүй - мэдээж үгүй хямд эм тан.

Судлаачид сургалтын оролтын зургуудыг уялдаа холбоотой агуулгынх нь ердөө 5% хүртэл бууруулахад өргөн хүрээний түгээмэл хүрээнүүд зургуудыг зөв ангилсаар байдгийг олж мэдсэн бөгөөд энэ нь ихэнх тохиолдолд ямар ч хүний ​​ажиглагчдад харааны "муйхар" мэт харагддаг:

CIFAR-10-аас авсан сургалтын эх зургууд нь анхны пикселийн агуулгын ердөө 5% хүртэл багассан боловч 90-99% -ийн нарийвчлалтайгаар маш алдартай компьютерийн харааны хүрээгээр зөв ангилагдсан. Эх сурвалж: https://arxiv.org/pdf/2003.08907.pdf

Зарим тохиолдолд ангиллын хүрээ нь эдгээр жижиглэсэн зургуудыг олдог Илүү амархан Зохиогчийн ажиглалтаар сургалтын анхны өгөгдөл дэх бүрэн хүрээнээс зөв ангилах '[CNN-үүд] бүрэн зургуудаас илүү эдгээр пикселийн дэд бүлэгт илүү итгэлтэй байна'.

Энэ нь CIFAR-10, ImageNet зэрэг жишиг өгөгдлийн багц болон жишиг хүрээг ашигладаг CV системүүдийн нийтлэг практикт тохиолддог "хууран мэхлэх" гэмтлийн хэлбэрийг харуулж байна. VGG16, ResNet20, болон ResNet18.

Хэт тайлбар нь сүүлийн үед анхаарал хандуулж байгаа CV-д суурилсан бие даасан тээврийн хэрэгслийн системд мэдэгдэхүйц нөлөө үзүүлдэг. Теслагийн шийдвэр Өөрийгөө жолоодох алгоритмуудад LiDAR болон бусад цацрагт суурилсан мэдрэгч системээс илүүтэйгээр дүрсний тайлбарыг илүүд үзэх.

Хэдийгээр 'богино зам сурах' нь a мэдэгдэж байгаа сорилт, мөн компьютерийн харааны идэвхтэй судалгааны талбарыг тус нийтлэлийн зохиогчид тайлбарлаж байна  Герман/Канадын судалгаа 2019 онд уг асуудлыг голлон тодорхойлсон нь хэт тайлбарыг тодорхойлдог "хуурамч" пикселийн дэд бүлгүүд нь "статистикийн хувьд хүчинтэй өгөгдөл" гэдгийг хүлээн зөвшөөрөхгүй байгаа бөгөөд үүнийг илүү нарийвчлалтай боловсруулах замаар биш харин архитектур, дээд түвшний хандлагын үүднээс авч үзэх шаардлагатай байж магадгүй юм. өгөгдлийн багц.

The цаасан гэсэн гарчигтай Хэт тайлбар нь зургийн ангиллын загварын эмгэгийг илрүүлдэг, мөн Amazon Web Services-ийн Жонас Мюллертэй хамтран CSAIL-ийн Брэндон Картер, Сиддхарта Жэйн, Дэвид Гиффорд нараас гаралтай. Цаасан дээрх кодыг эндээс авах боломжтой https://github.com/gifford-lab/overinterpretation.

Өгөгдлийг задлах

Судлаачдын ашигласан өгөгдлөөс хасагдсан зургуудыг тэд нэрлэсэн Хангалттай оролтын дэд олонлогууд (SIS) – үнэн хэрэгтээ SIS зураг нь компьютерийн харааны системд зургийн анхны сэдвийг (жишээ нь) тодорхойлох боломжийг олгохын тулд дүрсийг хангалттай сайн тодорхойлж чадах хамгийн бага "гадна явах эд анги"-г агуулдаг. нохой, хөлөг онгоц, гэх мэт).

Дээрх мөрөнд бид ImageNet баталгаажуулалтын бүрэн зургуудыг харж байна; Доорх SIS дэд бүлгүүдийг 3%-ийн итгэлтэй Inception V90 загвараар зөв ангилсан бөгөөд зурагнаас үлдсэн бүх зүйл – дэвсгэр контекст дээр тулгуурласан бололтой. Мэдээжийн хэрэг, эцсийн багана нь өөрөө жолооддог тээврийн хэрэгслийн алгоритмд тэмдэглэгээг танихад мэдэгдэхүйц нөлөө үзүүлдэг.

Дээрх зураг дээр олж авсан үр дүнгийн талаар судлаачид ажиглав.

"Бид SIS пикселүүд нь ангийн шошгыг тодорхойлдог бодит объектын гадна төвлөрч байгааг олж мэдсэн. Жишээлбэл, "пицца" зураг дээр SIS нь пиццаны биш харин таваг болон ширээний арын дэвсгэрийн хэлбэрт төвлөрч байгаа нь загвар нь ширээн дээрх янз бүрийн дугуй хэлбэртэй зүйлсийг агуулсан зургуудыг ерөнхийд нь дүгнэж чадахгүй байгааг харуулж байна. "Аварга панда" зураг дээр SIS нь хулс агуулсан бөгөөд энэ ангийн ImageNet зургийн цуглуулгад орсон байх магадлалтай.

"Гэрлэн дохио" болон "гудамжны тэмдэг"-ийн зураг дээрх SIS нь тэнгэр дэх пикселүүдээс бүрддэг нь эдгээр загвараас хамаарах автомат жолоодлоготой тээврийн хэрэгслийн системийг хэт тайлбарлах эмгэгийг сайтар шалгаж үзэх шаардлагатайг харуулж байна.'

SIS-ийн зургийг санамсаргүй байдлаар тайрдаггүй, харин төсөлд зориулж багцалсан градиент буцаан сонгох процессоор үүсгэсэн. Эхлэл V3 болон PyTorch-ээр дамжуулан ResNet50. Загварын зургийг үнэн зөв ангилах чадвар болон анхны өгөгдлийг давталттайгаар устгадаг хэсгүүдийн хоорондын хамаарлыг харгалзан үзсэн абляцийн журмаар зургуудыг гаргаж авдаг.

SIS-ийн хүчинтэй эсэхийг баталгаажуулахын тулд зохиогчид процессыг туршиж үзсэн Санамсаргүй пикселийг устгаж, туршилтын үр дүн нь "мэдээлэл багатай" болохыг олж мэдсэн нь SIS зураг нь түгээмэл загварууд болон өгөгдлийн багцууд хүлээн зөвшөөрөгдөхүйц таамаглал гаргахад шаардагдах хамгийн бага өгөгдлийг жинхэнэ утгаар илэрхийлж байгааг харуулж байна.

Багасгасан зургуудын аль нэгийг нь харахад эдгээр загварууд нь хүний ​​харааны чадварт нийцэхгүй байх ёстой бөгөөд энэ нь дундаж нарийвчлал 20% -иас бага байх болно.

SIS-ийн зургуудын анхны пикселийн дөнгөж 5% хүртэл бууруулсанаар хүмүүс "санамсаргүйгээс илүү" ангиллын амжилтын хувь хэмжээнд бараг хүрч чадсангүй, энэ нь нийтлэлд судлагдсан алдартай мэдээллийн багц болон хүрээнүүдийн 90-99%-ийн амжилтын хувьтай харьцуулахад.

Beyond The Overfit

Машин сургалтын загвар нь өгөгдлийн багц дээр маш өргөн хүрээнд сургаж, урьдчилан таамаглах чадвартай болсон үед хэт тохирох байдал үүсдэг. тэр тодорхой өгөгдөл, гэхдээ сургалтын дараа танилцуулсан шинэ өгөгдөл дээр хамаагүй бага үр дүнтэй (эсвэл бүр огт үр дүнгүй) (хуваарилалтаас гадуур өгөгдөл).

Судлаачид хэт тохируулгатай тэмцэх өнөөгийн эрдэм шинжилгээний болон салбарын сонирхол нь хэт тайлбарыг нэгэн зэрэг шийдвэрлэхгүй гэдгийг тэмдэглэж байна, учир нь компьютерт зориулсан тодорхойлогдох дүрс, утга учиргүй бүдүүвчийг дүрсэлсэн пикселийн тайрсан дэд хэсэг нь үнэндээ юм. жинхэнэ хэрэглэгдэх өгөгдөл, муу боловсруулсан эсвэл цус багадалттай өгөгдөлд "хотгосон" төвлөрөл гэхээсээ илүү:

'Хэтэрхий тайлбар нь хэт тохируулгатай холбоотой боловч туршилтын нарийвчлалыг бууруулснаар хэт тохируулгыг оношлох боломжтой. Хэт тайлбар нь өгөгдлийн эх сурвалжийн тодорхой шинж чанараас (жишээлбэл, арьсны эмч нарын захирагч) үүсдэг үндсэн мэдээллийн багцын тархалтын бодит статистик дохионоос үүдэлтэй байж болно.

"Тиймээс статистикийн хувьд хүчин төгөлдөр шалгуураар гаргасан шийдвэрүүдийг хүлээн зөвшөөрч байгаа тул хэт тайлбарлах нь оношлоход хэцүү байж болох ба ийм шалгуурыг ашигладаг загварууд жишиг үзүүлэлтүүдэд илүү гарах боломжтой."

Боломжит шийдлүүд

Зохиогчид үүнийг санал болгож байна загвар нэгдэлҮнэлгээ, сургалтын үйл явцад олон архитектурууд хувь нэмрээ оруулдаг бол хэт тайлбарыг багасгах ямар нэгэн арга зам байж болох юм. Тэд мөн өргөдөл гаргаж байгааг олж мэдэв оролт тасалдсан, анх хэт тохируулахад саад болох зорилгоор бүтээгдсэн нь CIFAR-10 туршилтын нарийвчлалыг "бага зэрэг бууруулах" (энэ нь зүйтэй байх магадлалтай), гэхдээ үл үзэгдэх өгөгдөл дээрх загваруудын нарийвчлалыг "их" (~ 6%) нэмэгдүүлэхэд хүргэсэн. Гэсэн хэдий ч, бага тоо баримтаас харахад хэт ачааллыг арилгах дараагийн эмчилгээ нь хэт тайлбарыг бүрэн арилгах боломжгүй юм.

Зохиогчид ашиглах боломжтой гэдгээ хүлээн зөвшөөрдөг тод байдлын газрын зураг Зургийн аль хэсэг нь онцлог шинж чанарыг задлахад тохирохыг зааж өгөх боловч энэ нь автоматаар зураг задлан шинжлэх зорилтыг үгүйсгэж, масштабаар хийх боломжгүй хүний ​​тайлбарыг шаарддаг гэдгийг анхаарна уу. Тэд цаашдаа анхаарал татахуйц газрын зураг олдсон болохыг ажиглав зөвхөн бүдүүлэг тооцоологч загварын үйл ажиллагааны талаарх ойлголтын хувьд.

Баримт бичгийг дүгнэж байна:

"Зөв ангилахад дангаараа хангалттай онцгүй пикселийн дэд олонлогууд байгаа тул загвар нь зөвхөн ийм загварт тулгуурлаж болно. Энэ тохиолдолд загварыг үнэнчээр тайлбарласан тайлбарлах боломжтой арга нь эдгээр утгагүй үндэслэлүүдийг гаргах ёстой, харин хүний ​​өмнө тавьсан үндэслэлд хандсан тайлбарлах боломжтой аргууд нь хэрэглэгчдэд өөрсдийн загвараа зориулалтын дагуу ажиллаж байна гэж төөрөгдүүлэх үр дүнд хүргэж болзошгүй юм.'

Анх 13 оны нэгдүгээр сарын 2022-нд нийтлэгдсэн.