JPEG шахалт нь Кавказын бус хүмүүсийн царайг таних алдааны түвшинг нэмэгдүүлсэн гэж судалгаагаар тогтоожээ.

Их Британид хийсэн шинэ судалгаагаар JPEG дүрсний алдагдалтай шахалтын техник нь царай таних системийн үр нөлөөнд сөргөөр нөлөөлж, ийм систем нь Кавказ биш хүнийг буруу таних магадлалыг нэмэгдүүлдэг гэж дүгнэжээ.

Цаасан дээр:

"Туршилтын өргөн хүрээтэй тохируулгын тусламжтайгаар бид зураг шахах нийтлэг аргууд нь арьсны бараан өнгөтэй (34.55% хүртэл) арьс өнгөний тодорхой ангилалд хамаарах нүүр царай таних чадварт илүү хүчтэй сөрөг нөлөө үзүүлдэг болохыг харуулж байна."

Үр дүн ч үүнийг харуулж байна хромын дэд дээж авах, энэ нь нүүрний зургийн хэсгүүдийн өнгөний мэдээллийг (гэрэлтүүлгийн мэдээлэл гэхээсээ илүү) бууруулдаг нь олон тооны туршсан өгөгдлийн багц дахь Хуурамч тааруулах хурдыг (FMR) нэмэгдүүлдэг бөгөөд эдгээрийн ихэнх нь компьютерийн харааны стандарт агуулах юм.

Төрөл бүрийн хурдтайгаар эх зураг дээрх өнгөний дэд дээж авах үйлдлүүд нь нарийвчилсан мэдээллийг хадгалах, дэд өнгөнүүд хоорондоо хэр зэрэг 'хосч', нарийн ширийн зүйлийг алдаж, онцлог шинж чанаруудыг тодорхойлоход тодорхой нөлөө үзүүлдэг. Энэ зураг өөрөө шахагдаж болзошгүйг анхаарна уу, үнэн зөв гаргахын тулд эх сурвалжаас үзнэ үү. Эх сурвалж: https://arxiv.org/pdf/2208.07613.pdf

Chroma дэд дээжийг JPEG шахалтын эдийн засгийн нэмэлт арга хэмжээ болгон ашигладаг, учир нь хүмүүс компьютерийн харааны системтэй харьцуулахад өнгөний зурвасын нарийн төвөгтэй байдал, хүрээн дэх бууралтыг ойлгох чадвар бага байдаг бөгөөд эдгээр "агрегатуудыг" биднээс хамаагүй шууд утгаар нь ойлгодог.

Шинэ судалгааны судлаачид шахалтын процессоос хромын дэд дээжийг арилгах нь энэ сөрөг нөлөөллийг 15.95% хүртэл бууруулж байгааг олж мэдсэн боловч энэ нь асуудлыг бүрэн арилгадаггүй.

Судалгаанаас гадна шахагдаагүй (эсвэл бага шахсан) өгөгдлийн сургалтад хамрагдах болно үгүй биш Дүгнэлт-цаг хугацааны зургууд шахагдсан тохиолдолд асуудлыг шийднэ. Энэ нь үр дүнтэй нь, хэрэв эцсийн үйлдвэрлэлийн загвар нь шахалтын асуудалтай байгаа зургуудаар тэжээгддэг бол нүүр таних загварыг бага шахагдсан зураг дээр сургах нь хэвийх байдлыг арилгахгүй гэсэн үг юм.

Зохиогчид тайлан*:

Дүгнэлт хийх явцад алдагдсан зургийн шахалтыг ашиглах нь орчин үеийн зургийн гүйцэтгэлд сөргөөр нөлөөлдөг нүүр царайг таних аргууд Арьс өнгөний арьсны өнгө, нэг төрлийн нүдний хэлбэр) арьсны өнгөний фенотипийн бүлэгт хамаарах ба түүний үр нөлөө нь загварчлалын сургалтанд шахсан дүрслэл ашигласан эсэхээс үл хамааран байдаг.'

Энэхүү баримт бичигт дүрсийг шахах нь компьютерийн харааны судалгааны салбарт үзүүлэх үр дагаврыг онцлон тэмдэглэсэн бөгөөд үүнийг нарийвчлан тайлбарласан болно. 2021 судалгаа Мэрилэндийн их сургууль болон Facebook AI.

Энэ бол засахад хэцүү асуудал; Хэдийгээр шахалтыг шаарддаг хадгалалт болон зурвасын өргөнтэй холбоотой асуудлууд нэг шөнийн дотор арилсан ч, мөн энэ салбарт хорин ба түүнээс дээш жилийн өгөгдлийн багцыг дүүргэсэн бүх чанар муутай зургуудыг гэнэт өндөр чанартай эх сурвалжаас илүү сайн хурдаар дахин шахаж байсан ч гэсэн Энэ нь сүүлийн хэдэн арван жилийн хугацаанд эрдэм шинжилгээний харьцуулалтын хэрэгслүүдийн тасралтгүй байдлыг "дахин тохируулах"-ыг төлөөлдөг. CV нийгэмлэг нь үнэндээ дасах асуудалд, энэ нь мэдэгдэхүйц техникийн өрийг илэрхийлэх цэг хүртэл.

Арьс өнгөөр ​​ялгаварладаг алдаа нүүр царай таних (FR)-д байна Болсон a хэвлэл мэдээллийн халуун сэдэв Сүүлийн жилүүдэд нөлөөлөлд өртсөн системээс үүнийг арилгахын тулд судалгааны нийгэмлэгийн хамтын хүчин чармайлтыг өдөөж байна. Гэсэн хэдий ч дэлхийн судалгааны байгууллагаас хамаарах хамаарал нь а хэт хязгаарлагдмал "алтан стандарт" мэдээллийн багцын тоо, тэдгээрийн ихэнх нь аль нэг нь арьс өнгөний хувьд тэнцвэртэй биш or муу шошготой энэ талаараа сорилтыг улам хурцатгаж байна.

Шинэ нийтлэлийн судлаачид зураг авах стандартууд болон нүүр царай таних жишиг стандартуудын хооронд үл нийцэх байдлыг нэмж тэмдэглэж, дараахь зүйлийг дурджээ.

'[Одоо байгаа] царай таних системд зориулсан зураг авах стандартууд ISO / IEC 19794-5 болон ICAO 9303 Нүүрний зургийн чанарыг баталгаажуулахын тулд зураг дээр суурилсан (гэрэлтүүлэг, бөглөрөл) болон субьект дээр суурилсан (жишээ нь, дүр төрх, илэрхийлэл, дагалдах хэрэгсэл) чанарын стандартыг санал болгох.

"Үүний дагуу нүүрний зургийг мөн адил алдагдалтай дүрс шахалтын стандартыг ашиглан хадгалах ёстой JPEG  эсвэл JPEG2000; мөн хүйс, нүдний өнгө, үсний өнгө, илэрхийлэл, шинж чанар (жишээ нь нүдний шил), позын өнцөг (зайлт, давирхай, өнхрөх) болон тэмдэглэгээний байрлалаар тодорхойлох боломжтой.

“Гэсэн хэдий ч нүүр царай таних нийтлэг жишиг үзүүлэлтүүд нь ISO/IEC 19794-5 болон ICAO 9303 стандартад нийцэхгүй байна. Түүнчлэн, санал болгож буй шийдлүүдийг эсэргүүцэхийн тулд янз бүрийн камер, хүрээлэн буй орчны нөхцөлд зэрлэг байгальд дээж авдаг.

'Гэсэн хэдий ч ийм өгөгдлийн багц доторх нүүрний зургийн ихэнх дээжийг JPEG алдагдлын шахалтаар шахдаг.'

Шинэ ажлын зохиогчид тэдний цаашдын хүчин чармайлт нь царай таних янз бүрийн тогтолцоонд алдагдсан дүрсийн тоон үзүүлэлтийн нөлөөллийг судалж, эдгээр системийн шударга байдлыг сайжруулах боломжит аргуудыг санал болгоно гэж мэдэгджээ.

The шинэ цаас гэсэн гарчигтай Алдагдалтай дүрсийг шахах нь нүүр царайг танихад арьс өнгөөр ​​ялгаварлах хандлагад нөлөөлдөг үү?, мөн Лондонгийн Империал коллежийн гурван судлаач, InsightFace нүүр царайны гүн шинжилгээний нэг судлаачийн хамт ирсэн. номын сан.

Өгөгдөл ба арга

Эрдэмтэд туршилт хийхдээ ImageMagick болон libjpeg нээлттэй эхийн сангууд нь янз бүрийн шахалтын үе шатанд эх өгөгдлийн зургийн хувилбаруудыг үүсгэх.

Шахалтын үр нөлөөг анхлан тоймлохын тулд зохиогчид оргил дохио-дуу чимээний харьцааны нөлөөг судалсан.PSNR) Зэрлэг арьстан дээрх арьс өнгөний JPEG шахалтын дөрвөн өөр түвшинд (RFW) мэдээллийн багц.

PSNR нь "Зэрлэг арьстны нүүр царай" мэдээллийн багцыг оноож, шахалт нь шахсан зургийг таних чадварт хэр зэрэг нөлөөлж болохыг харуулж байна.

Бусад туршилтуудын дунд тэд арьс өнгөөр ​​​​ялгаварлан гадуурхагдсан өгөгдлийн багц, өөр нэг нь арьс өнгөний тэнцвэртэй байдлын талаар судалгаа хийсэн. Арьс өнгөний хувьд тэнцвэртэй багцын хувьд тэд нэмэлт өнцгийн алдагдлыг ашигласан (ArcFace) функцтэй ResNet101v2, эх хувилбар дээр VGGFace2 Арьс өнгөөр ​​​​ялгаварлан гадуурхсан 3.3 объектыг багтаасан 8631 сая зураг агуулсан жишиг мэдээллийн багц.

Туршилтын хувьд судлаачид RFW мэдээллийн багцыг ашигласан. Уг системийг дөрвөн удаа шахалтын дөрвөн өөр түвшинд сургасны үр дүнд дөрвөн ArcFace загвар гарсан.

Арьс өнгөний хувьд тэнцвэртэй багцын хувьд ижил хүрээг эхэнд нь тохируулсан загвар дээр ашигласан. BUPT-Тэнцвэртэй Дөрвөн бүлэгт тэнцвэртэй 28,000 нүүрийг агуулсан жишиг мэдээллийн багц Африкийн, Азийн, ЭнэтхэгийнБолон Кавказ, уралдаан бүрийг 7000 зургаар дүрсэлсэн. Арьс өнгөний тэнцвэргүй мэдээллийн багцын нэгэн адил ArcFace-ийн дөрвөн загварыг ийм аргаар олж авсан.

Нэмж дурдахад судлаачид гүйцэтгэлд үзүүлэх нөлөөг хэмжихийн тулд хромын дэд дээжийг арилгах замаар шахсан болон шахагдаагүй сургалтын үр нөлөөг хуулбарласан.

үр дүн

Дараа нь эдгээр үүсгэсэн өгөгдлийн багц дахь худал тааруулах хурдыг (FMR) судалсан. Судлаачдын хайж байсан шалгуурыг урьдчилан тодорхойлсон фенотипүүд арьс өнгөний онцлогтой холбоотой Арьсны төрөл (1, 2, 3, 4, 5 эсвэл 6), Зовхины төрөл (Монолид/Бусад), Хамрын хэлбэр (Өргөн/нарийн), Уруулын хэлбэр (Бүрэн/Жижиг), Үсний төрөл (Шууд/Долгионт/буржгар/халзан), болон Үсний өнгө – 2019 оноос авсан хэмжүүрүүд цаасан Арьс өнгөний фенотипээр дамжуулан царайг таних далд хэвийх байдлыг хэмжих.

Цаасан дээр:

"Бид доош сонгогдсон бүх шахалтын түвшний q = {5, 10, 15, 95}-д нэмэлт алдагдалтай шахалтыг хэрэглэх үед FMR нэмэгдэж байгааг бид ажиглаж байгаа бөгөөд энэ нь шахалтын түвшин 5 (хамгийн өндөр шахалтын түвшин) нь хамгийн их бууралтад хүргэдэг болохыг харуулж байна. FMR гүйцэтгэлийн хувьд шахалтын түвшин 95 (хамгийн бага шахалтын хурд) нь FMR гүйцэтгэлийн мэдэгдэхүйц ялгааг үүсгэдэггүй.'

Хэт том бөгөөд энд хуулбарлахад олон тооны үр дүнгийн хүснэгтээс авсан дээжийг илүү сайн нарийвчлалтай, бүрэн илэрцтэй болгохын тулд эх сурвалжаас үзнэ үү. Эндээс бид VGGFace2-д зориулсан улам бүр доройтсон/шахсан нүүрний зургийн FMR гүйцэтгэлийн gamut-ийг харж байна, үүнд шахагдаагүй эсвэл бага шахагдсан чанарыг багтаасан болно.

Баримт бичгийг дүгнэж байна:

"Ерөнхийдөө, бидний хийсэн үнэлгээгээр алдагдлын шахсан нүүрний зургийн дээжийг дүгнэлт хийх үед ашиглах нь бусад бүх фенотип шинж чанаруудын хар арьст, өргөн хамар, буржгар үс, цул нүд зэрэг тодорхой фенотипүүдийн гүйцэтгэлийг мэдэгдэхүйц бууруулдаг болохыг тогтоожээ.

"Гэсэн хэдий ч, сургалтын явцад шахсан дүрслэл ашиглах нь үр дүнд бий болсон загваруудыг илүү уян хатан болгож, тулгарч буй гүйцэтгэлийн доройтлыг хязгаарладаг: арьс өнгөөр ​​​​ялгаварласан тодорхой дэд бүлгүүдийн гүйцэтгэл бага хэвээр байна. Нэмж хэлэхэд, хромын дэд дээжийг арилгах нь алдагдалтай шахалтад илүү өртсөн тодорхой фенотипийн категорийн FMR-ийг сайжруулдаг.'

* Миний зохиогчдын ишлэлийг гипер холбоос болгон хөрвүүлсэн нь.

Анх 22 оны наймдугаар сарын 2022-нд нийтлэгдсэн.