Te whakaoti rapanga JPEG Artifact i roto i nga Raraunga Raraunga Tirohanga Rorohiko

He rangahau hou mai i te Whare Wananga o Maryland me Facebook AI kua kitea he 'whiu mahi nui' mo nga punaha ako hohonu e whakamahi ana i nga whakaahua JPEG tino kopeke i roto i o raatau raraunga, me te tuku tikanga hou hei whakaiti i nga paanga o tenei.

te pūrongo, taitara Te Wetewete me te Whakakore i nga Hapa Kopeketanga JPEG i te Ako Hohonu, e kii ana he 'tino whanui ake' i nga rangahau o mua ki nga paanga o nga taonga toi i roto i te whakangungu i nga huingararaunga tirohanga rorohiko. Ka kitea e te pepa ko te '[taimaha] ki te whakaōrite JPEG kōpeketanga he nui te whiunga mahi i runga i nga inenga paerewa', a ko nga whatunga neural kaore pea i te kaha ki nga raru penei i nga mahi o mua. e whakaatu ana.

He whakaahua o te kuri mai i te huingararaunga 2018 MobileNetV2. I te kounga 10 (taha maui), karekau te punaha whakarōpūtanga ki te tautuhi i te momo momo 'Pembroke Welsh Corgi', engari ko te 'Norwich terrier' (kua mohio te punaha he whakaahua kuri tenei, engari ehara i te momo); tuarua mai i te taha maui, ko te ahua o te ahua JPEG o waho o te papaa kua whakatikahia te ahua ka kore e kitea te momo momo; tuarua mai i te taha matau, ko te whakatikanga toi kua whakaritea ka whakahokia te whakarōpūtanga tika; me te matau, ko te whakaahua taketake, kua tika te whakarōpūtanga. Puna: https://arxiv.org/pdf/2011.08932.pdf

Taonga Kōpeketanga hei 'Raraunga'

Ko te whakakopeketanga JPEG tino kaha ka hanga i nga taitapa kitea, ahua-kitea ranei huri noa i te 8×8 poraka ka whakaemihia he JPEG ki roto i te matiti pika. Kia puta mai enei taonga parai, 'tangi' ranei, tera pea ka pohehehia e nga punaha ako miihini hei waahanga o te ao o te kaupapa o te ahua, mena kaore he utu mo tenei.

Kei runga ake nei, ka tangohia e te punaha ako miihini whakakitenga rorohiko he ahua rōnaki 'ma' mai i te pikitia kounga pai. Kei raro nei, ko te 'aukati' i nga taonga toi i roto i te penapena iti-kounga o te atahanga ka whakapouri i nga ahuatanga o te kaupapa, ka mutu pea ka 'whakapae' i nga ahuatanga i ahu mai i te huinga atahanga, ina koa ka puta nga whakaahua kounga teitei me te iti o te kounga i roto i te huingararaunga , penei i roto i nga kohinga kua wetekina ki te paetukutuku i whakamahia ai te horoi raraunga whanui anake. Puna: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Ka kitea i te atahanga tuatahi i runga ake nei, ka pa atu enei taonga ki nga mahi whakarōpū whakaahua, me te whai ano hoki mo nga huringa tohu-a-tuhi, ka kore e taea te tautuhi tika i nga tohu kua pangia.

Mo nga punaha whakangungu whakahiato whakaahua (pērā i te pūmanawa hohonu, i nga punaha whakangao whakaahua a-GAN ranei), ka taea e te poraka 'rogue' o nga whakaahua iti-kounga, tino kōpeke i roto i te huingararaunga, ka toia te kounga waenga o te whakaputa uri ki raro, ki te kore ranei ka whakaurua, ka whakakorehia e te maha atu o nga ahuatanga kounga teitei ka tangohia mai i nga whakaahua pai ake i te huinga. I roto i tetahi take, he pai ake nga raraunga - ko te iti rawa, he raraunga rite.

JPEG – I te nuinga o te waa 'He pai rawa'

Ko te kōpeke JPEG he kōtēke ngaro e kore e taea te tono ki nga momo ahua ahua, ahakoa he mea nui ki te konae whakaahua JFIF. takahuri. Ahakoa tenei, i whakaingoatia te whakatakotoranga JPEG (.jpg) i runga i tana tikanga taapiri, ehara i te takai JFIF mo nga raraunga atahanga.

Ko nga hoahoanga ako miihini katoa kua ara ake i roto i nga tau kua pahure ake nei ko te whakaheke i te ahua JPEG hei waahanga o nga mahinga whakakake/whakaora i te AI, a kua whakauruhia inaianei te tangohanga toi-a-AI ki roto i te maha o nga hua arumoni, penei i te ahua Topaz/ ataata Tuhinga, Me te āhuatanga neural o nga putanga hou o Adobe Photoshop.

mai te 1986 Ko te aronuinga JPEG e whakamahia ana i tenei wa i tino kati i te timatanga o te 1990s, kaore e taea te taapiri metadata ki tetahi ahua hei tohu ko tehea taumata kounga (1-100) he ahua JPEG i tiakina - ahakoa, kaua e whakarereke e toru tekau nga tau o te kaihoko tuku iho, nga punaha rorohiko ngaio me nga punaha matauranga kaore i te tumanako kia waatea mai enei metadata.

No reira, ehara i te mea noa ki te whakangao i nga tikanga whakangungu ako miihini ki te kounga kua arotakehia, kua mohiotia ranei o nga raraunga ahua JPEG, pera i mahia e nga kairangahau mo te pepa hou (tirohia i raro nei). Ki te kore he urunga metadata 'kounga', he mea tika i tenei wa ki te mohio ki nga korero mo te pewheatanga o te atahanga (arā, i kōpekehia mai i te puna kore ngaro), me te whakatau tata ranei i te kounga ma te whakamahi i te algorithm perceptual algorithm, te whakarōpū a-ringa ranei.

He Whakaaetanga Ohaoha

Ehara i te JPEG anake te tikanga kopeke ngaro e pa ana ki te kounga o nga kohinga ako miihini; Ka taea hoki e nga tautuhinga kōpeketanga i roto i nga konae PDF te whakakore i nga korero penei, ka whakatauhia ki nga taumata kounga iti rawa hei tiaki mokowā mokowā mokowā mō ngā kaupapa pūranga ā-rohe, whatunga rānei.

Ka kitea tenei ma te whakatauira i nga momo PDF puta noa i te archive.org, ko etahi o enei kua whakakopekehia kia waiho hei wero nui mo nga punaha tohu whakaahua, tuhinga ranei. I te nuinga o nga wa, penei i nga pukapuka mana pupuri, ko te ahua nei i whakamahia tenei kopeketanga kaha hei ahua mo te DRM iti, penei ano pea ka kowhiria e nga kaipupuri mana pupuri ki te whakaheke i te whakataunga o nga riipene YouTube kua tukuna e te kaiwhakamahi e mau ana i te IP, ka waiho nga ataata 'paraka' hei tohu whakatairanga hei whakatenatena i nga hokonga 'whakahou katoa', kaua ki te whakakore.

I te maha atu o nga keehi, he iti te whakatau, te kounga whakaahua ranei na te mea he tawhito rawa nga raraunga, a, no te wa i nui ake te utu o te rokiroki o te rohe me te whatunga, me te iti o nga tere whatunga ka pai ake nga whakaahua kua tino arotauhia me te kawe i runga i te whakaputa uri kounga teitei. .

Kua whakapaehia ko JPEG, ahakoa ehara i te otinga pai i teie nei, kua 'whakanohoia' hei hanganga tuku iho e kore e taea te tango e hono ana ki nga turanga o te ipurangi.

Kawenata tuku iho

Ahakoa ko nga mahi hou o muri mai penei i te JPEG 2000, PNG me (kua tata nei) ko te whakatakotoranga .webp e tuku ana i te kounga pai ake, ko te whakahoki ano i nga huinga huinga huinga ako miihini tawhito, tino rongonui ka taea te 'whakahou' te haere tonu me te hitori o nga wero tirohanga rorohiko-tau-tau. i roto i te hapori matauranga - he aukati ka pa ano ki te whakaora i nga whakaahua huingararaunga PNG ki nga tautuhinga kounga teitei ake. Ka taea te whakaaro he momo nama hangarau tenei.

Ahakoa e tautoko ana nga whare pukapuka tukatuka atahanga a te tūmau pera i te ImageMagick i nga whakatakotoranga pai ake, tae atu ki te .webp, he maha nga wa ka puta nga whakaritenga whakarereke whakaahua i roto i nga punaha tuku iho kaore i whakaritea mo tetahi atu mea ke atu i te JPG, i te PNG ranei (e tuku ana i te kopiri kore, engari i te utu torohūtanga me te mokowā kōpae). Ahakoa te WordPress, te mana CMS tata ki te 40% o nga paetukutuku katoa, kua taapirihia te tautoko .webp anake e toru marama ki muri.

Ko te PNG i te mutunga o te urunga (kei te tomuri rawa) ki te rängai whakatakotoranga whakaahua, i puta hei otinga puna tuwhera i te mutunga o nga tau 1990 hei whakautu ki he whakapuakanga no te tau 1995 na Unisys me CompuServe ka utua nga utu aianei i runga i te whakatakotoranga taapiri LZW i whakamahia i roto i nga konae GIF, i whakamahia i tera wa mo nga waitohu me nga huānga tae papatahi, ahakoa ko te whakatakotoranga Tuhinga o mua i te timatanga o nga tau 2010 i aro ki tona kaha ki te whakarato i nga korero pakiwaituhi iti-whanui-a-whaanui, nga korero pakiwaituhi (kaore ano nga PNG pakiwaituhi i rongonuihia, i te tautoko whanui ranei, me te mea ano. rāhuitia mai i Twitter i te 2019).

Ahakoa ona ngoikoretanga, he tere, he pai te mokowhiti, he hohonu te whakauru ki roto i nga punaha o nga momo katoa - na reira kaore pea e ngaro katoa mai i te waahi ako miihini i nga ra e heke mai nei.

Te hanga i te pai o te AI/JPEG Detente

Ki tetahi whānuitanga, kua noho te hapori ako miihini ki nga ngoikoretanga o te kopiri JPEG: i te tau 2011 ka whakaputaina e te European Society of Radiology (ESR) he ako i runga i te 'Whakamahinga o te whakakopeke atahanga e kore e taea te huri i roto i te atahanga radiological', e whakarato ana i nga aratohu mo te ngaronga 'whakaae'; i te wa e te rangatira MNIST Ko te huinga raraunga whakamohiotanga kupu (ko ona raraunga atahanga i tukuna i te tuatahi i roto i te whakatakotoranga-rua hou) i tauranga ki te whakatakotoranga ahua 'noa', JPEG, ehara i te PNG, i whiriwhiria; me te mahi tahi o mua (2020) mai i nga kaituhi o te pepa hou i tukuna 'he hoahoanga pukapuka' mo te whakatikatika i nga punaha ako miihini ki nga ngoikoretanga o te rereke o te ahua o te ahua JPEG, me te kore e hiahia kia whakangunguhia nga tauira ki ia tautuhinga kounga JPEG - he waahanga i whakamahia i roto i te mahi hou.

Ae ra, ko te rangahau mo te whaipainga o nga raraunga JPEG rerekee-kounga he waahi tino pai ki te ako miihini. Kotahi (kaore e hono) 2016 kaupapa mai i te Pokapū mo te Rangahau Aunoa i te Whare Wananga o Maryland, mau kei runga i te rohe DCT (kei reira ka puta nga taonga JPEG ki nga tautuhinga kounga iti) hei huarahi ki te tangohanga ahua hohonu; ko tetahi atu kaupapa mai i te tau 2019 e aro ana ki runga te panui taumata-paita o nga raraunga JPEG me te kore e pau te wa ki te whakakore i nga whakaahua (arā, whakatuwherahia i etahi wa i roto i te rerengamahi aunoa); me a ako mai i Parani i te tau 2019 ka kaha te whakamahi i te kopeke JPEG ki te mahi i nga mahinga whakamohio taonga.

Te Whakamatau me nga Whakamutunga

Ki te hoki ki te rangahau hou mai i UoM me Facebook, i whai nga kairangahau ki te whakamatau i te maaramatanga me te whaipainga JPEG ki nga whakaahua kua kopirihia i waenga i te 10-90 (i raro iho nei, ka porearea te ahua, kei runga ake nei he rite ki te koretake korekore). Ko nga whakaahua i whakamahia i roto i nga whakamatautau i tohua i mua i ia uara i roto i te whānuitanga o te kounga o te kounga, e waru nga waahanga whakangungu.

I whakangungua nga tauira i runga i te hekenga rōnaki stochastic puta noa i nga tikanga e wha: raro, i te mea karekau he whakamaarama taapiri i taapirihia; te whakatikatika pai, kei te waahi whakangungu te painga o nga pauna kua oti te whakangungu me nga raraunga tapanga (ahakoa ka whakaae nga kairangahau he uaua tenei ki te whakahoki i nga tono taumata-kaiwhakamahi); whakatika toi, i reira ka mahia te whakanuitanga/whakapaipai i runga i nga whakaahua kua kopaki i mua i te whakangungu; a te whakatika i nga mahi toi, kei reira te whatunga tika toi e whakatika pai ana mo nga hapa i whakahokia mai.

I puta nga whakangungu i runga i te maha o nga huinga huinga huinga huinga, tae atu ki nga momo rereke rereke o ResNet, TereRCNN, MobileNetV2, MaskRCNN me Keras' Te timatangaV3.

Ko nga tauira o nga hua ngaro i muri i te whakatikatika i nga mahi toi ka kitea i raro nei (i raro = pai ake).

Kaore e taea te ruku hohonu ki nga korero o nga hua i puta i te rangahau, na te mea kua wehea nga kitenga a nga kairangahau i waenga i te whainga ki te arotake i nga taonga JPEG me nga tikanga hou hei whakaiti i tenei; i tukuruatia te whakangungu ia-kounga i runga i te maha o nga huingararaunga; a ko nga mahi he maha nga whaainga penei i te kitenga ahanoa, te wehewehenga, me te whakarōpūtanga. Ko te tikanga, ka noho te purongo hou hei mahi tohutoro matawhānui e whakatika ana i nga take maha.

Heoi ano, ka whakatauhia e te pepa ko te 'JPEG compression he whiunga nui puta noa i te poari mo nga tautuhinga taapiri taumaha ki te ngawari'. E kii ana hoki ko ana rautaki whakaheke kore tapanga ka eke ki nga hua pai i waenga i etahi atu huarahi rite; e, mo nga mahi uaua, he pai ake te mahi a nga kairangahau i ona hoa, ahakoa te kore whai waahi ki nga tapanga pono whenua; a ka taea e enei tikanga hou te whakamahi ano i te tauira, i te mea ko nga taumahatanga ka taea te whakawhiti i waenga i nga mahi.

Mo nga mahi whakarōpūtanga, e kii ana te pepa ko 'Ka whakahekehia e te JPEG te kounga rōnaki me te whakapohehe i nga hapa o te rohe'.

Ko te tumanako a nga kaituhi ki te whakawhānui ake i nga rangahau a meake nei ki te kapi i etahi atu tikanga taapiri penei i te nuinga karekauhia JPEG 2000, me te WebP, HEIF a GDP. E kii ana ano ratou ka taea te whakamahi i a raatau tikanga ki te rangahau rite ki nga algorithms kōpeketanga ataata.

I te mea kua tino angitu te tikanga whakatika toi-mahi i roto i te rangahau, ka tohu ano nga kaituhi i to ratau hiahia ki te tuku i nga taumahatanga i whakangungua i te wa o te kaupapa, me te tumanako ka '[he maha] nga tono ka whai hua mai i te whakamahi i a tatou taumahatanga TTAC me te kore whakarereke.'

nb Ko te ahua puna mo te tuhinga i ahu mai i teneipersondoesnotexist.com