Fadhb Déantán JPEG a Réiteach i Thacair Sonraí Fís Ríomhaireachta

D'aimsigh staidéar nua ó Ollscoil Maryland agus Facebook AI 'pionós feidhmíochta suntasach' do chórais foghlama domhain a úsáideann íomhánna JPEG an-chomhbhrúite ina gcuid tacair sonraí, agus cuireann sé roinnt modhanna nua ar fáil chun éifeachtaí seo a mhaolú.

An tuairisc a thabhairt, dar teideal Anailís agus Maolú a dhéanamh ar Lochtanna Comhbhrúite JPEG sa Dhomhainfhoghlaim, maíonn sé go bhfuil sé ‘i bhfad níos cuimsithí’ ná staidéir a rinneadh roimhe seo ar éifeachtaí déantán in oiliúint tacair sonraí fís ríomhaire. Faigheann an páipéar amach go dtabhaíonn comhbhrú [trom] go measartha JPEG pionós feidhmíochta suntasach ar mhéadracht chaighdeánach’, agus go mb’fhéidir nach bhfuil líonraí néaracha chomh athléimneach i leith suaitheadh ​​​​den sórt sin agus a bhí obair roimhe seo. le fios.

Grianghraf de mhadra ó thacar sonraí MobileNetV2018 2. Ag cáilíocht 10 (ar chlé), teipeann ar chóras aicmithe an cine ceart 'Pembroke Welsh Corgi' a aithint, ina ionad sin buille faoi thuairim 'Norwich terrier' (tá a fhios ag an gcóras cheana féin gur grianghraf de mhadra é seo, ach ní an cine); sa dara háit ó chlé, ní aithníonn leagan ceartaithe déantán JPEG den íomhá an cine ceart arís; sa dara háit ó cheart, déanann ceartú déantán spriocdhírithe an t-aicmiú ceart a athchóiriú; agus ar dheis, an grianghraf bunaidh, rangaithe i gceart. Foinse: https://arxiv.org/pdf/2011.08932.pdf

Déantáin Chomhbhrú mar 'Sonraí'

Is dócha go gcruthóidh comhbhrú JPEG mhór teorainneacha sofheicthe nó leath-fheiceálach timpeall an 8×8 bloic as a gcuirtear JPEG le chéile i ngreille picteilín. Chomh luath agus a thagann na déantáin bhlocála nó ‘fáinne’ seo chun solais, is dócha go ndéanfar míthuiscint orthu i gcórais mheaisínfhoghlama mar ghnéithe fíordhomhanda d’ábhar na híomhá, ach amháin má dhéantar cúiteamh éigin air seo.

Thuas, baintear íomhá grádán ‘glan’ as pictiúr ar ardchaighdeán le córas físfhoghlama ríomhaire. Thíos, déanann déantáin ‘blocála’ i sábháil ar chaighdeán níos ísle den íomhá gnéithe an ábhair a cheilt, agus d’fhéadfadh go n-íosfadh siad na gnéithe a dhíorthaítear ó thacar íomhá, go háirithe i gcásanna ina dtarlaíonn íomhánna ar ardchaighdeán agus ar chaighdeán íseal sa tacar sonraí. , mar shampla i mbailiúcháin gréasán-scríofa nár cuireadh i bhfeidhm ach glanadh sonraí cineálach. Foinse: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Mar atá le feiceáil sa chéad íomhá thuas, is féidir le déantáin den sórt sin tionchar a imirt ar thascanna aicmithe íomhá, agus impleachtaí aige freisin d'algartaim aitheantais téacs, a d'fhéadfadh go dteipeann orthu carachtair a bhfuil tionchar ag déantán orthu a shainaithint i gceart.

I gcás córais oiliúna sintéise íomhá (cosúil le bogearraí deepfake nó córais giniúna íomhá-bhunaithe GAN), d’fhéadfadh bloc ‘bradaí’ d’íomhánna ard-chomhbhrúite ar chaighdeán íseal i tacar sonraí cáilíocht airmheánach an atáirgeadh a laghdú, nó eile. a bheith comhchuimsithe agus go bunúsach sáraithe ag líon níos mó gnéithe ar chaighdeán níos airde a bhaintear as íomhánna níos fearr sa tacar. I gceachtar cás, tá sonraí níos fearr inmhianaithe – nó, ar a laghad, sonraí comhsheasmhacha.

JPEG – ‘Maith a Dhóthain’ de ghnáth

Is codec do-aisiompaithe caillte é comhbhrú JPEG is féidir a chur i bhfeidhm ar bhformáidí éagsúla íomhá, cé go gcuirtear i bhfeidhm go príomha é ar an gcomhad íomhá JFIF fillteán. In ainneoin seo, ainmníodh an fhormáid JPEG (.jpg) tar éis an modh comhbhrú a bhaineann leis, agus ní an fillteán JFIF do shonraí na híomhá.

Tá ailtireachtaí meaisínfhoghlama iomlána tagtha chun cinn le blianta beaga anuas lena n-áirítear maolú déantúsáin ar stíl JPEG mar chuid de ghnáthaimh uasscála/athchóirithe atá á dtiomáint ag AI, agus tá baint déantúsán comhbhrú bunaithe ar AI ionchorpraithe anois i roinnt táirgí tráchtála, amhail íomhá Topaz/ físeán seomra, agus an gnéithe neural Adobe photoshop leagan is déanaí.

Ós rud é 1986 Bhí scéimre JPEG atá in úsáid go coitianta faoi láthair faoi ghlas go leor go luath sna 1990idí, ní féidir meiteashonraí a chur le híomhá a thabharfadh le fios cén leibhéal cáilíochta (1-100) inar sábháladh íomhá JPEG – ar a laghad, gan é a mhodhnú. tríocha bliain de chórais bhogearraí tomhaltóra, ghairmiúla agus acadúla oidhreachta nach raibh ag súil go mbeadh a leithéid de mheiteashonraí ar fáil.

Dá bhrí sin, níl sé neamhchoitianta gnáthaimh oiliúna meaisínfhoghlama a chur in oiriúint do cháilíocht mheasúnaithe nó chaighdeán aitheanta sonraí íomhá JPEG, mar a rinne na taighdeoirí don pháipéar nua (féach thíos). In éagmais iontráil meiteashonraí ‘cáilíochta’, ní mór fios a bheith agat faoi láthair ar na sonraí faoin gcaoi ar comhbhrúíodh an íomhá (.i. comhbhrúite ó fhoinse gan chailliúint), nó an cháilíocht a mheas trí halgartaim aireachtála nó trí aicmiú láimhe.

Comhréiteach Eacnamaíoch

Ní hé JPEG an t-aon mhodh comhbhrú caillteach a d’fhéadfadh tionchar a bheith aige ar cháilíocht na dtacar sonraí meaisínfhoghlama; Is féidir le socruithe comhbhrú i gcomhaid PDF faisnéis a shábháil ar an mbealach seo freisin, agus iad a shocrú go leibhéil cháilíochta an-íseal chun spás diosca a shábháil chun críocha cartlainne áitiúla nó líonra.

Is féidir é seo a fheiceáil trí shampláil a dhéanamh ar PDFanna éagsúla ar fud archive.org, cuid acu atá comhbhrúite chomh mór sin gur dúshlán suntasach iad do chórais aitheantais íomhá nó téacs. I go leor cásanna, ar nós leabhair faoi chóipcheart, is cosúil gur cuireadh an dian-chomhbhrú seo i bhfeidhm mar chineál DRM saor, ar an mbealach céanna go mór is féidir le sealbhóirí cóipchirt rogha a dhéanamh chun réiteach na bhfíseán YouTube uaslódáilte ag úsáideoirí ar a bhfuil an IP ina seilbh acu a ísliú, rud a fhágann na físeáin 'blocacha' mar chomharthaí poiblíochta chun ceannacháin 'iomlán res' a spreagadh, seachas iad a scriosadh.

I go leor cásanna eile, tá an réiteach nó cáilíocht na híomhá íseal go simplí toisc go bhfuil na sonraí an-sean, agus go dtagann sé ó ré nuair a bhí stóráil áitiúil agus líonra níos costasaí, agus nuair a bhí luasanna líonra teoranta i bhfabhar íomhánna ard-optamaithe agus iniompartha thar atáirgeadh ardchaighdeáin. .

Tá sé áitithe gurb é JPEG, cé nach é an réiteach is fearr anois, tá sé 'cumhdaithe' mar bhonneagar oidhreachta do-aistrithe atá fite fuaite go bunúsach le bunsraitheanna an idirlín.

Ualach Oidhreacht

Cé go dtugann nuálaíochtaí níos déanaí ar nós JPEG 2000, PNG agus (le déanaí) an fhormáid .webp cáilíocht níos fearr, d’fhéadfaí a áitiú go ndéanfaí ‘athshamhlú’ ar thacair sonraí meaisínfhoghlama níos sine a bhfuil an-tóir orthu leanúnachas agus stair na ndúshlán fís ríomhaire bliain ar bhliain. sa phobal acadúil – bac a bheadh ​​i gceist freisin i gcás íomhánna tacair sonraí PNG a athbhunú ag suímh chaighdeán níos airde. D’fhéadfaí é seo a mheas mar chineál fiachais theicniúil.

Cé go dtacaíonn leabharlanna próiseála íomhá atá faoi thiomáint ag an bhfreastalaí ar nós ImageMagick le formáidí níos fearr, lena n-áirítear .webp, tarlaíonn ceanglais claochlaithe íomhá go minic i gcórais oidhreachta nach bhfuil socraithe le haghaidh rud ar bith seachas JPG nó PNG (a thairgeann comhbhrú gan chailliúint, ach ar chostas an). latency agus spás diosca). Fiú WordPress, an CMS powering beagnach 40% de na láithreáin ghréasáin go léir, níor cuireadh ach tacaíocht .webp leis trí mhí ó shin.

iontráil dhéanach (ró-dhéanach, b’fhéidir) a bhí i PNG san earnáil formáide íomhá, a d’eascair mar réiteach foinse oscailte sa dara cuid de na 1990idí mar fhreagra ar dearbhú 1995 le Unisys agus CompuServe go mbeadh ríchíosanna iníoctha as seo amach ar an bhformáid comhbhrú LZW a úsáidtear i gcomhaid GIF, a bhí in úsáid go coitianta ag an am sin le haghaidh lógónna agus eilimintí dathanna comhréidh, fiú amháin más rud é gur formáid an chomhbhrúite aiséirí go luath sna 2010í dírithe ar a chumas ábhar beoite íseal-bandaleithead a sholáthar (go híorónta, ní bhfuair PNGanna beoite tóir ná tacaíocht leathan, agus bhí siad fiú. toirmeasc ó Twitter i 2019).

In ainneoin a chuid easnaimh, tá comhbhrú JPEG tapa, spás-éifeachtach, agus leabaithe go domhain i gcórais de gach cineál - agus mar sin ní dócha go n-imeoidh sé go hiomlán as radharc na meaisínfhoghlama go luath amach anseo.

An Bhaint is Fearr a Bhaint as an Bleachtaire AI/JPEG

Go pointe áirithe, tá an pobal meaisínfhoghlama tar éis freastal ar na nithe a bhaineann le comhbhrú JPEG: in 2011 d’fhoilsigh Cumann Eorpach na Raideolaíochta (ESR) a staidéar a dhéanamh ar ar 'Inúsáidteacht comhbhrú íomhánna dochúlaithe san íomháú raideolaíoch', ag soláthar treoirlínte maidir le caillteanas 'inghlactha'; nuair a venerable MNIST Rinneadh tacar sonraí aitheantais téacs (ar soláthraíodh a shonraí íomhá ar dtús i bhformáid dhénártha nua) a aistriú chuig formáid íomhá 'rialta', JPEG, ní PNG, roghnaíodh; agus comhar níos luaithe (2020) ó údair an pháipéir nua ar fáil 'ailtireacht úrscéal' chun córais meaisínfhoghlama a chalabrú de réir na n-easnaimh a bhaineann le cáilíocht íomhá JPEG éagsúil, gan gá le hoiliúint a chur ar mhúnlaí ag gach suíomh cáilíochta JPEG – gné a úsáidtear san obair nua.

Go deimhin, is réimse sách rathúil é taighde ar fhóntas sonraí JPEG atá éagsúil ó thaobh cáilíochta san fhoghlaim meaisín. Tionscadal amháin (neamhghaolmhar) 2016 ón Ionad um Thaighde Uathoibrithe in Ollscoil Maryland, i ndáiríre dírithe ar an bhfearann ​​​​DCT (i gcás ina dtarlaíonn déantáin JPEG ag suíomhanna ar cháilíocht íseal) mar bhealach chun gnéithe domhain a eastóscadh; Dírítear ar thionscadal eile ó 2019 léamh beart-leibhéal sonraí JPEG gan an t-am-íditheach riachtanach na híomhánna a dhí-chomhbhrú (ie iad a oscailt ag pointe éigin i sreabhadh oibre uathoibrithe); agus a staidéar a dhéanamh ar ón bhFrainc in 2019 giaráil ghníomhach ar chomhbhrú JPEG i seirbhís gnáthaimh aitheantais réad.

Tástáil agus Conclúidí

Chun filleadh ar an staidéar is déanaí ó UoM agus Facebook, d'fhéach na taighdeoirí le hintuigtheacht agus fóntais JPEG a thástáil ar íomhánna comhbhrúite idir 10-90 (thíos, tá an íomhá thar a bheith dodhéanta, agus os cionn a bhfuil sé comhionann le comhbhrú gan chailliúint). Rinneadh na híomhánna a úsáideadh sna trialacha a réamh-chomhbhrú ag gach luach laistigh den raon cáilíochta sprice, rud a chuimsigh ocht seisiún oiliúna ar a laghad.

Cuireadh oiliúint ar mhúnlaí ar shliocht grádáin stochastic thar cheithre mhodh: bunlíne, i gcás nár cuireadh aon mhaoluithe breise leis; mionchoigeartú faoi mhaoirseacht, i gcás ina bhfuil de bhuntáiste ag an tacar oiliúna meáchain réamhoilte agus sonraí lipéadaithe (cé go n-admhaíonn na taighdeoirí go bhfuil sé deacair é seo a mhacasamhlú i bhfeidhmchláir ar leibhéal an tomhaltóra); ceartú déantán, i gcás ina ndéantar méadú/leasú ar na híomhánna comhbhrúite roimh oiliúint; agus ceartú déantán atá dírithe ar thasc, i gcás ina ndéantar mionchoigeartú ar an ngréasán ceart déantán ar earráidí a tugadh ar ais.

Tharla oiliúint ar raon leathan tacair sonraí oiriúnacha, lena n-áirítear leaganacha iolracha de ResNet, FastRCNN, MobileNetV2, MascRCNN agus Keras' TúsV3.

Léirítear thíos torthaí caillteanais samplacha tar éis ceartú déantán spriocdhírithe (níos ísle = níos fearr).

Ní féidir dul níos doimhne isteach i sonraí na dtorthaí a fuarthas sa staidéar, toisc go bhfuil torthaí na dtaighdeoirí roinnte idir an aidhm chun déantáin JPEG a mheas agus modhanna nua chun é seo a mhaolú; athraíodh an oiliúint in aghaidh an-chaighdeán thar an oiread sin tacar sonraí; agus áiríodh leis na tascanna ilaidhmeanna amhail aimsiú réad, deighilt agus rangú. Go bunúsach, seasann an tuarascáil nua mar obair thagartha chuimsitheach a thugann aghaidh ar shaincheisteanna iolracha.

Mar sin féin, is é tátal an pháipéir go ginearálta ‘go bhfuil pionós géar ar chomhbhrú JPEG i gcás socruithe comhbhrú trom go measartha’. Dearbhaíonn sé freisin go mbaineann a straitéisí maolaithe nua gan lipéadú torthaí níos fearr amach i measc cineálacha cur chuige comhchosúla; i gcás tascanna casta, go n-éiríonn níos fearr le modh maoirsithe na dtaighdeoirí ná a bpiaraí, in ainneoin nach bhfuil aon rochtain aige ar lipéid fhírinneachta; agus go gceadaíonn na modheolaíochtaí nua seo athúsáid samhlacha, ós rud é gur féidir na meáchain a fhaightear a aistriú idir tascanna.

Maidir le tascanna aicmithe, sonraítear go sainráite sa pháipéar go ‘díghrádaíonn JPEG cáilíocht an ghrádáin agus go gcothaíonn sé earráidí logánaithe’.

Tá súil ag na húdair staidéir sa todhchaí a leathnú chun modhanna comhbhrú eile a chlúdach, mar shampla na cinn a dtugtar neamhaird orthu den chuid is mó JPEG 2000, chomh maith le WebP, HEIF agus OTI. Molann siad freisin go bhféadfaí a modheolaíocht a chur i bhfeidhm ar thaighde analógach ar halgartaim chomhbhrú físeáin.

Ós rud é gur éirigh chomh maith sin leis an modh ceartúcháin déantán atá dírithe ar thascanna sa staidéar, cuireann na húdair in iúl freisin go bhfuil siad ar intinn acu na meáchain a oiliúint le linn an tionscadail a scaoileadh, ag súil go mbainfidh [go leor] feidhmchlár leas as ár n-ualaithe TTAC a úsáid gan aon mhodhnú.'

nb Tagann foinse íomhá an ailt ó thispersondoesnotexist.com