Xalka Gaarka ah ee DALL-E 2 ee Labada Macnaha

Qof kasta oo talyaani bartay goor hore ayuu bartaa si uu u fiirsado macnaha guud marka uu sharaxayo a xaaqin, sababtoo ah ereyga Talyaaniga ee shaygan gudaha ah wuxuu leeyahay NSFW aad u sarreeya macnaha labaad sida fal* . In kasta oo aan hore u barannay in aan kala furfurno khariidaynta semantic-ka iyo (meel) ku-dhaqanka erayada macnayaal badan leh, tani ma aha xirfad ay fududahay in loo gudbiyo hababka isku-dhafka sawirka sida DALL-E 2 iyo Stable Diffusion, sababtoo ah waxay ku tiirsan yihiin. Luqadda Is-barbar-dhigga ee OpenAI-Tababarka hore ee sawirka (Clipmodule, kaas oo ula dhaqma walxaha iyo hantidooda si ka sii dabacsan (walina faa'iido u leh mar walba dhul badan gudaha sawirka fidinta daahsoon iyo meelaynta fiidyaha.

Barashada yaraantan, a iskaashiga cusub ee cilmi-baarista Jaamacadda Bar-Ilan iyo machadka Allen ee sirdoonka macmalka ah ayaa bixiya daraasaad ballaadhan oo ku saabsan ilaa xadka DALL-E 2 loo adeegsado khaladaadka semantic:

Laba-macne ayaa u kala qaybsantay tafsiiryo kala duwan oo ku jira DALL-E 2 - in kasta oo nidaam kasta oo faafin dahsoon uu soo saari karo tusaalooyin noocaas ah. Sawirka sare ee midig, ka saarista 'dahab' isla markiiba waxay beddeshaa noocyada kalluunka, halka xaaladda 'goynta zebra', ay lagama maarmaan tahay in si cad loo sheego oogada waddada si meesha looga saaro ururka nuqul ka mid ah. Xigasho: https://export.arxiv.org/pdf/2210.10606

Qorayaashu waxay ogaadeen in u janjeersigan laba-laabashada ereyada iyo odhaahyadu aanay u muuqan oo keliya inay ka siman yihiin dhammaan moodooyinka faafinta ee ay hagto CLIP, laakiin inay ka sii darayso maadaama moodooyinka lagu tababaray tiro badan oo xog ah. Waraaqdu waxay xustay in 'la dhimay' noocyada qoraalka-u-sawirrada, oo ay ku jiraan DALL-E Mini (hadda Craion) soo saarta khaladaadka noocaan ah oo aad u yar si isdaba joog ah, iyo in Faafidda Deggan sidoo kale khaladaad yar-in kastoo kaliya sababtoo ah, marar badan, ma raacdo isla markiiba, taas oo ah nooc kale oo qalad ah.

Dakhliga fudud ee 'taariikhda' ayaa ku qasbaysa DALL-E 2 in uu u yeedho laba ka mid ah dhowr macne oo ereyga, halka ereyga 'fan' uu sidoo kale u kala qaybsan yahay laba ka mid ah khariidadaha semantic, iyo, sawirka saddexaad, weedha 'koon' si la isku halleyn karo u beddelo cuntadii aan si kale loo cayimin ee isla markaaba ku jirta jalaatada, taas oo la xidhiidha 'koonka'.

Isagoo sharaxaya sida aan u fulino kala saarid qaamuus oo hufan, warqaddu waxay leedahay:

"In kasta oo calaamadaha - iyo sidoo kale qaab-dhismeedka jumlada - laga yaabo inay noqdaan kuwo madmadow, ka dib marka fasiraado la dhiso, madmadowgani mar hore ayaa la xalliyey. Tusaale ahaan, halka calaamadda fiidmeerta duula loo tarjumi karo ul alwaax ah ama xayawaan, tafsiirkeenna suurtagalka ah ee jumlada ayaa ah mid ka mid ah ul alwaax duulaya ama xayawaan duulaya, laakiin marna labadaba isku mar. Marka ereyga fiidmeerta loo isticmaalo tarjumaadda shay (tusaale ahaan ul alwaax ah), dib looma isticmaali karo in lagu muujiyo shay kale (xayawaan) isla tafsiirkii.

DALL-E 2, warqaddu waxay eegaysaa, kuma xidhna sidan:

'Fiidmeeri waxa ay dul heehaabaysaa garoonka kubbadda koleyga' - sawirka ugu horreeya waxa uu ka yimid warqadda, saddexda kalena waxa laga helay in ay si fudud isla markiiba u quudiyaan DALL-E 2.

hantida Tani waxay ahayd magacaabay dareenka kheyraadka.

Waraaqdu waxa ay tilmaamaysaa saddex dabeecadood oo qallafsan oo ay soo bandhigtay DALL-E 2: in kelmad ama weedh la tarjumi karo oo si wax ku ool ah loo kala qaybin karo laba qaybood oo kala duwan, taas oo u samaynaysa shay ama fikrad mid kasta isla goobta; in kelmad loo fasiran karo in uu yahay beddelka laba qaybood oo kala duwan (eeg 'kalluunka dahabka' iyo tusaalooyinka kale ee sare); iyo in kelmadda isku mar loo tarjumi karo sida wax-bedelka iyo wax ka beddelka labadaba – oo ay tusaale u tahay degdegga ' shaabadu waxay furaysaa warqad':

'Shaabad ayaa furaysa warqad' - sawirka ugu horreeya wuxuu ka yimid warqadda, saddexda ku xiga, soo saaris isku mid ah oo ka yimid DALL-E 2. Tusaalooyinka sawir-qaadista ee hoose waxay lahaayeen qoraalka dheeriga ah 'sawir, Canon50, 85mm, F5.6, abaal-marin- sawirka guuleystay'.

Qorayaashu waxay caddeeyaan laba hab oo guuldarro ah oo loogu talagalay moodooyinka fidinta: in natiijooyinka isticmaalaha ay ku soo jeediyaan ereyo macno-madow ah ay inta badan soo bandhigi doonaan ereyga la isku daray oo ay weheliso muujinta fikradda; iyo daadinta fikradda, halkaas oo sifooyinka hal shay ay 'ku daadan' shay kale oo la sameeyay.

Isku soo wada duuboo, ifafaalaha aan baarno waxay cadeyneysaa xaddidaadda awoodda luqadeed ee DALLE-2 waxayna fureysaa dariiqooyin cilmi baaris mustaqbalka ah oo daaha ka qaadi doonta haddii kuwa ay ka soo jeedaan arrimaha ku saabsan codeynta qoraalka, qaabka curinta, ama labadaba. Guud ahaan, habka la soo jeediyay ayaa lagu fidin karaa xaalado kale oo habka kala-dejinta loo isticmaalo si loo daaha ka rogo eexda soo jiidashada leh iyo cilladaha moodooyinka qoraalka-ka-muuqaalka ah.'

Isticmaalka 17 kelmadood oo keeni doona DALL-E 2 inay u kala qaybiso gelinta wax soo saar badan, qorayaashu waxay arkeen in homonym nuqul ka mid ah ayaa ka dhacay in ka badan 80% 216 sawir oo la sameeyay.

Cilmi-baadhayaashu waxay isticmaaleen lammaane-xakamaynta kicinta si ay u baaraan ilaa xadka ay lagama maarmaan u tahay luqad gaar ah oo lagu murmi karo si xad-dhaaf ah loo cayimay si loo joojiyo nuqulladan dhacaya. Imtixaannada hay'adda-hantida, 10 lammaane oo noocaas ah ayaa la sameeyay, qorayaashuna waxay xuseen in kicinta kicinta hantida la wadaago ee 92.5% kiisaska, halka isla markiiba xakamaynta ay ka soo baxayso 6.6% kiisaska.

'[Si aad] u muujiso, tixgeli zebra iyo waddo, halkan, zebra waa wax jira, laakiin waxay wax ka beddeshaa wadada, DALLE-2 waxay si joogto ah u abuurtaa waddooyin isgoysyo ah, lagana yaabo inay sababto xariijimaha zebra-u ekaanshiyaha isgoysyada. Iyadoo la raacayo malo-awaalkayaga, kantaroolka zebra iyo dariiqa jaaracu wuxuu qeexayaa nooc waddo ah oo aan lahayn isgoysyo, iyo runtii, dhammaan muunadayada xakamaynta ee isla markiiba kuma jiraan isgoys.'

Cilmi-baadhayaashu waxay tijaabiyeen DALL-E Mini ma soo celin karaan natiijooyinkan, kuwaas oo cilmi-baarayaashu ay u nisbeeyeen kartida hoose ee moodooyinkan, iyo suurtogalnimada in hababkooda dhimista ay u iftiimiyaan tarjumaadda ugu 'cad' ee ereyga dareenka-madmadow si fudud:

"Waxaan qiyaasaynaa in - si is-khilaafsan - ay tahay awoodda hoose ee DALLE-mini iyo Stable-faafinta iyo xaqiiqda inaysan si adag u raacin soo-jeedinta, taasoo ka dhigaysa inay u muuqdaan "ka wanaagsan" marka la eego cilladaha aan baarno. Qiimayn dhammaystiran oo ku saabsan xidhiidhka ka dhexeeya miisaanka, qaab-dhismeedka moodeelka, iyo daadinta fikradda ayaa loo daayay shaqada mustaqbalka.'

Shaqada hore ka 2021, qorayaashu waxay xuseen, inay hore u arkeen in gundhigga CLIP aanay si cad ugu xidhin fikradda sifada shayga laftiisa. 'Sida la raacayo,' ayay qoraan. 'Waxay u fiirsadaan in dib-u-dhiska ka yimaadda cod-bixiyaha ay inta badan isku daraan sifooyinka iyo walxaha.'

* DALL-E 2 waxay leedahay arrimo qaarkood kiiskan gaarka ah. Gelida degdega ah 'Una donna che sta scopando' ('naag xaaqaysa') waxay isugu yeedhaysaa dumar da'da dhexe oo kala duwan oo deyrar xaaqaya, iwm. Si kastaba ha ahaatee, haddii aad ku darto 'qolka jiifka' (talyaani), isla markiiba waxay ku baaqaysaa DALL-E 2's NSFW filter, oo sheegaya in natiijadu ay jabinayso siyaasadda nuxurka ee OpenAI.

Markii ugu horreysay ee la daabacay Oktoobar 20, 2022.