Իրենց հնարավորությունների շնորհիվ՝ տեքստ-պատկեր դիֆուզիոն մոդելներ գեղարվեստական ​​հանրության մեջ դարձել են անսահման տարածված: Այնուամենայնիվ, ներկայիս մոդելները, ներառյալ գերժամանակակից շրջանակները, հաճախ պայքարում են գեներացված պատկերների տեսողական հասկացությունների և ատրիբուտների նկատմամբ վերահսկողությունը պահպանելու համար, ինչը հանգեցնում է անբավարար արդյունքների: Մոդելների մեծամասնությունը հիմնվում է բացառապես տեքստային հուշումների վրա, ինչը դժվարություններ է առաջացնում շարունակական ատրիբուտների մոդուլյացիայի հարցում, ինչպիսիք են եղանակի ինտենսիվությունը, ստվերների կտրուկությունը, դեմքի արտահայտությունը կամ անձի տարիքը: Սա դժվարացնում է վերջնական օգտագործողների համար՝ հարմարեցնել պատկերները՝ իրենց հատուկ կարիքներին համապատասխան: Ավելին, չնայած այս գեներատիվ շրջանակները ստեղծում են բարձրորակ և իրատեսական պատկերներ, դրանք հակված են աղավաղումների, ինչպիսիք են շեղված դեմքերը կամ բացակայող մատները:

Այս սահմանափակումները հաղթահարելու համար մշակողները առաջարկել են օգտագործել մեկնաբանելի Concept Sliders: Այս սլայդերները վերջնական օգտատերերի համար խոստանում են ավելի մեծ վերահսկողություն տեսողական ատրիբուտների նկատմամբ՝ բարելավելով պատկերների ստեղծումը և խմբագրումը դիֆուզիոն մոդելներում: Հայեցակարգային սլայդերները դիֆուզիոն մոդելներում աշխատում են՝ որոշելով անհատական ​​հայեցակարգին համապատասխանող պարամետրի ուղղությունը՝ միաժամանակ նվազագույնի հասցնելով այլ ատրիբուտների միջամտությունը: Շրջանակը ստեղծում է այս սլայդերները՝ օգտագործելով նմուշային պատկերներ կամ հուշումների մի շարք՝ այդպիսով սահմանելով ուղղություններ ինչպես տեքստային, այնպես էլ տեսողական հասկացությունների համար:

Ի վերջո, Concept Sliders-ի օգտագործումը տեքստից պատկեր դիֆուզիոն մոդելներ կարող է հանգեցնել պատկերի ստեղծմանը նվազագույն աստիճանի միջամտությամբ և ուժեղացված հսկողությամբ վերջնական արդյունքի վրա՝ միաժամանակ մեծացնելով ընկալվող ռեալիզմը՝ առանց պատկերների բովանդակությունը փոխելու և այդպիսով ստեղծելով իրատեսական պատկերներ: Այս հոդվածում մենք ավելի խորությամբ կքննարկենք Concept Sliders-ի օգտագործման հայեցակարգը տեքստից դեպի պատկերի շրջանակներ և կվերլուծենք, թե ինչպես դրա օգտագործումը կարող է հանգեցնել բարձրորակ AI-ի ստեղծած պատկերների: 

Հայեցակարգային սլայդերների ներածություն

Ինչպես նախկինում նշվեց, տեքստից պատկեր տարածման ներկայիս շրջանակները հաճախ պայքարում են գեներացված պատկերներում տեսողական հասկացությունները և ատրիբուտները վերահսկելու համար, ինչը հանգեցնում է անբավարար արդյունքների: Ավելին, այս մոդելներից շատերի համար դժվար է շարունակական ատրիբուտների մոդուլացումը, ինչը հետագայում նպաստում է անբավարար արդյունքներին: Concept Sliders-ը կարող է օգնել մեղմել այս խնդիրները՝ հզորացնելով բովանդակություն ստեղծողներին և վերջնական օգտատերերին պատկերների ստեղծման գործընթացի նկատմամբ ուժեղացված հսկողություն և ընթացիկ շրջանակների առջև ծառացած մարտահրավերները լուծելու համար:

Տեքստից պատկեր տարածման ներկայիս մոդելների մեծ մասը հիմնվում է ուղղակի տեքստի արագ փոփոխության վրա՝ պատկերի ատրիբուտները կառավարելու համար: Թեև այս մոտեցումը թույլ է տալիս պատկեր ստեղծել, այն օպտիմալ չէ, քանի որ հուշման փոփոխությունը կարող է կտրուկ փոխել պատկերի կառուցվածքը: Մեկ այլ մոտեցում, որն օգտագործվում է այս շրջանակների կողմից, ներառում է Post-hoc տեխնիկան, որը շրջում է դիֆուզիոն գործընթացը և փոփոխում խաչաձև ուշադրությունը՝ տեսողական հասկացությունները խմբագրելու համար: Այնուամենայնիվ, Post-hoc տեխնիկան ունի սահմանափակումներ, որոնք ապահովում են միայն սահմանափակ թվով միաժամանակյա խմբագրումներ և պահանջում են անհատական ​​միջամտության անցումներ յուրաքանչյուր նոր հայեցակարգի համար: Բացի այդ, նրանք կարող են ներդնել հայեցակարգային խճճվածություն, եթե մանրակրկիտ մշակված չեն:

Ի հակադրություն, Concept Sliders-ն առաջարկում է ավելի արդյունավետ լուծում պատկերների ստեղծման համար: Այս թեթև, օգտագործման համար դյուրին ադապտերները կարող են կիրառվել նախապես պատրաստված մոդելների վրա՝ ուժեղացնելով հսկողությունն ու ճշգրտությունը ցանկալի հասկացությունների նկատմամբ մեկ միջամտության անցումով՝ նվազագույն խճճվածությամբ: Concept Sliders-ը նաև հնարավորություն է տալիս խմբագրել տեսողական հասկացությունները, որոնք չեն ընդգրկված տեքստային նկարագրություններով, ինչը տարբերակում է դրանք տեքստային հուշումների վրա հիմնված խմբագրման մեթոդներից: Թեև պատկերի վրա հիմնված անհատականացման մեթոդները կարող են արդյունավետ կերպով ավելացնել նշաններ պատկերի վրա հիմնված հասկացությունների համար, դրանք դժվար է իրականացնել պատկերների խմբագրման համար: Մյուս կողմից, հայեցակարգային սլայդերները թույլ են տալիս վերջնական օգտագործողներին տրամադրել փոքր թվով զուգակցված պատկերներ, որոնք սահմանում են ցանկալի հայեցակարգը: Այնուհետև սահիկներն ընդհանրացնում են այս հայեցակարգը և ավտոմատ կերպով կիրառում այն ​​այլ պատկերների վրա՝ նպատակ ունենալով բարձրացնել ռեալիզմը և ուղղել աղավաղումները, ինչպիսիք են ձեռքերում:

Concept Sliders-ը ձգտում է սովորել և լուծել չորս գեներատիվ AI և դիֆուզիոն շրջանակի հայեցակարգերի համար ընդհանուր խնդիրները՝ պատկերի խմբագրում, ուղղորդման վրա հիմնված մեթոդներ, մոդելի խմբագրում և իմաստային ուղղություններ:

Պատկերի խմբագրում

Ընթացիկ AI շրջանակները կամ կենտրոնանում են պատկերի կառուցվածքը առաջնորդելու համար պայմանական մուտքագրման վրա, կամ օգտագործում են աղբյուրի պատկերի խաչաձև ուշադրությունը իր թիրախային հուշումով, որպեսզի հնարավոր լինի մեկ պատկերի խմբագրումը տեքստից պատկերի տարածման շրջանակներում: Արդյունքում, այս մոտեցումները կարող են իրականացվել միայն առանձին պատկերների վրա, և դրանք նաև պահանջում են թաքնված հիմքի օպտիմիզացում յուրաքանչյուր պատկերի համար՝ երկրաչափական կառուցվածքի զարգացման արդյունքում՝ ժամանակային քայլերի միջոցով: 

Ուղղորդման վրա հիմնված մեթոդներ

Դասակարգիչներից զերծ ուղեցույցի վրա հիմնված մեթոդների օգտագործումը ցույց է տվել, որ դրանք կարող են բարձրացնել ստեղծվող պատկերների որակը և խթանել տեքստ-պատկեր հավասարեցումը: Միջամտության ժամանակ ուղեցույցի տերմիններ ներառելով՝ մեթոդը բարելավում է դիֆուզիոն շրջանակների կողմից ժառանգված սահմանափակ կազմությունը, և դրանք կարող են օգտագործվել դիֆուզիոն շրջանակներում ոչ անվտանգ հասկացությունների միջոցով ուղղորդելու համար: 

Մոդելի խմբագրում

Concept Sliders-ի օգտագործումը կարող է դիտվել նաև որպես մոդելի խմբագրման տեխնիկա, որն օգտագործում է ցածր աստիճանի ադապտեր՝ մեկ իմաստային հատկանիշ դուրս բերելու համար, որը հնարավորություն է տալիս շարունակական վերահսկողության համար, որը համահունչ է հատկանիշին: Այնուհետև օգտագործվում են ճշգրտման վրա հիմնված անհատականացման մեթոդներ՝ շրջանակն անհատականացնելու համար՝ նոր հասկացություններ ավելացնելու համար: Ավելին, Custom Diffusion տեխնիկան առաջարկում է խաչաձև ուշադրության շերտերը ճշգրտելու միջոց՝ նոր տեսողական հասկացությունները նախապես պատրաստված դիֆուզիոն մոդելներում ներառելու համար: Ընդհակառակը, Տեքստային դիֆուզիոն տեխնիկան առաջարկում է օպտիմիզացնել ներդրման վեկտորը՝ մոդելի հնարավորություններն ակտիվացնելու և շրջանակում տեքստային հասկացություններ ներմուծելու համար: 

Իմաստային ուղղություն GAN-ներում

Իմաստային ատրիբուտների մանիպուլյացիան Generative Adversarial Networks-ի հիմնական ատրիբուտներից մեկն է՝ թաքնված տիեզերական հետագծերով, որոնք հայտնաբերված են, որ հավասարեցված են ինքնուրույն վերահսկվող ձևով: Դիֆուզիոն շրջանակներում այս թաքնված տիեզերական հետագծերը գոյություն ունեն U-Net ճարտարապետության միջին շերտերում, և դիֆուզիոն շրջանակներում թաքնված տարածությունների հիմնական ուղղությունը գրավում է գլոբալ իմաստաբանությունը: Concept Sliders-ը պատրաստում է ցածր աստիճանի ենթատարածություններ, որոնք համապատասխանում են հատուկ ատրիբուտներին ուղղակիորեն և ստանում են ճշգրիտ և տեղայնացված խմբագրման ուղղություններ՝ օգտագործելով տեքստի կամ պատկերների զույգերը՝ գլոբալ ուղղությունները օպտիմալացնելու համար: 

Concept Sliders. Ճարտարապետություն և աշխատանք

Դիֆուզիոն մոդելներ և LoRA կամ ցածր աստիճանի ադապտերներ

Դիֆուզիոն մոդելները, ըստ էության, գեներատիվ AI շրջանակների ենթադաս են, որոնք գործում են տվյալների սինթեզման սկզբունքով` հակադարձելով դիֆուզիոն գործընթացը: Առաջ տարածման գործընթացը սկզբում ավելացնում է աղմուկը տվյալների վրա, այդպիսով կազմակերպված վիճակից անցում է կատարում Գաուսի աղմուկի ամբողջական վիճակի: Դիֆուզիոն մոդելների առաջնային նպատակն է հակադարձել դիֆուզիոն պրոցեսը` աստիճանաբար զրոյացնելով պատկերը և նմուշառելով պատահական Գաուսի աղմուկը` պատկեր ստեղծելու համար: Իրական աշխարհի կիրառություններում Դիֆուզիոն շրջանակների առաջնային նպատակն է կանխատեսել իրական աղմուկը, երբ ամբողջական Գաուսյան աղմուկը սնվում է որպես մուտքային լրացուցիչ մուտքեր, ինչպիսիք են պայմանավորումը և ժամանակացույցը: 

LoRA կամ Low Rank Adapters տեխնիկան քայքայում է քաշի թարմացումները ճշգրտման ընթացքում՝ հնարավորություն ընձեռելու մեծ նախապես պատրաստված շրջանակների արդյունավետ հարմարեցումը ներքևում գտնվող առաջադրանքների վրա: LoRA տեխնիկան քայքայում է քաշի թարմացումները նախապես պատրաստված մոդելի շերտի համար՝ ինչպես մուտքային, այնպես էլ ելքային չափերի առումով, և սահմանափակում է թարմացումը ցածր չափերի ենթատարածության մեջ: 

Հայեցակարգային սլայդերներ

Concept Sliders-ի առաջնահերթ նպատակն է ծառայել որպես LoRA ադապտերների ճշգրտման մոտեցում դիֆուզիոն շրջանակի վրա՝ հեշտացնելու կոնցեպտին ուղղված պատկերների նկատմամբ վերահսկողության ավելի մեծ աստիճանը, և նույնը ցուցադրվում է հետևյալ պատկերում: 

Երբ պայմանավորված են թիրախային հասկացություններով, Concept Sliders-ը սովորում է ցածր աստիճանի պարամետրերի ուղղությունները՝ որոշակի հատկանիշների արտահայտումը կա՛մ ավելացնելու, կա՛մ նվազեցնելու համար: Մոդելի և դրա թիրախային հայեցակարգի համար Concept Sliders-ի առաջնային նպատակն է ձեռք բերել ընդլայնված մոդել, որը փոփոխում է պատկերի ատրիբուտների ուժեղացման և ճնշելու հավանականությունը, երբ այն պայմանավորված է թիրախային հայեցակարգով, որպեսզի մեծացնի ատրիբուտների բարելավման հավանականությունը և նվազեցնի հավանականությունը: ատրիբուտների ճնշող. Օգտագործելով reparameterization-ը և Tweedie-ի բանաձևը, շրջանակը ներկայացնում է ժամանակի փոփոխվող աղմուկի գործընթաց և յուրաքանչյուր միավոր արտահայտում է որպես զրոյացնող կանխատեսում: Ավելին, անջատման նպատակը ճշգրտում է Concept Sliders-ի մոդուլները՝ միաժամանակ պահպանելով նախապես պատրաստված կշիռները, և LoRA ձևակերպման ժամանակ ներդրված մասշտաբային գործոնը փոփոխվում է միջամտության ժամանակ: Սանդղման գործոնը նաև հեշտացնում է խմբագրման ուժեղ կողմերը և խմբագրումները դարձնում է ավելի ուժեղ՝ առանց շրջանակը վերապատրաստելու, ինչպես ցույց է տրված հետևյալ նկարում: 

Շրջանակների կողմից ավելի վաղ օգտագործված խմբագրման մեթոդները հեշտացրել են ավելի ուժեղ խմբագրումները՝ վերապատրաստելով շրջանակը մեծացված ուղղորդմամբ: Այնուամենայնիվ, միջամտության ժամանակ մասշտաբի գործոնը մեծացնելը տալիս է նույն խմբագրման արդյունքները՝ առանց վերապատրաստման ծախսերի և ժամանակի ավելացման: 

Տեսողական հասկացությունների ուսուցում

Հայեցակարգային սլայդերները նախագծված են այնպես, որ վերահսկեն տեսողական հասկացությունները, որոնք տեքստային հուշումներն ի վիճակի չեն լավ սահմանել, և այս սլայդերները օգտագործում են փոքր տվյալների հավաքածուներ, որոնք կամ զուգակցված են առաջ կամ հետո՝ այս հասկացությունների վրա մարզվելու համար: Պատկերների զույգերի միջև հակադրությունը թույլ է տալիս սահիկներին սովորել տեսողական հասկացությունները: Ավելին, Concept Sliders-ի ուսուցման գործընթացը օպտիմալացնում է LoRA բաղադրիչը, որն իրականացվում է ինչպես առաջ, այնպես էլ հակառակ ուղղությամբ: Արդյունքում, LoRA բաղադրիչը համընկնում է այն ուղղության հետ, որն առաջացնում է տեսողական էֆեկտներ երկու ուղղություններով: 

Հայեցակարգի սլայդերներ. իրականացման արդյունքներ

Արդյունավետության աճը վերլուծելու համար մշակողները գնահատել են Concept Sliders-ի օգտագործումը հիմնականում դրա վրա Կայուն դիֆուզիոն XL, բարձր լուծաչափով 1024 պիքսել շրջանակ՝ Stable Diffusion v1.4 շրջանակի վրա իրականացված լրացուցիչ փորձերով, որոնց մոդելները պատրաստված են յուրաքանչյուրը 500 դարաշրջանի համար: 

Տեքստային հայեցակարգի սլայդերներ

Տեքստային հայեցակարգի սլայդերների կատարումը գնահատելու համար այն վավերացվում է տեքստի վրա հիմնված 30 հասկացությունների վրա, և մեթոդը համեմատվում է երկու բազային գծերի հետ, որոնք օգտագործում են ստանդարտ տեքստային հուշում ֆիքսված թվով ժամանակային քայլերի համար, և այնուհետև սկսում է կազմվել՝ պատկերը կառավարելու համար հուշումներ ավելացնելով: Ինչպես երևում է հետևյալ նկարում, Concept Sliders-ի օգտագործումը հանգեցնում է CLIP-ի անընդհատ բարձր գնահատականի և LPIPS-ի գնահատականի մշտական ​​նվազմանը, երբ համեմատվում է սկզբնական շրջանակի հետ առանց Concept Sliders-ի: 

Ինչպես երևում է վերը նշված նկարում, Concept Sliders-ների օգտագործումը հեշտացնում է պատկերի ստեղծման գործընթացում ցանկալի ատրիբուտների ճշգրիտ խմբագրումը` միաժամանակ պահպանելով պատկերի ընդհանուր կառուցվածքը: 

Visual Concept Sliders

Տեքստից պատկերի տարածման մոդելները, որոնք օգտագործում են միայն տեքստային հուշումները, հաճախ դժվարանում են ավելի բարձր վերահսկողություն պահպանել տեսողական հատկանիշների վրա, ինչպիսիք են դեմքի մազերը կամ աչքերի ձևերը: Հատված ատրիբուտների նկատմամբ ավելի լավ վերահսկողություն ապահովելու համար Concept Sliders-ն օգտագործում է կամընտիր տեքստային ուղեցույց՝ զուգակցված պատկերների տվյալների հավաքածուների հետ: Ինչպես երևում է ստորև նկարում, Concept Sliders-ը ստեղծում է անհատական ​​սահիկներ «աչքի չափի» և «հոնքերի ձևի» համար, որոնք պատկերում են ցանկալի փոխակերպումները՝ օգտագործելով պատկերների զույգերը: 

Արդյունքները կարող են ավելի կատարելագործվել՝ տրամադրելով հատուկ տեքստեր, որպեսզի ուղղությունը կենտրոնանա դեմքի այդ հատվածի վրա և ստեղծի սահիչներ՝ թիրախավորված հատկանիշի վրա քայլ առ քայլ վերահսկողությամբ: 

Սլայդերների կազմում

Concept Sliders-ի օգտագործման հիմնական առավելություններից մեկը դրա բաղադրելիությունն է, որը թույլ է տալիս օգտատերերին միավորել բազմաթիվ սահիկներ՝ ավելի մեծ հսկողության համար, այլ ոչ թե միաժամանակ կենտրոնանալ մեկ հայեցակարգի վրա, ինչը կարող է պայմանավորված լինել Concept Sliders-ում օգտագործվող ցածր աստիճանի սլայդերների ուղղություններով: . Բացի այդ, քանի որ Concept Sliders-ը թեթև LoRA ադապտերներ են, դրանք հեշտ է կիսվել, և դրանք կարող են նաև հեշտությամբ ծածկվել: դիֆուզիոն մոդելներ. Օգտատերերը կարող են նաև կարգավորել մի քանի կոճակներ՝ բարդ սերունդներ ղեկավարելու համար՝ ներբեռնելով հետաքրքիր սլայդերների հավաքածուներ: 

Հետևյալ պատկերը ցույց է տալիս կոնցեպտի սլայդերների կոմպոզիցիայի հնարավորությունները, և մի քանի սլայդեր կազմվում են աստիճանաբար յուրաքանչյուր շարքում՝ ձախից աջ, այդպիսով թույլ տալով անցնել կոնցեպտի բարձրաչափ տարածություններ՝ կոնցեպտների նկատմամբ վերահսկողության ուժեղացված աստիճանով: 

Պատկերի որակի բարելավում

Թեև ժամանակակից տեքստից մինչև պատկերի դիֆուզիոն շրջանակներ և լայնածավալ գեներացնող մոդելներ, ինչպիսիք են Կայուն դիֆուզիոն XL մոդելն ի վիճակի է ստեղծել իրատեսական և բարձրորակ պատկերներ, նրանք հաճախ տառապում են պատկերի աղավաղումներից, ինչպիսիք են մշուշոտ կամ փաթաթված առարկաները, թեև այս ժամանակակից շրջանակների պարամետրերը հագեցած են ավելի քիչ սերունդներով բարձրորակ արդյունք ստեղծելու գաղտնի ունակությամբ: Concept Sliders-ի օգտագործումը կարող է հանգեցնել ավելի քիչ աղավաղումներով պատկերների ստեղծմանը` բացելով այս մոդելների իրական հնարավորությունները` բացահայտելով ցածր աստիճանի պարամետրերի ուղղությունները: 

Ամրագրող ձեռքեր

Իրատեսական տեսք ունեցող ձեռքերով պատկերներ ստեղծելը միշտ խոչընդոտ է եղել դիֆուզիոն շրջանակների համար, և Concept Sliders-ի օգտագործումը ուղղակիորեն վերահսկում է ձեռքերը աղավաղելու միտումը: Հետևյալ պատկերը ցույց է տալիս «ֆիքսված ձեռքերը» հայեցակարգային սլայդերների օգտագործման էֆեկտը, որը թույլ է տալիս շրջանակին ստեղծել պատկերներ ավելի իրատեսական տեսք ունեցող ձեռքերով: 

Սլայդերների վերանորոգում

Concept Sliders-ների օգտագործումը կարող է ոչ միայն հանգեցնել ավելի իրատեսական տեսք ունեցող ձեռքերի ստեղծմանը, այլև նրանք ցույց են տվել իրենց ներուժը բարելավելու շրջանակի կողմից ստեղծված պատկերների ընդհանուր ռեալիզմը: Concept Sliders-ը նաև բացահայտում է մեկ ցածր աստիճանի պարամետրի ուղղությունը, որը հնարավորություն է տալիս պատկերների փոփոխությունը սովորական աղավաղման խնդիրներից, և արդյունքները ցուցադրվում են հետևյալ պատկերում: 

Վերջնական Մտքեր

Այս հոդվածում մենք խոսել ենք Concept Sliders-ի մասին՝ պարզ, բայց մասշտաբային նոր պարադիգմ, որը հնարավորություն է տալիս մեկնաբանելի վերահսկել առաջացած ելքի վրա դիֆուզիոն մոդելներում: Concept Sliders-ի օգտագործումը նպատակ ունի լուծել ընթացիկ տեքստի առջև պատկերի դիֆուզիոն շրջանակների առջև ծառացած խնդիրները, որոնք դժվարանում են պահպանել անհրաժեշտ վերահսկողությունը ստեղծված պատկերում ներառված տեսողական հասկացությունների և ատրիբուտների նկատմամբ, ինչը հաճախ հանգեցնում է անբավարար արդյունքի: Ավելին, տեքստից պատկերի դիֆուզիոն մոդելների մեծ մասը դժվարանում է փոփոխել շարունակական ատրիբուտները պատկերի մեջ, ինչը, ի վերջո, հաճախ հանգեցնում է անբավարար արդյունքների: Concept Sliders-ի օգտագործումը կարող է թույլ տալ, որ տեքստը պատկերի տարածման շրջանակները մեղմեն այս խնդիրները, և հզորացնեն բովանդակություն ստեղծողներին և վերջնական օգտագործողներին պատկերների ստեղծման գործընթացի նկատմամբ վերահսկողության բարձր աստիճանով և լուծել ընթացիկ շրջանակների հետ կապված խնդիրները: