Што е заднинско размножување?

Што е заднинско размножување?

Системите за длабоко учење се способни да научат исклучително сложени обрасци, а тоа го постигнуваат со прилагодување на нивната тежина. Како точно се прилагодуваат тежините на длабоката невронска мрежа? Тие се прилагодуваат преку процес се нарекува назад размножување. Без заднинско размножување, длабоките невронски мрежи не би можеле да извршуваат задачи како што се препознавање слики и толкување на природен јазик. Разбирањето како функционира заднинското ширење е од клучно значење за разбирање на длабоките невронски мрежи воопшто, па ајде да разговараме за заднинското ширење и да видиме како процесот се користи за прилагодување на тежините на мрежата.

Назадното размножување може да биде тешко да се разбере, а пресметките што се користат за да се изврши назад ширење може да бидат доста сложени. Оваа статија ќе се обиде да ви даде интуитивно разбирање за заднинското ширење, користејќи малку на сложената математика. Сепак, неопходна е одредена дискусија за математиката зад заднинското ширење.

Целта на назад пропагирање

Да почнеме со дефинирање на целта на заостанатото размножување. Тежините на длабоката невронска мрежа се јачината на врските помеѓу единиците на невронската мрежа. Кога ќе се воспостави невронската мрежа, се прават претпоставки за тоа како единиците во еден слој се поврзани со слоевите споени со неа. Како што податоците се движат низ невронската мрежа, тежините се пресметуваат и се прават претпоставки. Кога податоците ќе стигнат до последниот слој на мрежата, се прави предвидување за тоа како карактеристиките се поврзани со класите во сетот на податоци. Разликата помеѓу предвидените вредности и вистинските вредности е загубата/грешката и целта на заостанатото ширење е да се намали загубата. Ова се постигнува со прилагодување на тежините на мрежата, правејќи ги претпоставките повеќе како вистинските односи помеѓу влезните карактеристики.

Обука за длабока невронска мрежа

Пред да може да се направи задна пропагација на а невронска мрежа, мора да се изврши редовната/напредната обука на невронска мрежа. Кога ќе се создаде невронска мрежа, се иницијализира збир на тежини. Вредноста на тежините ќе се менува како што се обучува мрежата. Напредната обука на невронската мрежа може да се замисли како три дискретни чекори: активирање на невронот, пренос на неврон и ширење напред.

Кога тренираме длабока невронска мрежа, треба да користиме повеќе математички функции. Невроните во длабоката невронска мрежа се состојат од дојдовни податоци и функција за активирање, која ја одредува вредноста неопходна за активирање на јазолот. Вредноста на активирање на невронот се пресметува со неколку компоненти, што е пондерирана сума на влезовите. Тежините и влезните вредности зависат од индексот на јазлите што се користат за пресметување на активирањето. Друг број мора да се земе предвид при пресметување на вредноста за активирање, вредност на пристрасност. Вредностите на пристрасност не флуктуираат, така што тие не се множат заедно со тежината и влезовите, туку само се додаваат. Сето ова значи дека следнава равенка може да се користи за да се пресмета вредноста на активирањето:

Активирање = збир (тежина * влез) + пристрасност

Откако ќе се активира невронот, се користи функцијата за активирање за да се одреди каков ќе биде излезот од вистинскиот излез на невронот. Различни функции за активирање се оптимални за различни задачи за учење, но најчесто користените функции за активирање вклучуваат сигмоидна функција, функцијата Tanh и функцијата ReLU.

Откако ќе се пресметаат излезите на невронот со извршување на вредноста за активирање преку саканата функција за активирање, се врши ширење напред. Напредното ширење е само преземање на излезите од еден слој и нивно правење влезови на следниот слој. Новите влезови потоа се користат за пресметување на новите функции за активирање, а излезот од оваа операција се пренесува на следниот слој. Овој процес продолжува сè до крајот на невронската мрежа.

Задно ширење во мрежата

Процесот на заднинско размножување ги зема конечните одлуки на пропусницата за обука на моделот, а потоа ги одредува грешките во овие одлуки. Грешките се пресметуваат со спротивставување на излезите/одлуките на мрежата и очекуваните/посакуваните излези од мрежата.

Откако ќе се пресметаат грешките во одлуките на мрежата, овие информации се пренесуваат назад низ мрежата и параметрите на мрежата се менуваат на патот. Методот што се користи за ажурирање на тежините на мрежата се базира на пресметка, поточно, се базира на правилото на синџирот. Сепак, разбирањето на пресметката не е неопходно за да се разбере идејата за задното размножување. Само знајте дека кога излезна вредност е обезбедена од неврон, наклонот на излезната вредност се пресметува со функцијата за пренос, што произведува изведен излез. Кога се прави задна пропагација, грешката за одреден неврон се пресметува според следново формула:

грешка = (очекуван_излез – актуелен_излез) * наклон на излезната вредност на невронот

Кога се работи на невроните во излезниот слој, вредноста на класата се користи како очекувана вредност. Откако ќе се пресмета грешката, грешката се користи како влез за невроните во скриениот слој, што значи дека грешката за овој скриен слој е пондерираните грешки на невроните пронајдени во излезниот слој. Пресметките на грешката се движат наназад низ мрежата долж мрежата на тежини.

Откако ќе се пресметаат грешките за мрежата, тежините во мрежата мора да се ажурираат. Како што споменавме, пресметувањето на грешката вклучува одредување на наклонот на излезната вредност. Откако ќе се пресмета наклонот, може да се користи процес познат како спуштање на градиент за прилагодување на тежините во мрежата. Градиент е наклон, чиј агол/стрмност може да се измери. Наклонот се пресметува со исцртување на „y over“ или „подигнување“ над „run“. Во случај на невронска мрежа и стапка на грешка, „y“ е пресметаната грешка, додека „x“ се параметрите на мрежата. Параметрите на мрежата имаат врска со пресметаните вредности на грешка, и како што се прилагодуваат тежините на мрежата, грешката се зголемува или намалува.

„Спуштање на градиент“ е процес на ажурирање на тежините за да се намали стапката на грешка. Заднинското ширење се користи за да се предвиди односот помеѓу параметрите на невронската мрежа и стапката на грешка, што ја поставува мрежата за спуштање на градиент. Обуката за мрежа со спуштање на градиент вклучува пресметување на тежините преку ширење нанапред, назад пропагирање на грешката и потоа ажурирање на тежините на мрежата.