Смањивање слика високе резолуције помоћу машинског учења

Ново истраживање из Велике Британије предложило је побољшану методу машинског учења за промену величине слика, на основу перципиране вредности различитих делова садржаја слике, уместо неселективног смањења димензије (а самим тим и квалитета и карактеристика које се могу издвојити) за све пикселе у слика.

Као део све већег интересовања за системе компресије вођене вештачком интелигенцијом, то је приступ који би на крају могао да информише нове кодеке за општу компресију слике, иако је рад мотивисан здравственим сликама, где произвољно смањење узорковања медицинских слика високе резолуције може довести до губитка информација које спашавају живот.

Репрезентативна архитектура новог система. Модул интерстицијалне деформације производи мапу деформације која одговара областима од интереса на слици. Густина и правац црвених тачака означавају ове области. Мапа се користи не само за смањење узорковања, већ и за реконструкцију области од примарног интереса када се садржај слике неуједначено поново повећава на другој страни процеса обуке.  Извор: хттпс://аркив.орг/пдф/2109.11071.пдф

Систем се примењује семантичка сегментација на слике – широки блокови, представљени као блокови боја на слици изнад, који обухватају препознате ентитете унутар слике, као што су 'пут', 'бицикл', 'лезија', ет ал. Распоред мапа семантичке сегментације се затим користи да се израчуна који делови фотографије не би требало да буду претерано смањени.

право Научите да смањите узорковање за сегментацију слика ултра високе резолуције, Нови папир је сарадња између истраживача из Центра за рачунање медицинске слике на Универзитетском колеџу у Лондону и истраживача из одељења за здравствену интелигенцију у Мицрософт Кембриџу.

Свет тренинга компјутерског вида (прилично) ниске резолуције

Обука система компјутерског вида је значајно ограничена капацитетом ГПУ-а. Скупови података могу садржати хиљаде слика из којих треба издвојити карактеристике, али чак и индустријски ГПУ-ови имају тенденцију да достижу максимум од 24 ГБ ВРАМ-а, са сталне несташице утичући на доступност и цену.

То значи да подаци морају да се уносе кроз ограничена Тенсор језгра ГПУ-а у групама којима се може управљати, са 8-16 слика типичних за многе радне токове обуке компјутерског вида.

Нема много очигледних решења: чак и да је ВРАМ неограничен и да би ЦПУ архитектуре могле да прилагоде ту врсту протока ГПУ-а без формирања архитектонског уског грла, веома велике величине серије ће тежити да изводе карактеристике високог нивоа на рачун детаљнијих трансформација што може бити критично за корисност коначног алгоритма.

Повећање резолуције улазних слика ће значити да ћете морати да користите мање величине пакета да бисте уклопили податке у „латентни простор“ ГПУ обуке. Ово ће, напротив, вероватно произвести модел који је „ексцентричан“ и превише опремљен.

Ни додавање додатних ГПУ-а не помаже, барем у најчешћим архитектурама: док подешавања са више ГПУ-а могу убрзати време обуке, она такође могу да угрозе интегритет резултата обуке, као што су две суседне фабрике које раде на истом производу, са само телефоном линију за координацију својих напора.

Интелигентно промењене слике

Оно што је преостало је да би најрелевантнији делови типичне слике за скуп података компјутерског вида могли, са новом методом, да буду сачувани нетакнути у аутоматској промени величине која се дешава када се слике веома високе резолуције морају смањити да би се уклопиле у МЛ пипелине.

Ово је посебан изазов за проблем артефакти са губитком у скуповима података машинског учења, где се губи квалитет у аутоматизованим цевоводима за промену величине јер кодек за компресију одбацује превише (обично неповратних) информација.

Уместо тога, у овом случају, чак ни чување у формату слике без губитака (као што је ПНГ са ЛЗВ компресијом) не може да поврати информације које се генерално одбацују приликом промене величине (на пример) скенирања магнетном резонанцом (МРИ) од често рекордних димензија на веродостојнију типичну резолуцију од 256×256 или 512×512 пиксела.

Да ствари буду још горе, у зависности од захтева оквира, црне ивице ће се често додавати правоугаоним изворним сликама као рутински задатак обраде података, како би се произвео истински квадратни улазни формат за обраду неуронске мреже, додатно смањујући расположиви простор за потенцијално кључни подаци.

Истраживачи са УЦЛ-а и Мицрософт-а уместо тога предлажу да се процес промене величине учини интелигентнијим, ефективно користећи оно што је одувек била генеричка фаза у припреми за истицање области од интереса, ослобађајући део интерпретативног терета са система машинског учења кроз који се слике ће на крају проћи.

Метода, тврде истраживачи, побољшава понуду из 2019. (слика испод) која је тражила сличне добитке фокусирањем пажње на квалитет на Границе објеката.

Из књиге „Ефикасна сегментација: учење смањивања узорковања близу семантичких граница“, Марин и др., 2019. Извор: хттпс://аркив.орг/пдф/1907.07156.пдф

Како се примећује у новом раду, овај приступ претпоставља да се области од интереса окупљају на границама, док примери из медицинског снимања, као што су обележени региони рака, зависе од контекста вишег нивоа и могу се појавити као детаљи који се лако одбацују унутар ширих области на слици. , а не на ивицама.

Леарнабле Довнсамплер

Ново истраживање предлаже а учећи довнсамплер који се назива модул деформације, који је заједно обучен са модулом за паралелну сегментацију, и стога може бити информисан о областима од интереса идентификованим семантичком сегментацијом, и дати им приоритет током процеса смањења узорковања.

Аутори су тестирали систем на неколико популарних скупова података, укључујући Градски пејзажи, ДеепГлобе и локални скуп података хистологије рака простате, 'ПЦа-Хисто'.

Три приступа: са леве стране постојеће 'уједначено' смањење узорковања; у средини, приступ „оптималне ивице“ из рада из 2019.; на десној страни, архитектура која стоји иза новог система, заснована на препознавању ентитета у слоју семантичке сегментације.

Сличан приступ је покушан за класификатор предложена 2019, али аутори овог рада тврде да овај метод не регулише на адекватан начин области наглашавања, потенцијално недостајуће виталне области у контексту медицинског снимања.

Резултати

Модул деформације у новом систему је мала конволуциона неуронска мрежа (ЦНН), док је слој сегментације дубока ЦНН архитектура која користи ХРНетВ2-В48. Мрежа за анализу пирамидалних сцена (ПСП-нет) је коришћен као слој за проверу исправности за ЦитиСцапес тестове.

Горепоменути скупови података су тестирани са новим оквиром, коришћењем униформног поновног узорковања (уобичајена метода), метода оптималне ивице из 2019. и новог приступа који користи семантичку сегментацију.

Аутори наводе да нова метода показује 'јасна предност у идентификацији и разликовању клинички најважнијих класа', са повећањем прецизности од 15-20%. Они даље примећују да се удаљеност између ових класа често дефинише као „праг од здравог до рака“.

Анализа пресецања по класама (ИоУ) кроз три методе: лево, стандардно поновно узорковање; средња, оптимална ивица; и тачно, нови приступ. ЦитиСцапес је смањен на само 64 к 128, са ПЦаХисто на 80 к 800, а ДеепГлобе на 300 квадратних пиксела.

У извештају се наводи да њихов метод 'могу научити стратегију смањења узорковања, боље сачувати информације и омогућити бољи компромис', закључујући да нови оквир „може ефикасно научити где да „уложи“ ограничени буџет пиксела при смањеном узорковању како би постигао највећи укупни повраћај у прецизности сегментације“.

Главна слика за чланак ове функције је преузета са тхисперсондоеснотекист.цом. Ажурирано у 3:35 ГМТ+2 због текстуалне грешке.