Zmenšování vysokých rozlišení obrázků pomocí strojového učení

Nový výzkum z Velké Británie navrhl vylepšenou metodu strojového učení pro změnu velikosti obrázků, založenou na vnímané hodnotě různých částí obsahu obrázku, místo aby se velikost snížila nekontrolovaně (a tím i kvalita a extrahovatelné funkce) pro všechny pixely v obrázku.

Jedná se o součást rostoucího zájmu o systémy komprese poháněné umělou inteligencí, což je přístup, který by mohl nakonec informovat nové kodeky pro obecnou kompresi obrázků, i když je práce motivována zdravotnickým zobrazováním, kde libovolné snížení velikosti vysokých rozlišení zdravotnických obrázků by mohlo vést ke ztrátě život zachraňujících informací.

Reprezentační architektura nového systému. Modul intersticiální deformace produkuje deformaci mapy, která odpovídá oblastem zájmu v obrázku. Hustota a směr červených teček ukazují tyto oblasti. Mapa se používá nejen pro snížení velikosti, ale také pro rekonstrukci primárních oblastí zájmu, když je obsah obrázku neuniformně zvětšen na druhé straně tréninkového procesu. Zdroj: https://arxiv.org/pdf/2109.11071.pdf

Systém aplikuje semantické segmentace na obrázky – široké bloky, reprezentované jako barevné bloky v obrázku výše, které zahrnují rozpoznané entity uvnitř obrázku, jako ‘silnice’, ‘kola’, ‘léze’ atd. Dispozice semantických segmentačních map se poté použije pro výpočet, které části fotografie by neměly být nadměrně sníženy.

Nazvaný Učení snížení velikosti pro segmentaci ultra-vysokých rozlišení obrázků, nová práce je spoluprací mezi výzkumníky z Centra pro medicínské zobrazování na University College London a výzkumníky z oddělení Healthcare Intelligence v Microsoft Cambridge.

Svět počítačového vidění s (poměrně) nízkým rozlišením

Školení systémů počítačového vidění je významně omezeno kapacitou GPU. Datové sady mohou obsahovat mnoho tisíc obrázků, z nichž je třeba extrahovat funkce, ale i průmyslové GPU obvykle dosahují maxima 24 GB VRAM, s pokračujícími nedostatkymi, které ovlivňují dostupnost a cenu.

To znamená, že data musí být krmena omezenými Tensor jádry GPU v řízených dávkách, s 8-16 obrázky typickými pro mnoho pracovních postupů počítačového vidění.

Neexistují žádné zjevné řešení: i kdyby VRAM bylo neomezené a architektury CPU mohly zvládnout takový propustnost z GPU bez tvorby architektonické lahve, velmi vysoké dávky budou mít tendenci odvozovat vysoké úrovně funkcí na úkor podrobnějších transformací, které mohou být kritické pro užitečnost konečného algoritmu.

Zvýšení rozlišení vstupních obrázků bude znamenat, že budete muset použít menší dávky pro umístění dat do “latentního prostoru” GPU školení. To, naopak, je pravděpodobně produkovat model, který je “excentrický” a přeučený.

Ani přidání dalších GPU nepomůže, alespoň v nejčastějších architekturách: zatímco více-GPU sestavy může urychlit časy školení, mohou také kompromitovat integritu školení výsledků, jako dvě sousední továrny pracující na stejném produktu, s pouze telefonní linkou pro koordinaci jejich úsilí.

Inteligentně změněná velikost obrázků

Co zbývá, je to, že nejrelevantnější části typického obrázku pro datové sady počítačového vidění by mohly, s novou metodou, být zachovány neporušené v automatickém snížení velikosti, když je třeba velmi vysoké rozlišení obrázků snížit na velikost, aby se vešly do potrubí ML.

Jedná se o samostatnou výzvu pro problém ztrátových artefaktů v datech počítačového vidění, kde je kvalita ztracena v automatických potrubích změny velikosti, protože kodek komprese zahazuje příliš mnoho (obvykle nezvěstných) informací.

Rather, v tomto případě, ani uložení do bezztrátového formátu obrázku (jako PNG s kompresí LZW) nemůže obnovit informace, které jsou obecně zahazeny, když se velikost sníží (například) magnetické rezonanční zobrazování (MRI) skenování z často rekordních rozměrů na více uvěřitelnou typickou 256×256 nebo 512×512 pixelů rozlišení.

Aby věci byly horší, v závislosti na požadavcích rámce, budou černé okraje často přidány k obdélníkovým zdrojovým obrázkům jako rutinní úloha zpracování dat, aby se vyrobil skutečný čtvercový formát vstupu pro neuronové sítě, dále snižující dostupný prostor pro potenciálně kritické údaje.

Výzkumníci z UCL a Microsoft místo toho navrhují učinit proces změny velikosti inteligentnějším, efektivní利用ujícího toho, co bylo vždy obecným stádiem v potrubí, aby vyzdvihl oblasti zájmu, off-loading některé interpretační zátěže z systému strojového učení, kterým budou obrázky nakonec projít.

Metoda, kterou výzkumníci prohlašují, vylepšuje verzi z roku 2019 (obrázek níže), která usilovala o podobné zisky zaměřením kvality-pozornosti na hranice objektů.

Z ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Zdroj: https://arxiv.org/pdf/1907.07156.pdf

Jako nová práce poznamenává, že tento přístup předpokládá, že oblasti zájmu se shromažďují na hranicích, zatímco příklady z medicínského zobrazování, jako jsou anotované rakovinné oblasti, závisí na vyšší úrovni kontextu a mohou se objevit jako snadno zahazované detaily uvnitř širších oblastí v obrázku, spíše než na okrajích.

Učitelné snížení velikosti

Nová práce navrhuje učitelné snížení velikosti nazvané modul deformace, který je společně trénován s paralelním segmentačním modulem a může být informován o oblastech zájmu identifikovaných semantickou segmentací a priorizovat tyto během procesu snížení velikosti.

Autoritestovali systém na několika populárních datech, včetně Cityscapes, DeepGlobe a lokálního datasetu Prostate Cancer Histology, ‘PCa-Histo’.

Tři přístupy: vlevo, existující ‘uniformní’ snížení velikosti; uprostřed, ‘optimální hrana’ přístup z roku 2019; vpravo, architektura za novým systémem, informovaným o rozpoznání entit v semantické segmentační vrstvě.

Podobný přístup byl vyzkoušen pro klasifikátor navržen v roce 2019, ale autoři současné práce prohlašují, že tato metoda nedostačujícím způsobem regularizuje oblasti zdůraznění, potenciálně chybějící vitální oblasti v kontextu medicínského zobrazování.

Výsledky

Modul deformace v novém systému je malý Convolutional Neural Network (CNN), zatímco segmentační vrstva je hluboká CNN architektura, která využívá HRNetV2-W48. Pyramid Scene Parsing Network (PSP-net) byl použit jako kontrolní vrstva pro testy CityScapes.

Uvedené datové sady byly testovány s novým rámcem, pomocí uniformního resampling (obvyklou metodou), optimální hrany metody z roku 2019 a nového přístupu využívajícího semantickou segmentaci.

Autori uvádějí, že nová metoda ukazuje ‘zjevnou výhodu při identifikaci a rozlišení nejvíce klinicky důležitých tříd’, s nárůstem přesnosti o 15-20%. Dále pozorují, že vzdálenost mezi těmito třídami je často definována jako ‘práh zdravý až rakovina’.

Třída-moudré analýzy průniku a unie (IoU) napříč třemi metodami: vlevo, standardní resampling; uprostřed, optimální hrana; a vpravo, nový přístup. CityScapes byl snížen na pouhých 64 x 128, s PCaHisto sníženým na 80 x 800 a DeepGlobe sníženým na 300 pixelů čtverečních.

Zpráva uvádí, že jejich metoda ‘může naučit strategii snížení velikosti, lépe zachovat informace a umožnit lepší kompromis.’, uzavírající, že nový rámec ‘může účinně naučit, kde “investovat” omezený rozpočet pixelů při snížení velikosti, aby dosáhl nejvyšší celkové návratnosti v přesnosti segmentace’.

Hlavní obrázek pro tento článek byl získán z thispersondoesnotexist.com. Aktualizováno 3:35pm GMT+2 pro opravu textu.