Zmniejszanie rozdzielczości obrazów o wysokiej rozdzielczości za pomocą uczenia maszynowego

Nowe badania przeprowadzone w Wielkiej Brytanii zaproponowały ulepszoną metodę uczenia maszynowego do zmiany rozmiaru obrazów, opartą na postrzeganej wartości różnych części zawartości obrazu, zamiast nie rozróżniającego zmniejszania wymiaru (i tym samym jakości i wyodrębnianych cech) dla wszystkich pikseli w obrazie.

Jako część rosnącego zainteresowania systemami kompresji napędzanymi przez sztuczną inteligencję, jest to podejście, które może ostatecznie poinformować nowe kodeki do ogólnej kompresji obrazów, chociaż praca jest motywowana przez obrazowanie medyczne, gdzie dowolne zmniejszanie rozdzielczości obrazów medycznych o wysokiej rozdzielczości może prowadzić do utraty informacji, które mogą uratować życie.

Reprezentacyjna architektura nowego systemu. Moduł deformacji międzywnętrznej wytwarza mapę deformacji, która odpowiada obszarom zainteresowania w obrazie. Gęstość i kierunek czerwonych kropek wskazują te obszary. Mapa jest używana nie tylko do zmniejszania rozdzielczości, ale także do odtworzenia obszarów podstawowych zainteresowań, gdy zawartość obrazu jest niejednolicie skalowana w górę na drugim końcu procesu szkolenia. Źródło: https://arxiv.org/pdf/2109.11071.pdf

System stosuje segmentację semantyczną do obrazów – szerokie bloki, reprezentowane jako bloki kolorowe w powyższym obrazie, które obejmują rozpoznane jednostki wewnątrz obrazu, takie jak ‘droga’, ‘rower’, ‘guz’ itd. Rozmieszczenie map segmentacji semantycznej jest następnie używane do obliczenia, które części zdjęcia nie powinny być nadmiernie zmniejszane.

Opublikowana pod tytułem Nauka zmniejszania rozdzielczości do segmentacji obrazów o ultra-wysokiej rozdzielczości, nowy artykuł jest współpracą między badaczami z Centrum Obrazowania Medycznego na University College London i badaczami z Działu Inteligencji Zdrowotnej w Microsoft Cambridge.

Świat kompresji obrazów o (bardzo) niskiej rozdzielczości

Szkolenie systemów wizji komputerowej jest znacznie ograniczone przez pojemność procesorów GPU. Zestawy danych mogą zawierać wiele tysięcy obrazów, z których należy wyodrębnić cechy, ale nawet procesory GPU o zakresie przemysłowym mają tendencję do osiągania maksymalnej pojemności 24 GB pamięci VRAM, przy trwających niedoborach wpływających na dostępność i koszt.

To oznacza, że dane muszą być wprowadzane do ograniczonych rdzeni Tensor procesora GPU w zarządzalnych partiach, z 8-16 obrazami typowymi dla wielu przepływów pracy wizji komputerowej.

Nie ma wielu oczywistych rozwiązań: nawet gdyby pamięć VRAM była nieograniczona, a architektury CPU mogłyby pomieścić taki rodzaj przepływu z procesora GPU bez tworzenia architektonicznego wąskiego gardła, bardzo duże partie będą tendencją do pochodzenia wysokopoziomowych cech kosztem bardziej szczegółowych transformacji, które mogą być krytyczne dla użyteczności ostatecznego algorytmu.

Zwiększanie rozdzielczości obrazów wejściowych oznacza, że należy używać mniejszych partii, aby zmieścić dane w “przestrzeni latentnej” procesora GPU. To, z kolei, jest prawdopodobne, że wyprodukuje model, który jest “ekscentryczny” i przeszkolony.

Nie pomaga również dodawanie dodatkowych procesorów GPU: chociaż konfiguracje wielu procesorów GPU mogą przyspieszyć czasy szkolenia, mogą również kompromitować integralność wyników szkolenia, jak dwie sąsiednie fabryki pracujące nad tym samym produktem, z tylko linią telefoniczną do koordynowania ich wysiłków.

Inteligentnie zmienione rozmiary obrazów

Co pozostaje, to to, że najbardziej istotne sekcje typowego obrazu dla zestawu danych wizji komputerowej mogłyby, przy użyciu nowej metody, zostać zachowane w całości w automatycznym zmniejszaniu rozmiaru, które występuje, gdy obrazy o bardzo wysokiej rozdzielczości muszą być zmniejszane, aby zmieścić się w potoku ML.

To jest oddzielne wyzwanie w porównaniu z problemem utraty artefaktów w zestawach danych wizji komputerowej, gdzie jakość jest tracona w zautomatyzowanych potokach zmiany rozmiaru, ponieważ kodek kompresji wyrzuca zbyt wiele (zwykle nieodwracalnych) informacji.

Raczej, w tym przypadku, nawet zapisywanie do bezstratnego formatu obrazu (takiego jak PNG z kompresją LZW) nie może odzyskać informacji, które są ogólnie wyrzucane podczas zmniejszania rozmiaru (na przykład) skanu rezonansu magnetycznego (MRI) w dół z często rekordowych wymiarów do bardziej wiarygodnej typowej rozdzielczości 256×256 lub 512×512 pikseli.

Aby sprawy były jeszcze gorsze, w zależności od wymagań ramy, czarne obramowania są często dodawane do prostokątnych obrazów źródłowych jako rutynowe zadanie przetwarzania danych, w celu wytworzenia prawdziwie kwadratowego formatu wejściowego dla przetwarzania sieci neuronowych, co dalej redukuje dostępną przestrzeń dla potencjalnie krytycznych danych.

Badacze z UCL i Microsoft proponują uczynienie procesu zmiany rozmiaru bardziej inteligentnym, efektywnie używając tego, co zawsze było generycznym etapem w potoku, aby podkreślić obszary zainteresowania, przenosząc część ciężaru interpretacyjnego z systemu uczenia maszynowego, przez który obrazy ostatecznie przejdą.

Metoda, twierdzą badacze, poprawia wynik z 2019 roku (poniższy obraz), który szukał podobnych zysków, koncentrując uwagę jakości na granicach obiektów.

Z ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Źródło: https://arxiv.org/pdf/1907.07156.pdf

Jako nowa praca zauważa, to podejście zakłada, że obszary zainteresowania gromadzą się na granicach, podczas gdy przykłady z obrazowania medycznego, takie jak opisane regiony raka, zależą od wyższego poziomu kontekstu i mogą pojawiać się jako łatwo wyrzucalne szczegóły w obrębie szerszych obszarów w obrazie, a nie na krawędziach.

Nauka zmniejszania rozdzielczości

Nowe badania proponują naukę zmniejszania rozdzielczości zwaną modułem deformacji, który jest wspólnie szkolony z równoległym modułem segmentacji i może być poinformowany o obszarach zainteresowania, wykrytych przez segmentację semantyczną, i priorytetem tych podczas procesu zmniejszania rozdzielczości.

Autorzy przetestowali system na kilku popularnych zestawach danych, w tym Cityscapes, DeepGlobe i lokalnym zestawie danych histologii raka prostaty, ‘PCa-Histo’.

Trzy podejścia: po lewej, istniejące ‘jednolite’ zmniejszanie rozdzielczości; w środku, podejście ‘optymalnej krawędzi’ z artykułu z 2019 roku; po prawej, architektura za nowym systemem, poinformowanym przez rozpoznanie jednostek w warstwie segmentacji semantycznej.

Podobne podejście zostało spróbowane dla klasyfikatora zaproponowanego w 2019 roku, ale autorzy bieżącego artykułu twierdzą, że ta metoda nie regularizuje wystarczająco obszarów podkreślenia, potencjalnie pomijając istotne obszary w kontekście obrazowania medycznego.

Wyniki

Moduł deformacji w nowym systemie jest małą siecią neuronową CNN, podczas gdy warstwa segmentacji jest głęboką architekturą CNN z zastosowaniem HRNetV2-W48. Pyramid Scene Parsing Network (PSP-net) został użyty jako warstwa sanity check dla testów CityScapes.

Wspomniane zestawy danych zostały przetestowane z nowym frameworkiem, używając jednolitej próbki (zwyczajowej metody), metody optymalnej krawędzi z 2019 roku i nowego podejścia wykorzystującego segmentację semantyczną.

Autorzy donoszą, że nowa metoda wykazuje ‘wyraźną przewagę w identyfikowaniu i rozróżnianiu najbardziej klinicznie istotnych klas’, z wzrostem dokładności o 15-20%. Stwierdzają ponadto, że odległość między tymi klasami jest często definiowana jako ‘próg od zdrowia do raka’.

Analiza IoU (intersection over union) klasowa w trzech metodach: po lewej, standardowa próbka; w środku, optymalna krawędź; i po prawej, nowe podejście. CityScapes został zmniejszony do zaledwie 64 x 128, z PCaHisto zmniejszonym do 80 x 800, a DeepGlobe zmniejszony do 300 pikseli kwadratowych.

Raport stwierdza, że ich metoda ‘może nauczyć strategii zmniejszania rozdzielczości, lepiej zachować informacje i umożliwić lepszy kompromis.’, kończąc, że nowy framework ‘może wydajnie nauczyć się, gdzie “zainwestować” ograniczony budżet pikseli przy zmniejszaniu rozdzielczości, aby osiągnąć najwyższą ogólną stopę zwrotu w dokładności segmentacji’.

Główny obraz tego artykułu został pobrany z thispersondoesnotexist.com. Zaktualizowany o 15:35 GMT+2 z powodu błędu tekstu.