Jak działa klasyfikacja obrazów?

Jak telefon może określić, co jest na zdjęciu, po prostu wykonując jego fotografię? Jak strony internetowe społecznościowe automatycznie tagują ludzi na zdjęciach? To wszystko dzięki rozpoznawaniu i klasyfikacji obrazów za pomocą sztucznej inteligencji.

Rozpoznawanie i klasyfikacja obrazów to podstawa wielu najbardziej imponujących osiągnięć sztucznej inteligencji. Ale jak komputery uczą się wykrywać i klasyfikować obrazy? W tym artykule omówimy ogólne metody, których komputery używają do interpretowania i wykrywania obrazów, a następnie przyjrzymy się niektórym z najpopularniejszych metod klasyfikacji tych obrazów.

Klasyfikacja na poziomie pikseli vs. klasyfikacja oparta na obiektach

Techniki klasyfikacji obrazów można podzielić na dwie główne kategorie: klasyfikację opartą na pikselach i klasyfikację opartą na obiektach.

Piksele są podstawowymi jednostkami obrazu, a analiza pikseli jest podstawowym sposobem, w jaki wykonuje się klasyfikację obrazu. Jednak algorytmy klasyfikacji mogą używać tylko informacji spektralnej w poszczególnych pikselach, aby zaklasyfikować obraz, lub badać informację przestrzenną (piksele w pobliżu) wraz z informacją spektralną. Metody klasyfikacji opartej na pikselach wykorzystują tylko informację spektralną (natężenie piksela), podczas gdy metody klasyfikacji opartej na obiektach biorą pod uwagę zarówno informację spektralną, jak i przestrzenną.

Istnieją różne techniki klasyfikacji stosowane w klasyfikacji opartej na pikselach. Należą do nich minimalna odległość do średniej, maksymalna wiarygodność i minimalna odległość Mahalanobisa. Te metody wymagają, aby średnie i wariancje klas były znane, a wszystkie one działają, badając “odległość” między średnimi klas a pikselami docelowymi.

Metody klasyfikacji opartej na pikselach są ograniczone tym, że nie mogą wykorzystywać informacji z innych pobliskich pikseli. W przeciwieństwie do tego, metody klasyfikacji opartej na obiektach mogą uwzględniać inne piksele i dlatego wykorzystują również informację przestrzenną do klasyfikacji obiektów. Należy zauważyć, że “obiekt” odnosi się tylko do sąsiadujących obszarów pikseli, a nie do tego, czy w tym obszarze pikseli znajduje się obiekt docelowy.

Przetwarzanie danych obrazu do wykrywania obiektów

Najnowsze i najbardziej niezawodne systemy klasyfikacji obrazów głównie wykorzystują schematy klasyfikacji na poziomie obiektów, a do tych podejść dane obrazu muszą być przygotowane w określony sposób. Obiekty/obszary muszą być wybrane i przetworzone.

Przed tym, jak obraz i obiekty/obszary w tym obrazie mogą być zaklasyfikowane, dane, które tworzą ten obraz, muszą być zinterpretowane przez komputer. Obrazy muszą być przetworzone i przygotowane do wprowadzenia do algorytmu klasyfikacji, co jest robione za pomocą wykrywania obiektów. Jest to krytyczny etap przygotowania danych i przygotowania obrazów do trenowania klasyfikatora sztucznej inteligencji.

Wykrywanie obiektów odbywa się za pomocą różnych metod i technik. Na początek, czy jest jeden obiekt zainteresowania, czy wiele obiektów zainteresowania, wpływa na to, jak przetwarzanie obrazu jest obsługiwane. Jeśli jest tylko jeden obiekt zainteresowania, obraz przechodzi przez lokalizację obrazu. Piksele, które tworzą obraz, mają wartości numeryczne, które są interpretowane przez komputer i wykorzystywane do wyświetlania odpowiednich kolorów i odcieni. Obiekt znany jako bounding box jest rysowany wokół obiektu zainteresowania, co pomaga komputerowi zrozumieć, jaka część obrazu jest ważna i jakie wartości pikseli definiują obiekt. Jeśli w obrazie znajduje się wiele obiektów zainteresowania, technika znana jako wykrywanie obiektów jest wykorzystywana do zastosowania tych bounding boxów do wszystkich obiektów w obrazie.

Photo: Adrian Rosebrock via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Intersection_over_Union_-_object_detection_bounding_boxes.jpg)

Inną metodą przetwarzania jest segmentacja obrazu. Segmentacja obrazu działa, dzieląc cały obraz na segmenty na podstawie podobnych cech. Różne obszary obrazu będą miały podobne wartości pikseli w porównaniu z innymi obszarami obrazu, więc te piksele są grupowane razem w maski obrazu, które odpowiadają kształtowi i granicom odpowiednich obiektów w obrazie. Segmentacja obrazu pomaga komputerowi izolować cechy obrazu, które pomogą mu zaklasyfikować obiekt, podobnie jak bounding boxy, ale zapewniają znacznie bardziej dokładne, poziome etykiety pikseli.

Po zakończeniu wykrywania obiektów lub segmentacji obrazu, etykiety są stosowane do obszarów w question. Te etykiety są podawane, wraz z wartościami pikseli, które tworzą obiekt, do algorytmów sztucznej inteligencji, które uczą się wzorców skojarzonych z różnymi etykietami.

Algorytmy uczenia maszynowego

Gdy dane zostały przygotowane i oznaczone, dane są wprowadzane do algorytmu uczenia maszynowego, który trenuje na danych. Poniżej omówimy niektóre z najczęstszych rodzajów algorytmów klasyfikacji obrazów uczenia maszynowego.

K-Nearest Neighbors

K-Nearest Neighbors to algorytm klasyfikacji, który baduje najbliższe przykłady szkoleniowe i patrzy na ich etykiety, aby ustalić najbardziej prawdopodobną etykietę dla danego przykładu testowego. W przypadku klasyfikacji obrazów za pomocą KNN wektory cech i etykiety obrazów szkoleniowych są przechowywane, a tylko wektor cech jest wprowadzany do algorytmu podczas testowania. Wektory cech szkoleniowych i testowych są następnie porównywane ze sobą pod kątem podobieństwa.

Algorytmy klasyfikacji oparte na KNN są bardzo proste i radzą sobie z wieloma klasami bez problemu. Jednak KNN oblicza podobieństwo na podstawie wszystkich cech równo. Oznacza to, że może być podatny na błędną klasyfikację, gdy jest podawany z obrazami, w których tylko podzbiór cech jest ważny dla klasyfikacji obrazu.

Support Vector Machines

Support Vector Machines to metoda klasyfikacji, która umieszcza punkty w przestrzeni i rysuje linie rozdzielające między punktami, umieszczając obiekty w różnych klasach, w zależności od tego, po której stronie płaszczyzny rozdzielającej punkty się znajdują. Support Vector Machines są w stanie wykonywać nieliniową klasyfikację za pomocą techniki znanej jako sztuczka jądra. Chociaż klasyfikatory SVM są często bardzo dokładne, znaczącą wadą klasyfikatorów SVM jest to, że tendencja jest ograniczona zarówno rozmiarem, jak i szybkością, a szybkość cierpi, gdy rozmiar wzrasta.

Wielowarstwowe Perceptrony (Sieci Neuronowe)

Wielowarstwowe perceptrony, znane również jako modele sieci neuronowych, to algorytmy uczenia maszynowego inspirowane ludzkim mózgiem. Wielowarstwowe perceptrony składają się z różnych warstw, które są połączone ze sobą, podobnie jak neurony w ludzkim mózgu są połączone ze sobą. Sieci neuronowe zakładają pewne relacje między wejściowymi cechami a klasami danych i te założenia są dostosowywane w trakcie trenowania. Proste modele sieci neuronowych, takie jak wielowarstwowy perceptron, są w stanie uczyć się nieliniowych relacji, a w rezultacie mogą być znacznie bardziej dokładne niż inne modele. Jednak modele MLP cierpią z powodu pewnych problemów, takich jak obecność niewypukłych funkcji straty.

Algorytmy głębokiego uczenia (CNN)

Photo: APhex34 via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Typical_cnn.png)

Najczęściej stosowanym algorytmem klasyfikacji obrazów w ostatnich czasach jest Sieć Neuronowa Wielowarstwowa (CNN). CNN to są wersje sieci neuronowych dostosowane do łączenia wielowarstwowych sieci neuronowych z warstwami specjalnymi, które są w stanie wyodrębnić najważniejsze cechy obrazu. CNN mogą automatycznie odkrywać, generować i uczyć się cech obrazu. To znacznie zmniejsza potrzebę ręcznego oznaczania i segmentowania obrazów w celu przygotowania ich do algorytmów uczenia maszynowego. Mają one również przewagę nad sieciami MLP, ponieważ mogą radzić sobie z niewypukłymi funkcjami straty.

Sieci Neuronowe Wielowarstwowe otrzymują swoją nazwę, ponieważ tworzą “sploty”. CNN działają, biorąc filtr i przesuwając go po obrazie. Można to wyobrazić sobie jako patrzenie na fragmenty krajobrazu przez ruchome okno, koncentrując się tylko na cechach, które są widoczne przez okno w danym momencie. Filtr zawiera wartości numeryczne, które są mnożone przez wartości pikseli samego obrazu. Wynikiem jest nowy klatka, lub macierz, pełna liczb, która reprezentuje oryginalny obraz. Ten proces jest powtarzany dla określonej liczby filtrów, a następnie klatki są łączone w nowy obraz, który jest nieco mniejszy i mniej złożony niż oryginalny obraz. Technika znana jako pooling jest wykorzystywana do wybrania tylko najważniejszych wartości w obrazie, a celem jest, aby warstwy konwolucyjne ostatecznie wyodrębniły tylko najbardziej istotne części obrazu, które pomogą sieci neuronowej rozpoznać obiekty w obrazie.

Sieci Neuronowe Wielowarstwowe składają się z dwóch różnych części. Warstwy konwolucyjne są tym, co wyodrębnia cechy obrazu i konwertuje je na format, który warstwy neuronowe mogą zinterpretować i nauczyć się. Wczesne warstwy konwolucyjne są odpowiedzialne za wyodrębnianie najbardziej podstawowych elementów obrazu, takich jak proste linie i granice. Środkowe warstwy konwolucyjne zaczynają przechwytywać bardziej złożone kształty, takie jak proste krzywe i rogi. Późniejsze, głębsze warstwy konwolucyjne wyodrębniają cechy wysokiego poziomu obrazu, które są wprowadzane do części neuronowej CNN, i są tym, czego uczy się klasyfikator.