Artificial Intelligence

Głębokie uczenie się a uczenie się przez wzmacnianie

Zaktualizowano on 18 stycznia 2023 r.

Uczenie głębokie i uczenie się przez wzmacnianie to dwa najpopularniejsze podzbiory sztucznej inteligencji. Sztuczna inteligencja rynek wyniósł około 120 miliardów dolarów w 2022 r. i rośnie w zadziwiającym CAGR powyżej 38%. W miarę ewolucji sztucznej inteligencji te dwa podejścia (RL i DL) zaczęto wykorzystywać do rozwiązywania wielu problemów, w tym rozpoznawania obrazów, tłumaczenia maszynowego i podejmowania decyzji w złożonych systemach. W łatwy do zrozumienia sposób zbadamy, jak działają, wraz z ich zastosowaniami, ograniczeniami i różnicami.

Co to jest głębokie uczenie (DL)?

Głębokie uczenie się to podzbiór uczenia maszynowego, w którym używamy sieci neuronowych do rozpoznawania wzorców w danych w celu modelowania predykcyjnego na podstawie niewidocznych danych. Dane mogą mieć formę tabelaryczną, tekstową, obrazową lub mowę.

Głębokie uczenie się pojawiło się w latach pięćdziesiątych XX wieku, kiedy Frank Rosenblatt napisał artykuł badawczy na temat Perceptronu w 1950 r. Perceptron był pierwszą architekturą sieci neuronowej, którą można było wytrenować do wykonywania zadań liniowego nadzorowanego uczenia się. Z biegiem czasu badania w tej dziedzinie, dostępność ogromnej ilości danych i rozległe zasoby obliczeniowe jeszcze bardziej rozwinęły dziedzinę głębokiego uczenia się.

Jak działa uczenie głębokie?

Sieć neuronowa jest podstawą głębokiego uczenia się. Ludzki mózg inspiruje sieć neuronową; Zawiera węzły (neurony), które przekazują informacje. Sieć neuronowa składa się z trzech warstw:

Warstwa wejściowa
Ukryta warstwa
Warstwa wyjściowa.

Warstwa wejściowa odbiera dane podane przez użytkownika i przekazuje je warstwie ukrytej. Warstwa ukryta przeprowadza nieliniową transformację danych, a warstwa wyjściowa wyświetla wyniki. Błąd między przewidywaniem w warstwie wyjściowej a wartością rzeczywistą oblicza się za pomocą funkcji straty. Proces jest kontynuowany iteracyjnie, aż do zminimalizowania strat.

Sieć neuronowa

Rodzaje architektur głębokiego uczenia się

Istnieją różne typy architektur sieci neuronowych, takie jak:

Sztuczne sieci neuronowe (ANN)
Konwolucyjne sieci neuronowe (CNN)
Powtarzające się sieci neuronowe (RNN)
Generacyjne sieci przeciwstawne (GAN) itp.

Zastosowanie architektury sieci neuronowej zależy od rodzaju rozpatrywanego problemu.

Zastosowania głębokiego uczenia się

Deep Learning znajduje swoje zastosowanie w wielu gałęziach przemysłu.

W służbie zdrowia można zastosować metody oparte na widzeniu komputerowym, wykorzystujące splotowe sieci neuronowe analizowanie obrazów medycznychnp. tomografia komputerowa i rezonans magnetyczny.
W sektorze finansowym może przewidywać ceny akcji i wykrywać oszukańcze działania.
Metody głębokiego uczenia się w Przetwarzanie języka naturalnego służą do tłumaczenia maszynowego, analizy nastrojów itp.

Ograniczenia głębokiego uczenia się

Chociaż głębokie uczenie się osiągnęło najnowocześniejsze wyniki w wielu branżach, ma swoje ograniczenia, które są następujące:

Ogromne dane: głębokie uczenie się wymaga ogromnej ilości oznakowanych danych do szkolenia. Brak oznaczonych danych da kiepskie wyniki.
Czasochłonne: szkolenie na zestawie danych może zająć wiele godzin, a czasem nawet dni. Głębokie uczenie się wymaga wielu eksperymentów, aby osiągnąć wymagany poziom odniesienia lub osiągnąć wymierne rezultaty, a brak szybkiej iteracji może spowolnić proces.
Zasoby obliczeniowe: Deep Learning wymaga zasobów obliczeniowych, takich jak procesory graficzne i TPU, do celów szkoleniowych. Modele głębokiego uczenia się zajmują dużo miejsca po szkoleniu, co może stanowić problem podczas wdrażania.

Co to jest uczenie się przez wzmacnianie (RL)?

Z drugiej strony uczenie się przez wzmacnianie jest podzbiorem sztucznej inteligencji, w której agent wykonuje działanie w swoim otoczeniu. „Uczenie się” polega na nagradzaniu agenta, gdy zachowuje się on w pożądany sposób, i karaniu go w przeciwnym razie. Dzięki doświadczeniu agent uczy się optymalnej polityki maksymalizującej nagrodę.

Historycznie rzecz biorąc, uczenie się przez wzmacnianie znalazło się w centrum uwagi w latach pięćdziesiątych i sześćdziesiątych XX wieku, ponieważ opracowano algorytmy podejmowania decyzji dla złożonych systemów. Dlatego badania w tej dziedzinie doprowadziły do powstania nowych algorytmów, takich jak Q-Learning, SARSA i aktor-krytyk, które zwiększyły praktyczność tego obszaru.

Zastosowania uczenia się przez wzmacnianie

Uczenie się przez wzmacnianie ma znaczące zastosowania we wszystkich głównych gałęziach przemysłu.

Robotyka jest jednym z najbardziej znanych zastosowań w uczeniu się przez wzmacnianie. Stosując metody uczenia się przez wzmacnianie, pozwalamy robotom uczyć się od otoczenia i wykonywać wymagane zadania.
Uczenie się przez wzmacnianie służy do opracowywania silników do gier takich jak Chess and Go. AlphaGo (silnik Go) i AlphaZero (silnik szachowy) zostały opracowane przy użyciu uczenia się przez wzmacnianie.
W finansach uczenie się przez wzmacnianie może pomóc w dokonaniu zyskownego handlu.

Ograniczenia uczenia się przez wzmacnianie

Ogromne dane: uczenie się przez wzmacnianie wymaga dużej ilości danych i doświadczenia, aby poznać optymalną politykę.
Wykorzystywanie nagród: ważne jest zachowanie równowagi pomiędzy badaniem stanu, tworzeniem optymalnej polityki i wykorzystaniem zdobytej wiedzy w celu zwiększenia nagrody. Agent nie osiągnie najlepszego wyniku, jeśli eksploracja będzie słaba.
Bezpieczeństwo: Uczenie się przez wzmacnianie budzi obawy dotyczące bezpieczeństwa, jeśli system nagród nie jest zaprojektowany i odpowiednio ograniczony.

Zasadnicze różnice

W skrócie, istotne różnice między uczeniem się przez wzmacnianie a uczeniem głębokim są następujące:

głęboki Learning	Uczenie się ze wzmocnieniem
Zawiera wzajemnie połączone węzły, a uczenie się odbywa się poprzez minimalizację strat poprzez dostosowanie ciężarów i uprzedzeń neuronów.	Zawiera agenta, który uczy się od środowiska, wchodząc z nim w interakcję w celu osiągnięcia optymalnej polityki.
Głębokie uczenie się jest wykorzystywane w problemach z nadzorowanym uczeniem się, w których dane są oznaczone. Jednakże jest on używany w uczeniu się bez nadzoru w przypadkach użycia, takich jak wykrywanie anomalii itp.	Uczenie się przez wzmacnianie obejmuje agenta, który uczy się od swojego otoczenia bez potrzeby etykietowania danych.
Stosowany w wykrywaniu i klasyfikacji obiektów, tłumaczeniu maszynowym i analizie nastrojów itp.	Stosowany w robotyce, grach i pojazdach autonomicznych.

Uczenie się przez głębokie wzmacnianie – połączenie

Deep Reinforcement Learning wyłoniło się jako nowa technika łącząca metody wzmacniania i głębokiego uczenia się. Najnowszy silnik szachowy, taki jak AlfaZero, jest przykładem uczenia się przez głębokie wzmacnianie. W AlphaZero głębokie sieci neuronowe wykorzystują funkcje matematyczne, aby agent mógł nauczyć się grać w szachy przeciwko sobie.

Każdego roku duzi gracze na rynku opracowują nowe badania i produkty na rynku. Oczekuje się, że głębokie uczenie się i uczenie się przez wzmacnianie zaskoczą nas najnowocześniejszymi metodami i produktami.

Chcesz więcej treści związanych ze sztuczną inteligencją? Odwiedzać zjednoczyć.ai.