Modely a platformy AI
Vzestup NLP s modelem Transformer | Komplexní analýza T5, BERT a GPT
Klíčové bodyArchitektura transformérů nahradila sekvenční zpracování RNN paralelním self-attention…
Zobrazit více
- Architektura transformérů nahradila sekvenční zpracování RNN paralelním self-attention mechanismem, což umožnilo rychlejší trénování a hlubší porozumění kontextu.
- Bidirekční enkódovací design BERTu zachycuje bohatý kontext z obou stran slova, čímž revolučně posunul jazykovou reprezentaci pro úlohy NLP.
- Model T5 přeformulovává všechny úlohy NLP do jednotného text-to-text formátu, čímž zjednodušuje adaptaci modelu pro různé aplikace.
Zpracování přirozeného jazyka (NLP) zažil některé z nejvýznamnějších průlomů v posledních letech, zejména díky architektuře transformer. Tyto průlomy nejenom zvýšily schopnosti strojů rozumět lidskému jazyku a generovat lidský jazyk, ale také změnily krajinu mnoha aplikací, od vyhledávačů až po konverzační AI.
Abychom mohli plně ocenit význam transformerů, musíme se nejprve podívat na předchůdce a stavební kameny, které položily základ pro tuto revoluční architekturu.
Rané techniky NLP: Základy před transformery
Word Embeddings: Od One-Hot po Word2Vec
V tradičních přístupech NLP byla reprezentace slov často literální a postrádala jakoukoli formu sémantického nebo syntaktického porozumění. One-hot kódování je příkladem tohoto omezení.
One-hot kódování je proces, při kterém kategoriální proměnné jsou převedeny do binární vektorové reprezentace, kde je pouze jeden bit “hot” (nastaven na 1), zatímco všechny ostatní jsou “cold” (nastaveny na 0). V kontextu NLP je každé slovo ve slovníku reprezentováno one-hot vektory, kde každý vektor má velikost slovníku a každé slovo je reprezentováno vektorem se všemi 0 a jedním 1 na indexu odpovídajícímu slovu ve slovníku.
Příklad One-Hot Kódování
Předpokládejme, že máme malý slovník se pouze pěti slovy: [“king”, “queen”, “man”, “woman”, “child”]. One-hot kódovací vektory pro každé slovo by vypadaly takto:
- “king” -> [1, 0, 0, 0, 0]
- “queen” -> [0, 1, 0, 0, 0]
- “man” -> [0, 0, 1, 0, 0]
- “woman” -> [0, 0, 0, 1, 0]
- “child” -> [0, 0, 0, 0, 1]
Matematická reprezentace
Pokud označíme jako velikost našeho slovníku a jako one-hot vektorovou reprezentaci i-tého slova ve slovníku, matematická reprezentace by byla:
Hlavní nevýhodou one-hot kódování je, že každé slovo je považováno za izolovanou entitu, bez vztahu k ostatním slovům. To vede k řídkým a vysoce dimenzionálním vektorům, které nezachycují žádné sémantické nebo syntaktické informace o slovech.
Zavedení word embeddings, zejména Word2Vec, bylo zásadním okamžikem v NLP. Vyvinutý týmem v Google (GOOGL ) vedeným Tomasem Mikolovem v roce 2013, Word2Vec reprezentoval slova v hustém vektorovém prostoru, zachycujícím syntaktické a sémantické vztahy mezi slovy na základě jejich kontextu ve velkých korpusích textu.
Na rozdíl od one-hot kódování produkuje Word2Vec husté vektory, obvykle s několika stovkami dimenzí. Slova, která se vyskytují ve stejném kontextu, jako “king” a “queen”, budou mít vektorové reprezentace, které jsou blíže k sobě ve vektorovém prostoru.
Pro ilustraci předpokládejme, že jsme trénovali model Word2Vec a nyní reprezentujeme slova v hypotetickém 3D prostoru. Embeddingy (které jsou obvykle více než 3D, ale zjednodušeny zde pro jednoduchost) by mohly vypadat takto:
- “king” -> [0.2, 0.1, 0.9]
- “queen” -> [0.21, 0.13, 0.85]
- “man” -> [0.4, 0.3, 0.2]
- “woman” -> [0.41, 0.33, 0.27]
- “child” -> [0.5, 0.5, 0.1]
Tato čísla jsou fiktivní, ale ilustrují, jak podobná slova mají podobné vektory.
Matematická reprezentace
Pokud reprezentujeme Word2Vec embedding slova jako , a náš embedding prostor má dimenzí, pak může být reprezentován jako:
Sémantické vztahy
Word2Vec může dokonce zachytit komplexní vztahy, jako jsou analogie. Například, slavný vztah zachycený Word2Vec embeddings je:
vector(“king”) – vector(“man”) + vector(“woman”)≈vector(“queen”)
To je možné, protože Word2Vec upravuje word vektory během trénování, aby slova, která sdílejí společné kontexty v korpusu, byly umístěny blízko sebe ve vektorovém prostoru.
Word2Vec používá dvě hlavní architektury pro produkci distribuované reprezentace slov: Continuous Bag-of-Words (CBOW) a Skip-Gram. CBOW předpovídá cílové slovo z jeho okolního kontextu, zatímco Skip-Gram dělá opak, předpovídající kontextová slova z cílového slova. To umožnilo strojům začít rozumět použití slov a jejich významu způsobem, který je více nuancovaný.
Sekvenční modelování: RNN a LSTMs
Jak se pole posunulo, zaměřilo se na pochopení sekvencí textu, což bylo zásadní pro úkoly, jako je strojový překlad, shrnutí textu a analýza sentimentu. Rekurentní neuronové sítě (RNN) se staly základním kamenem pro tyto aplikace díky své schopnosti zpracovávat sekvenční data udržováním jisté formy paměti.
Avšak RNN nebyly bez omezení. Bojovaly s dlouhodobými závislostmi kvůli problému mizejícího gradientu, kdy se informace ztrácejí přes dlouhé sekvence, což činí obtížným naučit se korelace mezi vzdálenými událostmi.
Long Short-Term Memory sítě (LSTMs), představené Seppem Hochreiterem a Jürgenem Schmidhuberem v roce 1997, řešily tento problém s více sofistikovanou architekturou. LSTMs mají brány, které kontrolují tok informací: vstupní bránu, bránu zapomnění a výstupní bránu. Tyto brány určují, jaké informace jsou uloženy, aktualizovány nebo odstraněny, umožňující síti zachovat dlouhodobé závislosti a významně zlepšit výkon na širokém spektru úkolů NLP.
Architektura Transformer
Krajina NLP prošla dramatickou transformací se zavedením modelu transformer v průlomovém článku Attention is All You Need od Vaswaniho a kol. v roce 2017. Architektura transformer se odchyluje od sekvenční zpracování RNN a LSTM a místo toho využívá mechanismus nazvaný “self-attention” pro vážení vlivu různých částí vstupních dat.
Jádrem transformeru je, že může zpracovat celé vstupní data najednou, místo sekvenčně. To umožňuje mnohem více paralelizace a v důsledku toho významné zvýšení rychlosti trénování. Mechanismus self-attention umožňuje modelu zaměřit se na různé části textu, zatímco ho zpracovává, což je zásadní pro pochopení kontextu a vztahů mezi slovy, bez ohledu na jejich pozici v textu.
Enkodér a dekodér v transformerech
Původní Transformer popsaný v práci „Attention is All You Need“ od Vaswaniho a kolegů má dvě hlavní části: enkodér a dekodér. Obě tvoří vrstvy s podobnou obecnou strukturou, ale odlišným účelem.
Enkodér
- Úloha: zpracovat vstup a vytvořit reprezentaci vztahů mezi jeho prvky, například slovy ve větě. Nevytváří nový obsah, pouze převádí vstup do podoby použitelné dekodérem.
- Fungování: každá vrstva obsahuje mechanismus vlastní pozornosti a dopřednou neuronovou síť. Každá pozice může věnovat pozornost všem pozicím předchozí vrstvy, a učit se tak kontext každého slova.
- Kontextová vektorová reprezentace: výstupem je posloupnost vektorů ve vysokodimenzionálním prostoru. Zachycují nejen jednotlivá slova, ale také jejich kontext ve větě.
Dekodér
- Úloha: postupně generovat výstup na základě reprezentace z enkodéru a dosud vytvořeného obsahu. Pořadí je například při tvorbě textu zásadní.
- Fungování: vlastní pozornost je maskovaná, aby žádná pozice nemohla nahlížet na následující pozice. Předpověď tak závisí pouze na známém předchozím výstupu. Druhý mechanismus pozornosti zohledňuje výstup enkodéru a přenáší do generování kontext vstupu.
- Postupné generování: dekodér vytváří posloupnost po jednom prvku. Další slovo předpovídá podle kontextu enkodéru a již vygenerovaných slov.
Všechny tyto podvrstvy přispívají ke zpracování složitých úloh NLP. Vícehlavá pozornost umožňuje zaměřit se na různé části posloupnosti a vytvořit bohaté porozumění kontextu.
Populární modely využívající transformery
Po prvním úspěchu transformeru vzniklo mnoho modelů s vlastními inovacemi a optimalizacemi pro různé úlohy.
BERT (Bidirectional Encoder Representations from Transformers): Google jej představil v roce 2018. Předtrénování maskovaného jazykového modelu a predikce následující věty na rozsáhlém korpusu umožňují zachytit bohatý obousměrný kontext. BERT dosáhl špičkových výsledků v mnoha úlohách NLP.
T5 (Text-to-Text Transfer Transformer): představila jej společnost Google v roce 2020. Všechny úlohy NLP převádí na jednotný formát textového vstupu a textového výstupu. To usnadňuje použití pro překlad, shrnování i odpovídání na otázky.
GPT (Generative Pre-trained Transformer): řada vyvinutá společností OpenAI začala modelem GPT-1 a do roku 2023 dospěla ke GPT-4. Modely jsou předtrénovány bez dohledu na velkém množství textu a dále dolaďovány pro různé úlohy. Souvislý a kontextově vhodný generovaný text jim zajistil významné místo ve výzkumu i komerčních aplikacích AI.
Následuje podrobnější srovnání T5, BERT a GPT v deseti oblastech.
1. Tokenizace a slovník
- BERT: používá WordPiece se slovníkem přibližně 30 000 tokenů.
- GPT: používá Byte Pair Encoding (BPE) a rozsáhlý slovník. Původní anglický článek uvádí pro GPT-3 hodnotu 175 000 položek.
- T5: používá SentencePiece, který zpracovává surový text bez nutnosti předchozího rozdělení na slova.
2. Cíle předtrénování
- BERT: maskované jazykové modelování (MLM) a predikce následující věty (NSP).
- GPT: kauzální jazykové modelování (CLM), při němž každý token předpovídá následující token.
- T5: odstraňování šumu: náhodné úseky textu se nahradí zástupnými tokeny a model rekonstruuje původní text.
3. Reprezentace vstupu
- BERT: kombinuje vektorové reprezentace tokenů, segmentů a pozic.
- GPT: kombinuje reprezentace tokenů a pozic, nikoli segmentů, protože není určen pro úlohy s dvojicemi vět.
- T5: používá reprezentace tokenů a během výpočtu pozornosti přidává relativní poziční informaci.
4. Mechanismus pozornosti
- BERT: absolutní poziční informace a obousměrná pozornost k tokenům vlevo i vpravo.
- GPT: absolutní poziční informace, ale pozornost pouze k předchozím tokenům.
- T5: varianta transformeru s relativním pozičním zkreslením namísto pozičních embeddingů.
5. Architektura modelu
- BERT: pouze enkodér s několika vrstvami transformerových bloků.
- GPT: pouze dekodér s několika vrstvami, určený pro generativní úlohy.
- T5: enkodér i dekodér tvořené transformerovými vrstvami.
6. Dolaďování
- BERT: upravuje závěrečné skryté stavy předtrénovaného modelu pro cílovou úlohu, podle potřeby s dalšími výstupními vrstvami.
- GPT: přidává nad transformer lineární vrstvu a dolaďuje model se stejným kauzálním jazykovým cílem.
- T5: všechny úlohy převádí na textový vstup a výstup a učí se generovat cílovou posloupnost.
7. Trénovací data a rozsah
- BERT: BooksCorpus a anglická Wikipedie.
- GPT: GPT-2 a GPT-3 používají různorodá internetová data; GPT-3 zahrnuje rozsáhlý Common Crawl.
- T5: Colossal Clean Crawled Corpus, rozsáhlá vyčištěná verze Common Crawl.
8. Kontext a obousměrnost
- BERT: chápe kontext současně v obou směrech.
- GPT: pracuje s kontextem směrem zleva doprava.
- T5: obousměrný kontext v enkodéru a jednosměrný v dekodéru pro převod posloupnosti na posloupnost.
9. Přizpůsobení navazujícím úlohám
- BERT: vyžaduje specifické výstupní vrstvy a dolaďování pro danou úlohu.
- GPT: generativní povaha umožňuje zadávat úlohy promptem s minimálními změnami struktury.
- T5: jednotný přístup text–text zajišťuje pružnost při nových úlohách.
10. Interpretovatelnost a vysvětlitelnost
- BERT: obousměrný kontext vytváří bohaté reprezentace, které se ale mohou hůře interpretovat.
- GPT: jednosměrný kontext lze snáze sledovat, chybí mu však hloubka obousměrného kontextu.
- T5: enkodér a dekodér jasně oddělují kroky zpracování, generativní povaha ale může analýzu zkomplikovat.
Vliv transformerů na NLP
Transformery umožnily zpracovávat posloupnosti paralelně, a výrazně tak zrychlily a zefektivnily trénování velkých neuronových sítí. Vlastní pozornost váží význam částí vstupu bez ohledu na jejich vzdálenost v posloupnosti. Výsledkem jsou zásadní zlepšení překladu, odpovídání na otázky, shrnování a dalších úloh.
Výzkum posouvá hranice dál. GPT-4 a další modely nejsou jen větší, ale díky architektuře a metodám trénování také efektivnější a schopnější. Pozornost se soustředí například na učení z malého počtu příkladů a účinnější přenos znalostí mezi úlohami.
Jazykové modely se učí z dat, která mohou obsahovat předsudky. Výzkumníci je hledají, zkoumají a omezují pomocí pečlivého výběru trénovacích dat i úprav po trénování, jejichž cílem je spravedlivější a neutrálnější chování.















