Rescale ๋ฏธํŒ… ์˜ˆ์•ฝ

๊ฐ์„ฑ ๋ถ„์„์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ

ํŒŒ์ด์ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ

๊ฐ์„ฑ ๋ถ„์„์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ

๊ฐ์ • ๋ถ„์„์€ ๊ณ ๊ฐ ํ”ผ๋“œ๋ฐฑ ๋ถ„์„์ด๋‚˜ ์†Œ์…œ ๋ฏธ๋””์–ด ๋ชจ๋‹ˆํ„ฐ๋ง๊ณผ ๊ฐ™์€ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ•๋ ฅํ•œ ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค. ์ฆ‰, ๊ฐ์ • ๋ถ„์„์€ ๊ตฌ์กฐํ™”๋˜์ง€ ์•Š์€ ๋ฐ์ดํ„ฐ์™€ ์–ธ์–ด ๋ณ€ํ˜•์„ ํฌํ•จํ•˜๊ธฐ ๋•Œ๋ฌธ์— ๋งค์šฐ ๋ณต์žกํ•ฉ๋‹ˆ๋‹ค. 

์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ๊ธฐ์ˆ ์ธ ๊ฐ์ • ๋ถ„์„์„ ์‚ฌ์šฉํ•˜์—ฌ ๋ฐ์ดํ„ฐ๊ฐ€ ๊ธ์ •์ ์ธ์ง€, ๋ถ€์ •์ ์ธ์ง€, ์ค‘๋ฆฝ์ ์ธ์ง€๋ฅผ ํŒ๋‹จํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ…์ŠคํŠธ์˜ ๊ทน์„ฑ์— ์ดˆ์ ์„ ๋งž์ถ”๋Š” ๊ฒƒ ์™ธ์—๋„ ๋ถ„๋…ธ, ํ–‰๋ณต, ์Šฌํ””๊ณผ ๊ฐ™์€ ํŠน์ • ๊ฐ์ •๊ณผ ๊ฐ์ •๋„ ๊ฐ์ง€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ์ • ๋ถ„์„์€ ๋ˆ„๊ตฐ๊ฐ€๊ฐ€ ๊ด€์‹ฌ์ด ์žˆ๋Š”์ง€ ์—†๋Š”์ง€์™€ ๊ฐ™์€ ์˜๋„๋ฅผ ํŒ๋‹จํ•˜๋Š” ๋ฐ์—๋„ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. 

๊ฐ์ • ๋ถ„์„์€ ๋ชจ๋“  ์œ ํ˜•์˜ ๋น„์ฆˆ๋‹ˆ์Šค์—์„œ ์ ์  ๋” ๋งŽ์ด ๋ฐฐํฌ๋˜๊ณ  ์žˆ๋Š” ๋งค์šฐ ๊ฐ•๋ ฅํ•œ ๋„๊ตฌ์ด๋ฉฐ ์ด ํ”„๋กœ์„ธ์Šค๋ฅผ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋  ์ˆ˜ ์žˆ๋Š” ์—ฌ๋Ÿฌ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. 

๊ฐ์ • ๋ถ„์„์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. 

1. ๋ฌด๋Šฌ

๊ฐ์ • ๋ถ„์„์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๋ชฉ๋ก์˜ 1์œ„๋Š” NLP, ๋ฐ์ดํ„ฐ ๋งˆ์ด๋‹, ๋„คํŠธ์›Œํฌ ๋ถ„์„, ๊ธฐ๊ณ„ ํ•™์Šต ๋ฐ ์‹œ๊ฐํ™”๋ฅผ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ๋‹ค๋ชฉ์  Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ Pattern์ž…๋‹ˆ๋‹ค. 

Pattern์€ ์ตœ์ƒ๊ธ‰ ๋ฐ ๋น„๊ต๊ธ‰ ์ฐพ๊ธฐ๋ฅผ ํฌํ•จํ•˜์—ฌ ๋‹ค์–‘ํ•œ ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ์‚ฌ์‹ค ๋ฐ ์˜๊ฒฌ ๊ฐ์ง€๋ฅผ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์–ด ์ •์„œ ๋ถ„์„์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ ์„ ํƒ์œผ๋กœ ๋‹๋ณด์ž…๋‹ˆ๋‹ค. ํŒจํ„ด์˜ ํ•จ์ˆ˜๋Š” ์ฃผ์–ด์ง„ ํ…์ŠคํŠธ์˜ ๊ทน์„ฑ๊ณผ ์ฃผ๊ด€์„ฑ์„ ๋ฐ˜ํ™˜ํ•˜๋ฉฐ ๊ทน์„ฑ ๊ฒฐ๊ณผ๋Š” ๋งค์šฐ ๊ธ์ •์ ์ธ ๊ฒƒ๋ถ€ํ„ฐ ๋งค์šฐ ๋ถ€์ •์ ์ธ ๊ฒƒ๊นŒ์ง€ ๋‹ค์–‘ํ•ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ํŒจํ„ด์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๋‹ค๋ชฉ์  ๋„์„œ๊ด€
  • ์ตœ์ƒ๊ธ‰๊ณผ ๋น„๊ต๊ธ‰ ์ฐพ๊ธฐ
  • ์ฃผ์–ด์ง„ ํ…์ŠคํŠธ์˜ ๊ทน์„ฑ๊ณผ ์ฃผ๊ด€์„ฑ์„ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.
  • ๋งค์šฐ ๊ธ์ •์ ์ธ ๊ทน์„ฑ์—์„œ ๋งค์šฐ ๋ถ€์ •์ ์ธ ๊ทน์„ฑ ๋ฒ”์œ„

2. VADER

๊ฐ์ • ๋ถ„์„์„ ์œ„ํ•œ ๋˜ ๋‹ค๋ฅธ ์ตœ๊ณ ์˜ ์˜ต์…˜์€ VADER(Valence Aware Dictionary and sEntiment Reasoner)๋กœ, NLTK ๋‚ด์— ๋ฏธ๋ฆฌ ๊ตฌ์ถ•๋œ ๊ทœ์น™/์–ดํœ˜์ง‘ ๊ธฐ๋ฐ˜์˜ ์˜คํ”ˆ ์†Œ์Šค ๊ฐ์ • ๋ถ„์„๊ธฐ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. ์ด ๋„๊ตฌ๋Š” ์†Œ์…œ ๋ฏธ๋””์–ด์—์„œ ํ‘œํ˜„๋˜๋Š” ๊ฐ์ •์„ ์œ„ํ•ด ํŠน๋ณ„ํžˆ ์„ค๊ณ„๋˜์—ˆ์œผ๋ฉฐ A ๊ฐ์ • ์–ดํœ˜์™€ ์˜๋ฏธ๋ก ์  ๋ฐฉํ–ฅ์— ๋”ฐ๋ผ ์ผ๋ฐ˜์ ์œผ๋กœ ๊ธ์ •์  ๋˜๋Š” ๋ถ€์ •์ ์œผ๋กœ ๋ ˆ์ด๋ธ”์ด ์ง€์ •๋œ ์–ดํœ˜ ๊ธฐ๋Šฅ ๋ชฉ๋ก์˜ ์กฐํ•ฉ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. 

VADER๋Š” ํ…์ŠคํŠธ ๊ฐ์ •์„ ๊ณ„์‚ฐํ•˜๊ณ  ์ฃผ์–ด์ง„ ์ž…๋ ฅ ๋ฌธ์žฅ์ด ๊ธ์ •์ , ๋ถ€์ •์  ๋˜๋Š” ์‹ ๊ฒฝ์ ์ผ ํ™•๋ฅ ์„ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์ด ๋„๊ตฌ๋Š” Twitter ๋ฐ Facebook๊ณผ ๊ฐ™์€ ๋ชจ๋“  ์ข…๋ฅ˜์˜ ์†Œ์…œ ๋ฏธ๋””์–ด ํ”Œ๋žซํผ์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ VADER์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ํ•„์š”ํ•˜์ง€ ์•Š์Œ
  • ์ด๋ชจํ‹ฐ์ฝ˜, ์†์–ด, ์ ‘์†์‚ฌ ๋“ฑ์ด ํฌํ•จ๋œ ํ…์ŠคํŠธ์˜ ์ •์„œ๋ฅผ ์ดํ•ดํ•ฉ๋‹ˆ๋‹ค. 
  • ์†Œ์…œ ๋ฏธ๋””์–ด ํ…์ŠคํŠธ์— ํƒ์›”
  • ์˜คํ”ˆ ์†Œ์Šค ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ

3.๋ฒ„ํŠธ

BERT(Bidirectional Encoder Representations from Transformers)๋Š” ๊ฐ์ • ๋ถ„์„์„ ํฌํ•จํ•˜์—ฌ NLP ์ž‘์—…์— ์‚ฌ์šฉ๋˜๋Š” ์ตœ๊ณ ์˜ ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. 2018๋…„ Google์—์„œ ๊ฐœ๋ฐœํ•œ ์ด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” English WIkipedia ๋ฐ BooksCorpus์—์„œ ๊ต์œก์„ ๋ฐ›์•˜์œผ๋ฉฐ NLP ์ž‘์—…์„ ์œ„ํ•œ ๊ฐ€์žฅ ์ •ํ™•ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ค‘ ํ•˜๋‚˜์ž„์ด ์ž…์ฆ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. 

BERT๋Š” ๋Œ€๊ทœ๋ชจ ํ…์ŠคํŠธ ๋ง๋ญ‰์น˜์—์„œ ํ›ˆ๋ จ๋˜์—ˆ๊ธฐ ๋•Œ๋ฌธ์— ์–ธ์–ด๋ฅผ ์ดํ•ดํ•˜๊ณ  ๋ฐ์ดํ„ฐ ํŒจํ„ด์˜ ๊ฐ€๋ณ€์„ฑ์„ ํ•™์Šตํ•˜๋Š” ๋Šฅ๋ ฅ์ด ๋” ๋›ฐ์–ด๋‚ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ BERT์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๋ฏธ์„ธ ์กฐ์ •์ด ์šฉ์ดํ•จ
  • ๊ฐ์ • ๋ถ„์„์„ ํฌํ•จํ•œ ๊ด‘๋ฒ”์œ„ํ•œ NLP ์ž‘์—…
  • ๋ ˆ์ด๋ธ”์ด ์ง€์ •๋˜์ง€ ์•Š์€ ํ…์ŠคํŠธ์˜ ๋Œ€๊ทœ๋ชจ ๋ง๋ญ‰์น˜์— ๋Œ€ํ•œ ํ›ˆ๋ จ
  • ์‹ฌ์ธต ์–‘๋ฐฉํ–ฅ ๋ชจ๋ธ

4. ํ…์ŠคํŠธ๋ธ”๋กญ

TextBlob์€ ๊ฐ์ • ๋ถ„์„์„ ์œ„ํ•œ ๋˜ ๋‹ค๋ฅธ ํ›Œ๋ฅญํ•œ ์„ ํƒ์ž…๋‹ˆ๋‹ค. ๊ฐ„๋‹จํ•œ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ๋ณต์žกํ•œ ๋ถ„์„ ๋ฐ ์ž‘์—…์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ์–ดํœ˜ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ ๋ฐฉ์‹์˜ ๊ฒฝ์šฐ TextBlob์€ ์˜๋ฏธ๋ก ์  ๋ฐฉํ–ฅ๊ณผ ๋ฌธ์žฅ์— ์žˆ๋Š” ๊ฐ ๋‹จ์–ด์˜ ๊ฐ•๋„๋กœ ๊ฐ์ •์„ ์ •์˜ํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์ „ ์ •์˜๋œ ๋ถ€์ •์ ์ธ ๋‹จ์–ด์™€ ๊ธ์ •์ ์ธ ๋‹จ์–ด๋ฅผ ๋ถ„๋ฅ˜ํ•˜๋Š” ์‚ฌ์ „์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์ด ๋„๊ตฌ๋Š” ๋ชจ๋“  ๋‹จ์–ด์— ๊ฐœ๋ณ„ ์ ์ˆ˜๋ฅผ ํ• ๋‹นํ•˜๊ณ  ์ตœ์ข… ๊ฐ์ •์„ ๊ณ„์‚ฐํ•ฉ๋‹ˆ๋‹ค. 

TextBlob์€ ๊ทน์„ฑ ๋ฒ”์œ„๊ฐ€ ์Œ์ˆ˜์—์„œ ์–‘์ˆ˜์ธ ๋ฌธ์žฅ์˜ ๊ทน์„ฑ๊ณผ ์ฃผ๊ด€์„ฑ์„ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ์‹œ๋งจํ‹ฑ ๋ ˆ์ด๋ธ”์€ ์ด๋ชจํ‹ฐ์ฝ˜, ๋А๋‚Œํ‘œ, ์ด๋ชจ์ง€ ๋“ฑ์„ ํฌํ•จํ•˜์—ฌ ๋ถ„์„์— ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ TextBlob์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๊ฐ„๋‹จํ•œ ํŒŒ์ด์ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ
  • ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ๋ณต์žกํ•œ ๋ถ„์„ ๋ฐ ์—ฐ์‚ฐ ์ง€์›
  • ๊ฐœ๋ณ„ ๊ฐ์ • ์ ์ˆ˜ ํ• ๋‹น
  • ๋ฌธ์žฅ์˜ ๊ทน์„ฑ๊ณผ ์ฃผ๊ด€์„ฑ์„ ๋ฐ˜ํ™˜

5. ์ŠคํŒŒ

์˜คํ”ˆ ์†Œ์Šค NLP ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ spaCy๋Š” ๊ฐ์ • ๋ถ„์„์„ ์œ„ํ•œ ๋˜ ๋‹ค๋ฅธ ์ตœ๊ณ ์˜ ์˜ต์…˜์ž…๋‹ˆ๋‹ค. ์ด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ํ†ตํ•ด ๊ฐœ๋ฐœ์ž๋Š” ๋ฐฉ๋Œ€ํ•œ ์–‘์˜ ํ…์ŠคํŠธ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ณ  ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์œผ๋ฉฐ ์ž์—ฐ์–ด ์ดํ•ด ์‹œ์Šคํ…œ ๋ฐ ์ •๋ณด ์ถ”์ถœ ์‹œ์Šคํ…œ์„ ๊ตฌ์„ฑํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. 

spaCy๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๊ฐ์ • ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•˜์—ฌ ์ด๋ฉ”์ผ, ์†Œ์…œ ๋ฏธ๋””์–ด ๋ฐ ์ œํ’ˆ ๋ฆฌ๋ทฐ์™€ ๊ฐ™์€ ๊ด‘๋ฒ”์œ„ํ•œ ์†Œ์Šค์—์„œ ์ œํ’ˆ ๋˜๋Š” ๋ธŒ๋žœ๋“œ์— ๋Œ€ํ•œ ํ†ต์ฐฐ๋ ฅ ์žˆ๋Š” ์ •๋ณด๋ฅผ ์ˆ˜์ง‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ SpaCy์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๋น ๋ฅด๊ณ  ์‚ฌ์šฉํ•˜๊ธฐ ์‰ฌ์šด
  • ์ดˆ๋ณด ๊ฐœ๋ฐœ์ž์—๊ฒŒ ์ ํ•ฉ
  • ๋Œ€๋Ÿ‰์˜ ํ…์ŠคํŠธ ์ฒ˜๋ฆฌ
  • ๋‹ค์–‘ํ•œ ์†Œ์Šค๋ฅผ ํ†ตํ•œ ๊ฐ์„ฑ ๋ถ„์„

6. ์ฝ”์–ดNLP

Stanford CoreNLP๋Š” ์–ธ์–ด ๋ถ„์„์„ ํ…์ŠคํŠธ์— ์ ์šฉํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋˜๋Š” ๋‹ค์–‘ํ•œ ์ธ๊ฐ„ ์–ธ์–ด ๊ธฐ์ˆ  ๋„๊ตฌ๋ฅผ ํฌํ•จํ•˜๋Š” ๋˜ ๋‹ค๋ฅธ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. CoreNLP๋Š” ๊ฐ์ • ๋ถ„์„์„ ํฌํ•จํ•˜์—ฌ Stanford NLP ๋„๊ตฌ๋ฅผ ํ†ตํ•ฉํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ์˜์–ด, ์•„๋ž์–ด, ๋…์ผ์–ด, ์ค‘๊ตญ์–ด, ํ”„๋ž‘์Šค์–ด, ์ŠคํŽ˜์ธ์–ด ์ด XNUMX๊ฐœ ์–ธ์–ด๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. 

๊ฐ์ • ๋„๊ตฌ์—๋Š” ์ด๋ฅผ ์ง€์›ํ•˜๋Š” ๋‹ค์–‘ํ•œ ํ”„๋กœ๊ทธ๋žจ์ด ํฌํ•จ๋˜์–ด ์žˆ์œผ๋ฉฐ ๋ชจ๋ธ์€ ์ฃผ์„ ๋ชฉ๋ก์— "๊ฐ์ •"์„ ์ถ”๊ฐ€ํ•˜์—ฌ ํ…์ŠคํŠธ๋ฅผ ๋ถ„์„ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ๋ช…๋ น์ค„ ์ง€์› ๋ฐ ๋ชจ๋ธ ๊ต์œก ์ง€์›๋„ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ CoreNLP์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • Stanford NLP ๋„๊ตฌ ํ†ตํ•ฉ
  • XNUMX๊ฐœ ์–ธ์–ด ์ง€์›
  • "๊ฐ์ •"์„ ์ถ”๊ฐ€ํ•˜์—ฌ ํ…์ŠคํŠธ๋ฅผ ๋ถ„์„ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ช…๋ น์ค„ ์ง€์› ๋ฐ ๋ชจ๋ธ ๊ต์œก ์ง€์›

7. ์‚ฌ์ด ํ‚ท ํ•™์Šต

Github์˜ ๋…๋ฆฝ ์‹คํ–‰ํ˜• Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ scikit-learn์€ ์›๋ž˜ SciPy ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์— ๋Œ€ํ•œ ํƒ€์‚ฌ ํ™•์žฅ ๊ธฐ๋Šฅ์ด์—ˆ์Šต๋‹ˆ๋‹ค. ์ŠคํŒธ ํƒ์ง€ ๋ฐ ์ด๋ฏธ์ง€ ์ธ์‹์— ์‚ฌ์šฉ๋˜๋Š” ๊ฒƒ๊ณผ ๊ฐ™์€ ๊ณ ์ „์ ์ธ ๊ธฐ๊ณ„ ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์— ํŠนํžˆ ์œ ์šฉํ•˜์ง€๋งŒ scikit-learn์€ ๊ฐ์ • ๋ถ„์„์„ ํฌํ•จํ•œ NLP ์ž‘์—…์—๋„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ํ…์ŠคํŠธ๊ฐ€ ๊ธ์ •์ธ์ง€ ๋ถ€์ •์ธ์ง€๋ฅผ ์ถœ๋ ฅํ•  ์ˆ˜ ์žˆ๋Š” ๋ชจ๋ธ์„ ํ•™์Šตํ•˜์—ฌ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ด ์˜๊ฒฌ์ด๋‚˜ ๊ฐ์ •์„ ๋ถ„์„ํ•˜๋Š” ๊ฐ์„ฑ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์™€์ค๋‹ˆ๋‹ค. ๊ทธ๊ฒƒ์€ ์—ฌ๋Ÿฌ ๊ฐ€์ง€๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค ๋ฒกํ„ฐ๋ผ์ด์ € ์ž…๋ ฅ ๋ฌธ์„œ๋ฅผ ๊ธฐ๋Šฅ ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜๊ณ  ์ด๋ฏธ ๋‚ด์žฅ๋œ ๋‹ค์–‘ํ•œ ๋ถ„๋ฅ˜๊ธฐ์™€ ํ•จ๊ป˜ ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ scikit-learn์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • SciPy ๋ฐ NumPy ๊ธฐ๋ฐ˜
  • ์‹ค์ œ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์œผ๋กœ ์ž…์ฆ๋จ
  • ๋‹ค์–‘ํ•œ ๋ชจ๋ธ ๋ฐ ์•Œ๊ณ ๋ฆฌ์ฆ˜
  • Spotify์™€ ๊ฐ™์€ ๋Œ€๊ธฐ์—…์—์„œ ์‚ฌ์šฉ

8. ํด๋ฆฌ ๊ธ€๋กฏ

๊ฐ์ • ๋ถ„์„์„ ์œ„ํ•œ ๋˜ ๋‹ค๋ฅธ ํ›Œ๋ฅญํ•œ ์„ ํƒ์€ ๊ด‘๋ฒ”์œ„ํ•œ NLP ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋˜๋Š” ์˜คํ”ˆ ์†Œ์Šค Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ Polyglot์ž…๋‹ˆ๋‹ค. ์ด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” Numpy๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋ฉฐ ๋‹ค์–‘ํ•œ ์ „์šฉ ๋ช…๋ น์„ ์ œ๊ณตํ•˜๋ฉด์„œ ๋งค์šฐ ๋น ๋ฆ…๋‹ˆ๋‹ค. 

Polyglot์˜ ์ตœ๊ณ  ํŒ๋งค ํฌ์ธํŠธ ์ค‘ ํ•˜๋‚˜๋Š” ๊ด‘๋ฒ”์œ„ํ•œ ๋‹ค๊ตญ์–ด ์‘์šฉ ํ”„๋กœ๊ทธ๋žจ์„ ์ง€์›ํ•œ๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋ฌธ์„œ์— ๋”ฐ๋ฅด๋ฉด 136๊ฐœ ์–ธ์–ด์— ๋Œ€ํ•œ ๊ฐ์ • ๋ถ„์„์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ํšจ์œจ์„ฑ, ์†๋„ ๋ฐ ์ง์„ค์„ฑ์œผ๋กœ ์œ ๋ช…ํ•ฉ๋‹ˆ๋‹ค. Polyglot์€ spaCy์—์„œ ์ง€์›ํ•˜์ง€ ์•Š๋Š” ์–ธ์–ด๋ฅผ ํฌํ•จํ•˜๋Š” ํ”„๋กœ์ ํŠธ์— ์ข…์ข… ์„ ํƒ๋ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ Polyglot์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๊ฐ์ • ๋ถ„์„์„ ์œ„ํ•ด ์ง€์›๋˜๋Š” 136๊ฐœ ์–ธ์–ด์˜ ๋‹ค๊ตญ์–ด
  • NumPy ์œ„์— ๊ตฌ์ถ•
  • ์˜คํ”ˆ ์†Œ์Šค
  • ํšจ์œจ์ ์ด๊ณ  ๋น ๋ฅด๋ฉฐ ๊ฐ„๋‹จํ•ฉ๋‹ˆ๋‹ค.

9. ํŒŒ์ด ํ† ์น˜

์šฐ๋ฆฌ ๋ชฉ๋ก์˜ ๊ฑฐ์˜ ๋งˆ์ง€๋ง‰์—๋Š” ๋˜ ๋‹ค๋ฅธ ์˜คํ”ˆ ์†Œ์Šค Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ PyTorch๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. Facebook์˜ AI ์—ฐ๊ตฌํŒ€์ด ๋งŒ๋“  ์ด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋ฌธ์žฅ์ด ๊ธ์ •์ ์ธ์ง€ ๋ถ€์ •์ ์ธ์ง€ ๊ฐ์ง€ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ์ • ๋ถ„์„์„ ํฌํ•จํ•˜์—ฌ ๋‹ค์–‘ํ•œ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

PyTorch๋Š” ์‹คํ–‰ ์†๋„๊ฐ€ ๋งค์šฐ ๋น ๋ฅด๋ฉฐ ๋‹จ์ˆœํ™”๋œ ํ”„๋กœ์„ธ์„œ ๋˜๋Š” CPU ๋ฐ GPU์—์„œ ์ž‘๋™ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ•๋ ฅํ•œ API๋กœ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ํ™•์žฅํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ ์ž์—ฐ์–ด ํˆดํ‚ท์ด ์žˆ์Šต๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ PyTorch์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ํด๋ผ์šฐ๋“œ ํ”Œ๋žซํผ ๋ฐ ์ƒํƒœ๊ณ„
  • ๊ฐ•๋ ฅํ•œ ํ”„๋ ˆ์ž„์›Œํฌ
  • ๋งค์šฐ ๋น ๋ฆ„
  • ๊ฐ„์†Œํ™”๋œ ํ”„๋กœ์„ธ์„œ, CPU ๋˜๋Š” GPU์—์„œ ์ž‘๋™ ๊ฐ€๋Šฅ

10. ๊ฐ๊ฐ

๊ฐ์ • ๋ถ„์„์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ ๋ชฉ๋ก์„ ๋งˆ๋ฌด๋ฆฌํ•˜๋Š” ๊ฒƒ์€ ๊ฐ„๋‹จํ•œ ์˜คํ”ˆ ์†Œ์Šค NLP ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ Flair์ž…๋‹ˆ๋‹ค. ๊ทธ ํ”„๋ ˆ์ž„์›Œํฌ๋Š” PyTorch์— ์ง์ ‘ ๊ตฌ์ถ•๋˜์—ˆ์œผ๋ฉฐ Flair์˜ ์—ฐ๊ตฌ ํŒ€์€ ๋‹ค์–‘ํ•œ ์ž‘์—…์„ ์œ„ํ•ด ๋ช‡ ๊ฐ€์ง€ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๋ชจ๋ธ์„ ์ถœ์‹œํ–ˆ์Šต๋‹ˆ๋‹ค. 

์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๋ชจ๋ธ ์ค‘ ํ•˜๋‚˜๋Š” IMDB ๋ฐ์ดํ„ฐ ์„ธํŠธ์—์„œ ํ›ˆ๋ จ๋œ ๊ฐ์ • ๋ถ„์„ ๋ชจ๋ธ์ด๋ฉฐ ๋กœ๋“œ ๋ฐ ์˜ˆ์ธก์ด ๊ฐ„๋‹จํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ Flair๋กœ ๋ถ„๋ฅ˜๊ธฐ๋ฅผ ํ›ˆ๋ จํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ์œ ์šฉํ•œ ๋ชจ๋ธ์ด์ง€๋งŒ ํ›ˆ๋ จ๋œ ๋ฐ์ดํ„ฐ๋Š” Twitter์™€ ๊ฐ™์€ ๋‹ค๋ฅธ ๋„๋ฉ”์ธ๋งŒํผ ์ผ๋ฐ˜ํ™”๋˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ Flair์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ์˜คํ”ˆ ์†Œ์Šค
  • ๋‹ค์–‘ํ•œ ์–ธ์–ด ์ง€์›
  • ์‚ฌ์šฉ์ด ๊ฐ„ํŽธ
  • ๊ฐ์ • ๋ถ„์„์„ ํฌํ•จํ•œ ์—ฌ๋Ÿฌ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๋ชจ๋ธ

Alex McFarland๋Š” ์ธ๊ณต ์ง€๋Šฅ์˜ ์ตœ์‹  ๊ฐœ๋ฐœ์„ ํƒ๊ตฌํ•˜๋Š” AI ์ €๋„๋ฆฌ์ŠคํŠธ์ด์ž ์ž‘๊ฐ€์ž…๋‹ˆ๋‹ค. ๊ทธ๋Š” ์ „ ์„ธ๊ณ„ ์ˆ˜๋งŽ์€ AI ์Šคํƒ€ํŠธ์—… ๋ฐ ์ถœํŒ๋ฌผ๊ณผ ํ˜‘๋ ฅํ•ด ์™”์Šต๋‹ˆ๋‹ค.