Rescale ๋ฏธํŒ… ์˜ˆ์•ฝ

๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ

ํŒŒ์ด์ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ

๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ

์—…๋ฐ์ดํŠธ on

Python์€ ์˜ค๋Š˜๋‚  ๊ฐ€์žฅ ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด๋กœ ๋ถ€์ƒํ–ˆ์œผ๋ฉฐ ๋ฐ์ดํ„ฐ ๊ณผํ•™ ์ž‘์—…์„ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•œ ์ตœ๊ณ ์˜ ์„ ํƒ์ž…๋‹ˆ๋‹ค. Python์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์ž๋“ค์ด ๋งค์ผ ์‚ฌ์šฉํ•˜๋ฉฐ ๋ฐฐ์šฐ๊ธฐ ์‰ฌ์šด ํŠน์„ฑ ๋•๋ถ„์— ์•„๋งˆ์ถ”์–ด์™€ ์ „๋ฌธ๊ฐ€ ๋ชจ๋‘์—๊ฒŒ ํ›Œ๋ฅญํ•œ ์„ ํƒ์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๊ณผํ•™ ๋ถ„์•ผ์—์„œ Python์„ ๋งค์šฐ ์ธ๊ธฐ ์žˆ๊ฒŒ ๋งŒ๋“œ๋Š” ๋‹ค๋ฅธ ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€๋Š” Python์ด ์˜คํ”ˆ ์†Œ์Šค, ๊ฐ์ฒด ์ง€ํ–ฅ ๋ฐ ๊ณ ์„ฑ๋Šฅ ์–ธ์–ด๋ผ๋Š” ์ ์ž…๋‹ˆ๋‹ค. 

๊ทธ๋Ÿฌ๋‚˜ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ Python์˜ ๊ฐ€์žฅ ํฐ ํŒ๋งค ํฌ์ธํŠธ๋Š” ํ”„๋กœ๊ทธ๋ž˜๋จธ๊ฐ€ ๋‹ค์–‘ํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋  ์ˆ˜ ์žˆ๋Š” ๋‹ค์–‘ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. 

๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ๋ฅผ ์‚ดํŽด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. 

1. TensorFlow

๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ ๋ชฉ๋ก์˜ XNUMX์œ„๋Š” Google Brain ํŒ€์—์„œ ๊ฐœ๋ฐœํ•œ TensorFlow์ž…๋‹ˆ๋‹ค. TensorFlow๋Š” ์ดˆ๋ณด์ž์™€ ์ „๋ฌธ๊ฐ€ ๋ชจ๋‘์—๊ฒŒ ํƒ์›”ํ•œ ์„ ํƒ์ด๋ฉฐ ๊ด‘๋ฒ”์œ„ํ•˜๊ณ  ์œ ์—ฐํ•œ ๋„๊ตฌ, ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๋ฐ ์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฆฌ์†Œ์Šค๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. 

์ด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ๊ณ ์„ฑ๋Šฅ ์ˆ˜์น˜ ๊ณ„์‚ฐ์„ ๋ชฉํ‘œ๋กœ ํ•˜๋ฉฐ ์•ฝ 35,000๊ฐœ์˜ ๋Œ“๊ธ€๊ณผ 1,500๋ช… ์ด์ƒ์˜ ๊ธฐ์—ฌ์ž๋กœ ๊ตฌ์„ฑ๋œ ์ปค๋ฎค๋‹ˆํ‹ฐ๋ฅผ ๋ณด์œ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๊ฒƒ์˜ ์‘์šฉ ํ”„๋กœ๊ทธ๋žจ์€ ๊ณผํ•™ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋˜๋ฉฐ, ๊ทธ ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ๊ฒฐ๊ณผ์ ์œผ๋กœ ๊ฐ’์„ ์ƒ์„ฑํ•˜๋Š” ๋ถ€๋ถ„์ ์œผ๋กœ ์ •์˜๋œ ๊ณ„์‚ฐ ๊ฐœ์ฒด์ธ ํ…์„œ๋ฅผ ํฌํ•จํ•˜๋Š” ๊ณ„์‚ฐ์„ ์ •์˜ํ•˜๊ณ  ์‹คํ–‰ํ•˜๊ธฐ ์œ„ํ•œ ๊ธฐ๋ฐ˜์„ ๋งˆ๋ จํ•ฉ๋‹ˆ๋‹ค. 

TensorFlow๋Š” ์Œ์„ฑ ๋ฐ ์ด๋ฏธ์ง€ ์ธ์‹, ํ…์ŠคํŠธ ๊ธฐ๋ฐ˜ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜, ์‹œ๊ณ„์—ด ๋ถ„์„, ๋น„๋””์˜ค ๊ฐ์ง€์™€ ๊ฐ™์€ ์ž‘์—…์— ํŠนํžˆ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ TensorFlow์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ์‹ ๊ฒฝ ๊ธฐ๊ณ„ ํ•™์Šต์—์„œ ์˜ค๋ฅ˜๋ฅผ 50~60% ์ค„์ž…๋‹ˆ๋‹ค.
  • ์šฐ์ˆ˜ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๊ด€๋ฆฌ
  • ์œ ์—ฐํ•œ ์•„ํ‚คํ…์ฒ˜ ๋ฐ ํ”„๋ ˆ์ž„์›Œํฌ
  • ๋‹ค์–‘ํ•œ ์ปดํ“จํŒ… ํ”Œ๋žซํผ์—์„œ ์‹คํ–‰

2. SciPy

๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ๋˜ ๋‹ค๋ฅธ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” SciPy์ž…๋‹ˆ๋‹ค. SciPy๋Š” ๋†’์€ ์ˆ˜์ค€์˜ ๊ณ„์‚ฐ์— ์‚ฌ์šฉ๋˜๋Š” ๋ฌด๋ฃŒ ์˜คํ”ˆ ์†Œ์Šค Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. TensorFlow์™€ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ SciPy์—๋Š” ์ˆ˜๋ฐฑ ๋ช…์˜ ๊ธฐ๊ณ ์ž์— ์ด๋ฅด๋Š” ํฌ๊ณ  ํ™œ๋™์ ์ธ ์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. SciPy๋Š” ๊ณผํ•™ ๋ฐ ๊ธฐ์ˆ  ๊ณ„์‚ฐ์— ํŠนํžˆ ์œ ์šฉํ•˜๋ฉฐ ๊ณผํ•™ ๊ณ„์‚ฐ์„ ์œ„ํ•œ ๋‹ค์–‘ํ•œ ์‚ฌ์šฉ์ž ์นœํ™”์ ์ด๊ณ  ํšจ์œจ์ ์ธ ๋ฃจํ‹ด์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. 

SciPy๋Š” Numpy๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋ฉฐ ๋ชจ๋“  ๊ธฐ๋Šฅ์„ ํฌํ•จํ•˜๋ฉด์„œ ์‚ฌ์šฉ์ž ์นœํ™”์ ์ด๊ณ  ๊ณผํ•™์ ์ธ ๋„๊ตฌ๋กœ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค. SciPy๋Š” ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ ์„ธํŠธ์—์„œ ๊ณผํ•™ ๋ฐ ๊ธฐ์ˆ  ์ปดํ“จํŒ…์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐ ํƒ์›”ํ•˜๋ฉฐ ๋‹ค์ฐจ์› ์ด๋ฏธ์ง€ ์ž‘์—…, ์ตœ์ ํ™” ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๋ฐ ์„ ํ˜• ๋Œ€์ˆ˜ํ•™์— ์ž์ฃผ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ SciPy์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๋ฐ์ดํ„ฐ ์กฐ์ž‘ ๋ฐ ์‹œ๊ฐํ™”๋ฅผ ์œ„ํ•œ ๊ณ ๊ธ‰ ๋ช…๋ น
  • ๋ฏธ๋ถ„ ๋ฐฉ์ •์‹์„ ํ’€๊ธฐ ์œ„ํ•œ ๋‚ด์žฅ ํ•จ์ˆ˜
  • ๋‹ค์ฐจ์› ์ด๋ฏธ์ง€ ์ฒ˜๋ฆฌ
  • ๋Œ€์šฉ๋Ÿ‰ ๋ฐ์ดํ„ฐ ์„ธํŠธ ๊ณ„์‚ฐ

3. ํŒ๋‹ค

๋ฐ์ดํ„ฐ ๊ณผํ•™์— ๊ฐ€์žฅ ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ค‘ ํ•˜๋‚˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ ์กฐ์ž‘ ๋ฐ ๋ถ„์„ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•˜๋Š” Pandas์ž…๋‹ˆ๋‹ค. ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์—๋Š” ์ˆซ์ž ํ…Œ์ด๋ธ” ๋ฐ ์‹œ๊ณ„์—ด ๋ถ„์„์„ ์กฐ์ž‘ํ•˜๊ธฐ ์œ„ํ•œ ๊ฐ•๋ ฅํ•œ ์ž์ฒด ๋ฐ์ดํ„ฐ ๊ตฌ์กฐ๊ฐ€ ํฌํ•จ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. 

Pandas ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ๋‘ ๊ฐ€์ง€ ์ฃผ์š” ๊ธฐ๋Šฅ์€ ๋ฐ์ดํ„ฐ๋ฅผ ๊ด€๋ฆฌํ•˜๊ณ  ํƒ์ƒ‰ํ•˜๋Š” ๋น ๋ฅด๊ณ  ํšจ์œจ์ ์ธ ๋ฐฉ๋ฒ•์ธ Series ๋ฐ DataFrames์ž…๋‹ˆ๋‹ค. ์ด๋“ค์€ ๋ฐ์ดํ„ฐ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ํ‘œํ˜„ํ•˜๊ณ  ๋‹ค์–‘ํ•œ ๋ฐฉ์‹์œผ๋กœ ์กฐ์ž‘ํ•ฉ๋‹ˆ๋‹ค. 

Pandas์˜ ์ฃผ์š” ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์—๋Š” ์ผ๋ฐ˜ ๋ฐ์ดํ„ฐ ๋žญ๊ธ€๋ง, ๋ฐ์ดํ„ฐ ์ •๋ฆฌ, ํ†ต๊ณ„, ๊ธˆ์œต, ๋‚ ์งœ ๋ฒ”์œ„ ์ƒ์„ฑ, ์„ ํ˜• ํšŒ๊ท€ ๋“ฑ์ด ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ Pandas์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๊ณ ์œ ํ•œ ํ•จ์ˆ˜๋ฅผ ์ƒ์„ฑํ•˜๊ณ  ์ผ๋ จ์˜ ๋ฐ์ดํ„ฐ์—์„œ ์‹คํ–‰
  • ๋†’์€ ์ˆ˜์ค€์˜ ์ถ”์ƒํ™”
  • ๋†’์€ ์ˆ˜์ค€์˜ ๊ตฌ์กฐ ๋ฐ ์กฐ์ž‘ ๋„๊ตฌ
  • ๋ฐ์ดํ„ฐ ์„ธํŠธ ๋ณ‘ํ•ฉ/์กฐ์ธ 

4. ๋ˆ” ํŒŒ์ด

Numpy๋Š” ๋Œ€๊ทœ๋ชจ ๋‹ค์ฐจ์› ๋ฐฐ์—ด ๋ฐ ํ–‰๋ ฌ ์ฒ˜๋ฆฌ์— ์›ํ™œํ•˜๊ฒŒ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋Š” Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. ํšจ์œจ์ ์ธ ๊ธฐ๋ณธ ๊ณผํ•™ ๊ณ„์‚ฐ์— ํŠนํžˆ ์œ ์šฉํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ๋งŽ์€ ๊ณ ๊ธ‰ ์ˆ˜ํ•™ ํ•จ์ˆ˜ ์ง‘ํ•ฉ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. 

NumPy๋Š” ๊ณ ์„ฑ๋Šฅ ๋ฐฐ์—ด ๋ฐ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•˜๋Š” ๋ฒ”์šฉ ๋ฐฐ์—ด ์ฒ˜๋ฆฌ ํŒจํ‚ค์ง€์ด๋ฉฐ ๋‹ค์ฐจ์› ๋ฐฐ์—ด ๋ฐ ํ•จ์ˆ˜์™€ ํšจ์œจ์ ์œผ๋กœ ์ž‘๋™ํ•˜๋Š” ์—ฐ์‚ฐ์ž๋ฅผ ์ œ๊ณตํ•˜์—ฌ ์†๋„ ์ €ํ•˜ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•ฉ๋‹ˆ๋‹ค. 

Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ์ข…์ข… ๋ฐ์ดํ„ฐ ๋ถ„์„, ๊ฐ•๋ ฅํ•œ N์ฐจ์› ๋ฐฐ์—ด ์ƒ์„ฑ, SciPy ๋ฐ scikit-learn๊ณผ ๊ฐ™์€ ๋‹ค๋ฅธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ๊ธฐ๋ฐ˜ ํ˜•์„ฑ์— ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ NumPy์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ์ˆ˜์น˜ ๋ฃจํ‹ด์„ ์œ„ํ•œ ๋น ๋ฅด๊ณ  ๋ฏธ๋ฆฌ ์ปดํŒŒ์ผ๋œ ํ•จ์ˆ˜
  • ๊ฐ์ฒด ์ง€ํ–ฅ ์ ‘๊ทผ ๋ฐฉ์‹ ์ง€์›
  • ๋ณด๋‹ค ํšจ์œจ์ ์ธ ์ปดํ“จํŒ…์„ ์œ„ํ•œ ๋ฐฐ์—ด ์ง€ํ–ฅ
  • ๋ฐ์ดํ„ฐ ์ •๋ฆฌ ๋ฐ ์กฐ์ž‘

5. ๋งคํŠธํ”Œ๋กฏ๋ฆฝ

Matplotlib๋Š” 700๋ช… ์ด์ƒ์˜ ๊ธฐ์—ฌ์ž๋กœ ๊ตฌ์„ฑ๋œ ์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ€ ์žˆ๋Š” Python์šฉ ํ”Œ๋กœํŒ… ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์‹œ๊ฐํ™”์— ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ทธ๋ž˜ํ”„์™€ ํ”Œ๋กฏ์€ ๋ฌผ๋ก  ํ”Œ๋กฏ์„ ์‘์šฉ ํ”„๋กœ๊ทธ๋žจ์— ํฌํ•จํ•˜๊ธฐ ์œ„ํ•œ ๊ฐ์ฒด ์ง€ํ–ฅ API๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. 

๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ๊ฐ€์žฅ ์ธ๊ธฐ ์žˆ๋Š” ์„ ํƒ ์ค‘ ํ•˜๋‚˜์ธ Matplotlib์—๋Š” ๋‹ค์–‘ํ•œ ์‘์šฉ ํ”„๋กœ๊ทธ๋žจ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋ณ€์ˆ˜์˜ ์ƒ๊ด€ ๊ด€๊ณ„ ๋ถ„์„, ๋ชจ๋ธ์˜ ์‹ ๋ขฐ ๊ตฌ๊ฐ„ ๋ฐ ๋ฐ์ดํ„ฐ ๋ถ„ํฌ๋ฅผ ์‹œ๊ฐํ™”ํ•˜์—ฌ ํ†ต์ฐฐ๋ ฅ์„ ์–ป๊ฑฐ๋‚˜ ์‚ฐ์ ๋„๋ฅผ ์‚ฌ์šฉํ•œ ์ด์ƒ๊ฐ’ ํƒ์ง€์— ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ Matplotlib์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • MATLAB์„ ๋Œ€์ฒดํ•  ์ˆ˜ ์žˆ์Œ
  • ๋ฌด๋ฃŒ ๋ฐ ์˜คํ”ˆ ์†Œ์Šค
  • ์ˆ˜์‹ญ ๊ฐœ์˜ ๋ฐฑ์—”๋“œ ๋ฐ ์ถœ๋ ฅ ์œ ํ˜• ์ง€์›
  • ๋‚ฎ์€ ๋ฉ”๋ชจ๋ฆฌ ์†Œ๋น„

6. ์‚ฌ์ด ํ‚ท ๋Ÿฌ๋‹

Scikit-learn์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ๋˜ ๋‹ค๋ฅธ ํ›Œ๋ฅญํ•œ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. ๊ธฐ๊ณ„ ํ•™์Šต ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ๋‹ค์–‘ํ•˜๊ณ  ์œ ์šฉํ•œ ๊ธฐ๊ณ„ ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์ œ๊ณตํ•˜๋ฉฐ SciPy ๋ฐ NumPy์— ์‚ฝ์ž…๋˜๋„๋ก ์„ค๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค. 

Scikit-learn์—๋Š” ๊ทธ๋ผ๋””์–ธํŠธ ๋ถ€์ŠคํŒ…, DBSCAN, ๋ถ„๋ฅ˜ ๋‚ด์˜ ๋žœ๋ค ํฌ๋ ˆ์ŠคํŠธ, ํšŒ๊ท€, ํด๋Ÿฌ์Šคํ„ฐ๋ง ๋ฐฉ๋ฒ• ๋ฐ ์ง€์› ๋ฒกํ„ฐ ๋จธ์‹ ์ด ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. 

Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ํด๋Ÿฌ์Šคํ„ฐ๋ง, ๋ถ„๋ฅ˜, ๋ชจ๋ธ ์„ ํƒ, ํšŒ๊ท€ ๋ฐ ์ฐจ์› ์ถ•์†Œ์™€ ๊ฐ™์€ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ์ž์ฃผ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ Scikit-learn์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๋ฐ์ดํ„ฐ ๋ถ„๋ฅ˜ ๋ฐ ๋ชจ๋ธ๋ง
  • ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ
  • ๋ชจ๋ธ ์„ ํƒ
  • ์ข…๋‹จ ๊ฐ„ ๊ธฐ๊ณ„ ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜ 

7. ์ผ€ ๋ผ์Šค

Keras๋Š” TensorFlow์™€ ์œ ์‚ฌํ•œ ๋”ฅ ๋Ÿฌ๋‹ ๋ฐ ์‹ ๊ฒฝ๋ง ๋ชจ๋“ˆ์— ์ž์ฃผ ์‚ฌ์šฉ๋˜๋Š” ๋งค์šฐ ์ธ๊ธฐ ์žˆ๋Š” Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. ์ด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” TensorFlow ๋ฐ Theano ๋ฐฑ์—”๋“œ๋ฅผ ๋ชจ๋‘ ์ง€์›ํ•˜๋ฏ€๋กœ TensorFlow์— ๋„ˆ๋ฌด ๊ด€์—ฌํ•˜๊ณ  ์‹ถ์ง€ ์•Š์€ ์‚ฌ๋žŒ๋“ค์—๊ฒŒ ํ›Œ๋ฅญํ•œ ์„ ํƒ์ž…๋‹ˆ๋‹ค. 

์˜คํ”ˆ ์†Œ์Šค ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ๋ชจ๋ธ ๊ตฌ์„ฑ, ๋ฐ์ดํ„ฐ ์„ธํŠธ ๋ถ„์„ ๋ฐ ๊ทธ๋ž˜ํ”„ ์‹œ๊ฐํ™”์— ํ•„์š”ํ•œ ๋ชจ๋“  ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•˜๋ฉฐ ์ง์ ‘ ๊ฐ€์ ธ์˜ค๊ณ  ๋กœ๋“œํ•  ์ˆ˜ ์žˆ๋Š” ๋ฏธ๋ฆฌ ๋ ˆ์ด๋ธ”์ด ์ง€์ •๋œ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. Keras ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ๋ชจ๋“ˆ์‹์ด๋ฉฐ ํ™•์žฅ ๊ฐ€๋Šฅํ•˜๊ณ  ์œ ์—ฐํ•˜์—ฌ ์ดˆ๋ณด์ž์—๊ฒŒ ์‚ฌ์šฉ์ž ์นœํ™”์ ์ธ ์˜ต์…˜์ž…๋‹ˆ๋‹ค. ๋˜ํ•œ ๊ฐ€์žฅ ๊ด‘๋ฒ”์œ„ํ•œ ๋ฐ์ดํ„ฐ ์œ ํ˜• ์ค‘ ํ•˜๋‚˜๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. 

Keras๋Š” ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๊ฐ€์ค‘์น˜์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋”ฅ ๋Ÿฌ๋‹ ๋ชจ๋ธ์„ ์ฐพ๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์œผ๋ฉฐ, ์ด๋Ÿฌํ•œ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜์—ฌ ์ž์ฒด ๋ชจ๋ธ์„ ์ƒ์„ฑํ•˜๊ฑฐ๋‚˜ ํ›ˆ๋ จํ•˜์ง€ ์•Š๊ณ ๋„ ์˜ˆ์ธก์„ ์ˆ˜ํ–‰ํ•˜๊ฑฐ๋‚˜ ๊ธฐ๋Šฅ์„ ์ถ”์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ Keras์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ์‹ ๊ฒฝ์ธต ๊ฐœ๋ฐœ
  • ๋ฐ์ดํ„ฐ ํ’€๋ง
  • ํ™œ์„ฑํ™” ๋ฐ ๋น„์šฉ ํ•จ์ˆ˜
  • ๋”ฅ ๋Ÿฌ๋‹ ๋ฐ ๋จธ์‹  ๋Ÿฌ๋‹ ๋ชจ๋ธ

8. ์น˜๋ฃŒ

Scrapy๋Š” ๋ฐ์ดํ„ฐ ๊ณผํ•™ ๋ถ„์•ผ์—์„œ ๊ฐ€์žฅ ์ž˜ ์•Œ๋ ค์ง„ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. ๋น ๋ฅธ ์˜คํ”ˆ ์†Œ์Šค ์›น ํฌ๋กค๋ง Python ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ์ข…์ข… XPath ๊ธฐ๋ฐ˜ ์„ ํƒ๊ธฐ์˜ ๋„์›€์œผ๋กœ ์›น ํŽ˜์ด์ง€์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. 

๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์—๋Š” ์›น์—์„œ ๊ตฌ์กฐํ™”๋œ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฒ€์ƒ‰ํ•˜๋Š” ํฌ๋กค๋ง ํ”„๋กœ๊ทธ๋žจ์„ ๊ตฌ์ถ•ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋˜๋Š” ๊ฒƒ์„ ํฌํ•จํ•˜์—ฌ ๊ด‘๋ฒ”์œ„ํ•œ ์‘์šฉ ํ”„๋กœ๊ทธ๋žจ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ API์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋˜๋ฉฐ ์‚ฌ์šฉ์ž๊ฐ€ ๋Œ€ํ˜• ํฌ๋กค๋Ÿฌ๋ฅผ ๊ตฌ์ถ•ํ•˜๊ณ  ํ™•์žฅํ•˜๋Š” ๋ฐ ์žฌ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋ฒ”์šฉ ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์šฉ Scrapy์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๊ฐ€๋ณ๊ณ  ์˜คํ”ˆ ์†Œ์Šค
  • ๊ฐ•๋ ฅํ•œ ์›น ์Šคํฌ๋ž˜ํ•‘ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ
  • XPath ์„ ํƒ๊ธฐ๋กœ ๋ฐ์ดํ„ฐ ์–‘์‹ ์˜จ๋ผ์ธ ํŽ˜์ด์ง€๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค. 
  • ๋‚ด์žฅ ์ง€์›

9. ํŒŒ์ด ํ† ์น˜

์šฐ๋ฆฌ ๋ชฉ๋ก์˜ ๊ฑฐ์˜ ๋งˆ์ง€๋ง‰์—๋Š” ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ๋˜ ๋‹ค๋ฅธ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ PyTorch๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. Python ๊ธฐ๋ฐ˜ ๊ณผํ•™ ์ปดํ“จํŒ… ํŒจํ‚ค์ง€๋Š” ๊ทธ๋ž˜ํ”ฝ ์ฒ˜๋ฆฌ ์žฅ์น˜์˜ ์„ฑ๋Šฅ์— ์˜์กดํ•˜๋ฉฐ ์ตœ๋Œ€ ์œ ์—ฐ์„ฑ๊ณผ ์†๋„๋ฅผ ๊ฐ–์ถ˜ ๋”ฅ ๋Ÿฌ๋‹ ์—ฐ๊ตฌ ํ”Œ๋žซํผ์œผ๋กœ ์ž์ฃผ ์„ ํƒ๋ฉ๋‹ˆ๋‹ค. 

2016๋…„ ํŽ˜์ด์Šค๋ถ AI ์—ฐ๊ตฌํŒ€์ด ๋งŒ๋“  ํŒŒ์ดํ† ์น˜์˜ ๊ฐ€์žฅ ํฐ ํŠน์ง•์€ ๋ฌด๊ฑฐ์šด ๊ทธ๋ž˜ํ”„๋ฅผ ์ฒ˜๋ฆฌํ•  ๋•Œ๋„ ๋‹ฌ์„ฑํ•  ์ˆ˜ ์žˆ๋Š” ๋น ๋ฅธ ์‹คํ–‰ ์†๋„๋‹ค. ๋งค์šฐ ์œ ์—ฐํ•˜๋ฉฐ ๋‹จ์ˆœํ™”๋œ ํ”„๋กœ์„ธ์„œ ๋˜๋Š” CPU ๋ฐ GPU์—์„œ ์ž‘๋™ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ PyTorch์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ๋ฐ์ดํ„ฐ ์„ธํŠธ ์ œ์–ด
  • ๋งค์šฐ ์œ ์—ฐํ•˜๊ณ  ๋น ๋ฆ„
  • ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ ๊ฐœ๋ฐœ
  • ํ†ต๊ณ„ ๋ถ„ํฌ ๋ฐ ์šด์˜

10. ๋ทฐํ‹ฐํ’€์ˆ˜ํ”„

๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ ์ตœ๊ณ ์˜ Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ 10๊ฐœ ๋ชฉ๋ก์„ ๋งˆ๋ฌด๋ฆฌํ•˜๋Š” ๊ฒƒ์€ ์›น ํฌ๋กค๋ง ๋ฐ ๋ฐ์ดํ„ฐ ์Šคํฌ๋ž˜ํ•‘์— ๊ฐ€์žฅ ์ž์ฃผ ์‚ฌ์šฉ๋˜๋Š” BeautifulSoup์ž…๋‹ˆ๋‹ค. BeautifulSoup์„ ์‚ฌ์šฉํ•˜๋ฉด ์ ์ ˆํ•œ CSV ๋˜๋Š” API ์—†์ด ์›น์‚ฌ์ดํŠธ์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋™์‹œ์— Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์Šคํฌ๋žฉํ•˜๊ณ  ํ•„์š”ํ•œ ํ˜•์‹์œผ๋กœ ์ •๋ ฌํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค. 

BeautifulSoup์€ ๋˜ํ•œ ์‰ฝ๊ฒŒ ๋ฐฐ์šธ ์ˆ˜ ์žˆ๋Š” ์ง€์› ๋ฐ ํฌ๊ด„์ ์ธ ๋ฌธ์„œํ™”๋ฅผ ์œ„ํ•œ ํ™•๋ฆฝ๋œ ์ปค๋ฎค๋‹ˆํ‹ฐ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. 

๋‹ค์Œ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์„ ์œ„ํ•œ BeautifulSoup์˜ ์ฃผ์š” ๊ธฐ๋Šฅ ์ค‘ ์ผ๋ถ€์ž…๋‹ˆ๋‹ค. 

  • ์ปค๋ฎค๋‹ˆํ‹ฐ ์ง€์›
  • ์›น ํฌ๋กค๋ง ๋ฐ ๋ฐ์ดํ„ฐ ์Šคํฌ๋ž˜ํ•‘
  • ์‰ฌ์šด ์‚ฌ์šฉ
  • ์ ์ ˆํ•œ CSV ๋˜๋Š” API ์—†์ด ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘

Alex McFarland๋Š” ์ธ๊ณต ์ง€๋Šฅ์˜ ์ตœ์‹  ๊ฐœ๋ฐœ์„ ํƒ๊ตฌํ•˜๋Š” AI ์ €๋„๋ฆฌ์ŠคํŠธ์ด์ž ์ž‘๊ฐ€์ž…๋‹ˆ๋‹ค. ๊ทธ๋Š” ์ „ ์„ธ๊ณ„ ์ˆ˜๋งŽ์€ AI ์Šคํƒ€ํŠธ์—… ๋ฐ ์ถœํŒ๋ฌผ๊ณผ ํ˜‘๋ ฅํ•ด ์™”์Šต๋‹ˆ๋‹ค.