๋ฒ ์คํธ
10๋ 2025์ ์ต๊ณ ์ ETL ๋๊ตฌ XNUMX๊ฐ์ง
Unite.AI๋ ์๊ฒฉํ ํธ์ง ๊ธฐ์ค์ ์ค์ํ๊ธฐ ์ํด ์ต์ ์ ๋คํ๊ณ ์์ต๋๋ค. ๊ทํ๊ฐ ๋น์ฌ๊ฐ ๋ฆฌ๋ทฐํ ์ ํ์ ๋ํ ๋งํฌ๋ฅผ ํด๋ฆญํ๋ฉด ๋น์ฌ๋ ๋ณด์์ ๋ฐ์ ์ ์์ต๋๋ค. ์ฐ๋ฆฌ์ ๊ณ์ด์ฌ ๊ณต๊ฐ.

๋ฐ์ดํฐ ๊ธฐ๋ฐ ์กฐ์ง์ด ๋ชจ๋ ์ ๋ณด์ ๋ํ ์ค์ ์ง์ค์ ์์ค๋ฅผ ๋ณด์ ํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ๊ทธ๋ ์ง ์์ผ๋ฉด ์ ๋ณด์ ์ ๊ฐํ ์์ธก์ ํ๊ธฐ๊ฐ ์ด๋ ต์ต๋๋ค. ๋ง์ ํ์ฌ์์ ETL์ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ์ ๋ํ ์ปจํ ์คํธ๋ฅผ ์ ๊ณตํฉ๋๋ค.
"์ถ์ถ, ๋ณํ, ๋ก๋"๋ฅผ ์๋ฏธํ๋ ETL์ ํ์ฌ์์ ์ฌ๋ฌ ์์ค์ ๋ฐ์ดํฐ๋ฅผ ๋จ์ผ ์ค์ ๋ฐ์ดํฐ ์ ์ฅ์๋ก ํตํฉํ๋ ๋ฐ ์ฌ์ฉํ ์ ์๋ ํ์ค ๋ชจ๋ธ์ ๋๋ค. ETL ๋๊ตฌ๋ ์๋ก ๋ค๋ฅธ ์์ค์์ ๋ฐ์ดํฐ๋ฅผ ์ถ์ถํ๊ณ , ๋ ๋์ ํ์ง์ ๋ฌ์ฑํ๊ธฐ ์ํด ๋ฐ์ดํฐ๋ฅผ ์คํฌ๋ฌ๋น ๋ฐ ์ ๋ฆฌํ๊ณ , ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๋ก ํตํฉํ๋ ๊ฒ๊ณผ ๊ฐ์ ETL ํ๋ก์ธ์ค๋ฅผ ์ง์ํ๋๋ก ํน๋ณํ ์ค๊ณ๋ ์ํํธ์จ์ด์ ๋๋ค. ETL ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ ๊ด๋ฆฌ ์ ๋ต์ ๋จ์ํํ๊ณ ํ์คํ๋ ์ ๊ทผ ๋ฐฉ์์ ํตํด ๋ฐ์ดํฐ ํ์ง์ ๊ฐ์ ํ ์ ์์ต๋๋ค.
ETL ๋๊ตฌ์๋ ๋ค์๊ณผ ๊ฐ์ ๋ง์ ์ด์ ์ด ์์ต๋๋ค.
- ๋ ๋์ ํ์ง: ETL ๋๊ตฌ๋ ์๋ก ๋ค๋ฅธ ๋ฐ์ดํฐ๋ฒ ์ด์ค, ์ ํ๋ฆฌ์ผ์ด์ ๋ฐ ์์คํ ์ ๋ฐ์ดํฐ๋ฅผ ๋ณํํ์ฌ ํน์ ๋ด๋ถ ๋ฐ ์ธ๋ถ ๊ท์ ์ค์ ์๊ตฌ ์ฌํญ์ ์ถฉ์กฑํจ์ผ๋ก์จ ๋ฐ์ดํฐ ํ์ง์ ํฅ์์ํต๋๋ค. ๋ํ ๊ด๋ จ ๋ฐ์ดํฐ์ ๋ํ ์ปจํ ์คํธ๋ฅผ ์ ๊ณตํ์ฌ ์์ฌ ๊ฒฐ์ ํ๋ก์ธ์ค๋ฅผ ๊ฐ์ ํฉ๋๋ค.
- ๋ ๋์ ์ผ๊ด์ฑ: ETL ๋๊ตฌ๋ฅผ ์ฌ์ฉํ๋ฉด ๋ฒ์ฉ ํ์ค์ ๋ฐ๋ฅด๋๋ก ๋ฐ์ดํฐ๋ฅผ ๋ณํํ์ฌ ๋ถ์์ ๋จ์ํํ ์ ์์ต๋๋ค. ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ๋ชจ์์ ๊ฒ์ํ ์ ์๊ฒ ๋๋ฉด ๊ณ์ฐ๊ณผ ์์ธก์ด ๋์ฑ ์ ํํด์ง๋๋ค.
- ๋ ๋น ๋ฆ : ์ฌ๋ฌ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ฟผ๋ฆฌํ ํ์๊ฐ ์์ผ๋ฏ๋ก ์์ฌ ๊ฒฐ์ ์๋๋ฅผ ๋์ผ ์ ์์ต๋๋ค.
์์ฅ์๋ ํ๋ฅญํ ETL ๋๊ตฌ๊ฐ ๋ง์ด ์์ผ๋ฏ๋ก ๊ฐ์ฅ ์ข์ ๋ช ๊ฐ์ง๋ฅผ ์ดํด๋ณด๊ฒ ์ต๋๋ค.
1. ํตํฉ
Integrate.io๋ ์์ฅ์์ ๊ฐ์ฅ ์ฐ์ํ ETL ๋๊ตฌ ์ค ํ๋๋ก ๋๋ฆฌ ์๋ ค์ ธ ์์ต๋๋ค. ์ฌ๋ฌ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ฝ๊ฒ ํตํฉํ ์ ์๋ ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ ETL ๋ฐ์ดํฐ ํตํฉ โโํ๋ซํผ์ ๋๋ค. ์ด ํ๋ซํผ์๋ ์๋ง์ ์์ค์ ๋์ ๊ฐ์ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํ ์ ์๋ ๊ฐ๋จํ๊ณ ์ง๊ด์ ์ธ ์ธํฐํ์ด์ค๊ฐ ์์ต๋๋ค.
๋ํ ์ด ํ๋ซํผ์ ๋ชจ๋ ๋ฐ์ดํฐ ๋ณผ๋ฅจ ๋๋ ์ฌ์ฉ ์ฌ๋ก์ ๋ง๊ฒ ํ์ฅ์ฑ์ด ๋ฐ์ด๋๋ฉฐ ๋ฐ์ดํฐ๋ฅผ ์จ์ดํ์ฐ์ค, ๋ฐ์ดํฐ๋ฒ ์ด์ค, ์ด์ ์ฒด์ ๋ฐ ๋ฐ์ดํฐ ์ ์ฅ์์ ์ํํ๊ฒ ์ง๊ณํ ์ ์์ต๋๋ค.
MongoDB, MySQL, Amazon Redshift, Google Cloud Platform ๋ฐ Facebook์ ํฌํจํ์ฌ Integrate.io์ ํจ๊ป 100๊ฐ ์ด์์ ์ธ๊ธฐ ์๋ ๋ฐ์ดํฐ ์ ์ฅ์ ๋ฐ SaaS ์ ํ๋ฆฌ์ผ์ด์ ํจํค์ง๊ฐ ์์ต๋๋ค.
ํ์ฅ์ฑ๊ณผ ๋ณด์์ฑ ์ธ์๋ ํ๋ซํผ์ ๋ค์ํ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค. ์ด๋ฌํ ๊ธฐ๋ฅ ์ค ํ๋๋ ์์ฒด ์ํธํ ํค๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ ํ๋๋ฅผ ์ํธํ ๋ฐ ํด๋ ํ ์ ์๋ ํ๋ ์์ค ์ํธํ์ ๋๋ค.
๋ค์์ Integrate.io์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ๋์ ํ์ฅ์ฑ ๋ฐ ๋ณด์
- ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ ETL ํ๋ซํผ
- ์ฌ๋ฌ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ฝ๊ฒ ํตํฉ
- ๊ฐ๋จํ๊ณ ์ง๊ด์ ์ธ ์ธํฐํ์ด์ค
2. ํ ๋ ๋
๋ ๋ค๋ฅธ ๋ฐ์ด๋ ETL ๋๊ตฌ๋ ์จํ๋ ๋ฏธ์ค์ ํด๋ผ์ฐ๋ ๋ชจ๋์์ ๋ฐ์ดํฐ ์์ค์ ํธํ๋๋ ์คํ ์์ค ETL ๋ฐ์ดํฐ ํตํฉ โโ์๋ฃจ์ ์ธ Talend Data Integration์ ๋๋ค. ์ด ํ๋ซํผ์๋ ์๋ฐฑ ๊ฐ์ ์ฌ์ ๊ตฌ์ถ๋ ํตํฉ์ด ํฌํจ๋์ด ์์ต๋๋ค.
Talend๋ ์คํ ์์ค ๋ฒ์ ์ธ์๋ ์์ฐ์ฑ, ์ค๊ณ, ๊ด๋ฆฌ, ๋ชจ๋ํฐ๋ง ๋ฐ ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค๋ฅผ ์ํ ์ถ๊ฐ ๋๊ตฌ์ ๊ธฐ๋ฅ์ด ํฌํจ๋ ์ ๋ฃ ๋ฐ์ดํฐ ๊ด๋ฆฌ ํ๋ซํผ์ ์ ๊ณตํฉ๋๋ค.
Talend๋ ๋ฐ์ดํฐ ํตํฉ โโ๋๊ตฌ ๋ณด๊ณ ์์ ๋ํ Gartner์ Magic Quadrant์์ "๋ฆฌ๋"๋ก ์ง์ ๋์์ต๋๋ค.
๋ค์์ Talend์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ์คํ ์์ค ๋ฐ ์ ๋ฃ ๋ฒ์
- ๋์์ธ, ์์ฐ์ฑ, ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค ๋ฑ์ ์ํ ๋๊ตฌ
- ์จํ๋ ๋ฏธ์ค ๋ฐ ํด๋ผ์ฐ๋์ ๋ฐ์ดํฐ ์์ค์ ํธํ ๊ฐ๋ฅ
- ๋ค๋ชฉ์ ๋ฐ์ดํฐ ํตํฉ โโ๋๊ตฌ
3. IBM ๋ฐ์ดํฐ์คํ ์ด์ง
IBM DataStage๋ ํด๋ผ์ด์ธํธ-์๋ฒ ์ค๊ณ์ ์ค์ ์ ๋ ๋ฐ์ด๋ ๋ฐ์ดํฐ ํตํฉ โโ๋๊ตฌ์ ๋๋ค. ์์ค์์ ๋์์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์ถ์ถ, ๋ณํ ๋ฐ ๋ก๋ํฉ๋๋ค. ์ด๋ฌํ ์์ค์๋ ํ์ผ, ์์นด์ด๋ธ, ๋น์ฆ๋์ค ์ฑ ๋ฑ์ด ํฌํจ๋ ์ ์์ต๋๋ค.
๊ธฐ์ ์ DataStage๋ฅผ ์ฌ์ฉํ์ฌ ์์ง์ ๋ฐ์ดํฐ๋ฅผ ์ ๊ณตํจ์ผ๋ก์จ ๋น์ฆ๋์ค ๋ถ์์ ์ง์ํฉ๋๋ค. ์ด๊ฒ์ ๋ง์ ์๋ก ๋ค๋ฅธ ์์คํ ๊ฐ์ ๋งํฌ ์ญํ ์ ํ๋ฉฐ ๋ฐ์ดํฐ ์ถ์ถ, ๋ณํ ๋ฐ ๋ก๋๋ฅผ ์ฒ๋ฆฌํ ์ ์์ผ๋ฏ๋ก ์ ๋นต ์ ๊ณ์ ๋ง์ ์ฌ๋๋ค์ด ์ ํธํฉ๋๋ค.
DataStage๋ ํ์ํ ๋งํผ ์๋ก ๊ณ ์น๊ณ ๋๊ธฐํํ ์ ์์ผ๋ฉฐ ์์ ์ ์ด๊ณ ์ ์ฐํฉ๋๋ค. ์ด๊ธฐ์ข ์์ค๋ฅผ ํตํฉํ๊ธฐ ์ํ ์์ฌ์ด ํตํฉ ๋ฐ ๋จ์ผ ์ธํฐํ์ด์ค๋ฅผ ์ ๊ณตํฉ๋๋ค. ๋ํ ์ด ๋๊ตฌ๋ ํ๋์จ์ด ํ์ฉ์ ์ต์ ํํ๊ณ ์์ง ๋ฐ ํตํฉ์ ์ง์ํ๋ฉฐ ๋ฐ์ดํฐ ํตํฉ์ ๊ตฌ์ถ, ๋ฐฐํฌ, ์ ๋ฐ์ดํธ ๋ฐ ๊ด๋ฆฌํ๋ ๊ฐ๋ ฅํ๊ณ ํจ๊ณผ์ ์ธ ๋ฐฉ๋ฒ์ ์ ๊ณตํฉ๋๋ค.
๋ค์์ IBM DataStage์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ํด๋ผ์ด์ธํธ-์๋ฒ ์ค๊ณ
- ์์ค์์ ๋์์ผ๋ก ๋ฐ์ดํฐ ์ถ์ถ, ๋ณํ ๋ฐ ๋ก๋
- ๋น์ฆ๋์ค ๋ถ์ ํฅ์
- ๋ค์ํ ์์คํ ์ ํจ๊ป ์ฐ๊ฒฐ
4. Oracle ๋ฐ์ดํฐ ํตํฉ โโ์
ํฌ๊ด์ ์ธ ๋ฐ์ดํฐ ํตํฉ โโ์๋ฃจ์ ์ธ ODI(Oracle Data Integrator)๋ Oracle ๋ฐ์ดํฐ ๊ด๋ฆฌ ์์ฝ์์คํ ์ ์ผ๋ถ์ ๋๋ค. Hyperion Financial Management ๋๋ Oracle EBS(E-Business Suite)์ ๊ฐ์ ๋ค๋ฅธ Oracle ์ ํ๋ฆฌ์ผ์ด์ ์ ์ด๋ฏธ ์ฌ์ฉํ๊ณ ์๋ ์ฌ๋๋ค์๊ฒ ํ์ํ ์ ํ์ ๋๋ค.
Oracle Data Integrator๋ ์จํ๋ ๋ฏธ์ค ๋ฐ ํด๋ผ์ฐ๋ ๋ฒ์ ์ ๋ชจ๋ ์ ๊ณตํฉ๋๋ค. ODI์ ๊ณ ์ ํ ์ธก๋ฉด ์ค ํ๋๋ ETL ์ํฌ๋ก๋๋ฅผ ์ง์ํ์ฌ ๋ง์ ์ฌ์ฉ์์๊ฒ ๋์์ด ๋ ์ ์๋ค๋ ๊ฒ์ ๋๋ค. ๋ชฉ๋ก์ ์๋ ๋ค๋ฅธ ๋๊ตฌ๋ณด๋ค ๋ ๊ธฐ๋ณธ์ ์ธ ๋๊ตฌ์ ๋๋ค.
ODI๋ ๋๋ ๋ฐฐ์น ๋ก๋ ๋ฐ ์๋น์ค ์งํฅ ์ํคํ ์ฒ ๋ฐ์ดํฐ ์๋น์ค์ ๊ฐ์ ๊ด๋ฒ์ํ ๋ฐ์ดํฐ ํตํฉ โโ์์ฒญ์ ์ง์ํฉ๋๋ค. ์ด ๋๊ตฌ๋ ๋ํ ๋ณ๋ ฌ ์์ ์คํ์ ์ง์ํ์ฌ ๋ ๋น ๋ฅธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ๋ฌ์ฑํ๋ ๋ฐ ๋์์ด ๋ฉ๋๋ค.
๋ค์์ Oracle Data Integrator์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- Oracle ๋ฐ์ดํฐ ๊ด๋ฆฌ ์์ฝ์์คํ ์ ์ผ๋ถ
- ์จํ๋ ๋ฏธ์ค ๋ฐ ํด๋ผ์ฐ๋
- ETL ์ํฌ๋ก๋ ์ง์
- ๋ณ๋ ฌ ์์ ์คํ
5. ํ์ด๋ธ ํธ๋
๋ฐ์ดํฐ ๊ด๋ฆฌ ํ๋ก์ธ์ค๋ฅผ ๋ณด๋ค ํธ๋ฆฌํ๊ฒ ๋ง๋ค๊ธฐ ์ํด Fivetran์ ๋ค์ํ ๋๊ตฌ ํ๋ซํผ์ ์ ๊ณตํฉ๋๋ค. ์ด ์ํํธ์จ์ด๋ API ์ ๋ฐ์ดํธ๋ฅผ ๊ด๋ฆฌํ๋ ๋ฐ ๋์์ด ๋๋ฉฐ ๋จ ๋ช ๋ถ ๋ง์ ๋ฐ์ดํฐ๋ฒ ์ด์ค์์ ์ต์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค.
Redshift, BigQuery, Azure, Snowflake์ ๊ฐ์ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์์ ๋ฐ์ดํฐ ํตํฉ์ ์ง์ํ๋ ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ ETL ์๋ฃจ์ ์ ๋๋ค. Fivetran์ ์ต๊ณ ํ๋งค ํฌ์ธํธ ์ค ํ๋๋ ๊ฑฐ์ 90๊ฐ์ ๊ฐ๋ฅํ SaaS ์์ค์ ์ฌ์ฉ์ ์ ์ ํตํฉ์ ์ถ๊ฐํ ์ ์๋ ๊ธฐ๋ฅ์ด ์๋ ๋ฐ์ดํฐ ์์ค์ ๋ฐฐ์ด์ ๋๋ค.
๋ค์์ Fivetran์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ํธ๋ฆฌํ ๋ฐ์ดํฐ ๊ด๋ฆฌ
- ๋ค์ํ ๋๊ตฌ ํ๋ซํผ
- API ์ ๋ฐ์ดํธ ๊ด๋ฆฌ
- ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ ์๋ฃจ์
6. ๋
์คํ ์์ค ELT(์ถ์ถ, ๋ก๋, ๋ณํ) ๋ฐ์ดํฐ ํตํฉ โโํ๋ซํผ์ธ Stitch๋ ๋ ํ๋์ ํ์ํ ์ ํ์ ๋๋ค. Talend์ ์ ์ฌํ๊ฒ Stitch๋ ๊ณ ๊ธ ์ฌ์ฉ ์ฌ๋ก์ ๋ ๋ง์ ์์ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ํ ์ ๋ฃ ์๋น์ค ๊ณ์ธต์ ์ ๊ณตํฉ๋๋ค. Stitch๋ ์ค์ ๋ก 2018๋ ์ Talend์ ์ธ์๋์์ต๋๋ค.
์ด ํ๋ซํผ์ ์ ํ ์๋น์ค ELT ๋ฐ ์๋ํ๋ ํ์ดํ๋ผ์ธ์ ์ ๊ณตํ๋ฏ๋ก ๋์ ๋๋๋ค. 130๊ฐ ์ด์์ ํ๋ซํผ, ์๋น์ค ๋ฐ ์ ํ๋ฆฌ์ผ์ด์ ์์ ๋ฐ์ดํฐ๋ฅผ ์์ฑํ๋๋ก ์ค๊ณ๋์์ต๋๋ค.
์ด ๋๊ตฌ๋ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๋ชจ๋ ์ ๋ณด๋ฅผ ์ค์ ์ง์คํํ๋ฉฐ ์คํ ์์ค์ด๋ฏ๋ก ๊ฐ๋ฐ ํ์ ์ถ๊ฐ ์์ค ๋ฐ ๊ธฐ๋ฅ์ ์ง์ํ๋๋ก ๋๊ตฌ๋ฅผ ํ์ฅํ ์ ์์ต๋๋ค.
๋ค์์ Stitch์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ์คํ ์์ค ELT ํ๋ซํผ
- ์ ๋ฃ ์๋น์ค ๋ฑ๊ธ
- ์ ํ ์๋น์ค ELT ๋ฐ ์๋ํ๋ ํ์ดํ๋ผ์ธ
- 130๊ฐ ์ด์์ ํ๋ซํผ, ์๋น์ค ๋ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ์์ค ๋ฐ์ดํฐ
7. ์ธํฌ๋งคํฐ์นด ํ์์ผํฐ
๋ฉํ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ Informatica PowerCenter๋ ๋น์ฆ๋์ค ํ๊ณผ IT ํ ๊ฐ์ ํ์ ์ ๊ฐ์ ํ๋ ๋์์ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ๊ฐ์ํํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค. ์ด ๋๊ตฌ๋ JSON, XML ๋ฐ PDF์ ๊ฐ์ ๊ณ ๊ธ ๋ฐ์ดํฐ ํ์์ ๊ตฌ๋ฌธ ๋ถ์ํ ์ ์์ต๋๋ค. ๋ํ ๋ณํ๋ ๋ฐ์ดํฐ๋ฅผ ์๋์ผ๋ก ๊ฒ์ฆํ์ฌ ์ ์๋ ํ์ค์ ์ ์ฉํ ์ ์์ต๋๋ค.
๊ธฐ๋ฅ์ด ํ๋ถํ ์ํฐํ๋ผ์ด์ฆ ๋ฐ์ดํฐ ํตํฉ โโํ๋ซํผ์ Informatica์ ๋ฐ์ดํฐ ๊ด๋ฆฌ ์ ํ๊ตฐ์ ์๋ ๋ ํ๋์ ๋๊ตฌ์ ๋๋ค. PowerCenter๋ ๊ณ ์ฑ๋ฅ ๋ฐ ๋ค์ํ ๋ฐ์ดํฐ ์์ค์์ ํธํ์ฑ์ ๋ฌ์ฑํ๋ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ค๋ฆฝ์ ์ธ ์ํฐํ๋ผ์ด์ฆ๊ธ ์๋ฃจ์ ์ ๋๋ค.
PowerCenter๋ ๋ํ ์ฌ์ ๊ตฌ์ถ๋ ๋ณํ, ๊ณ ๊ฐ์ฉ์ฑ ๋ฐ ์ต์ ํ๋ ์ฑ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
๋ค์์ Informatica PowerCenter์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ๋น์ฆ๋์ค ํ๊ณผ IT ํ ๊ฐ์ ํ์ ๊ฐ์
- ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ฐ์ํ
- ๊ณ ๊ธ ๋ฐ์ดํฐ ํ์์ ๊ตฌ๋ฌธ ๋ถ์ํฉ๋๋ค.
- ๊ณ ์ฑ๋ฅ ๋ฐ ํธํ์ฑ
8. SAS ๋ฐ์ดํฐ ๊ด๋ฆฌ
SAS Data Management๋ ํด๋ผ์ฐ๋, ๋ ๊ฑฐ์ ์์คํ ๋ฐ ๋ฐ์ดํฐ ๋ ์ดํฌ์ ๊ฐ์ ๋ค์ํ ์์ค์ ๋ฐ์ดํฐ๋ฅผ ์ฐ๊ฒฐํ๋๋ก ์ค๊ณ๋ ๋ฐ์ดํฐ ํตํฉ โโํ๋ซํผ์ ๋๋ค. ์ด๋ฌํ ํตํฉ์ ํตํด ๋น์ฆ๋์ค ํ๋ก์ธ์ค์ ๋ํ ์ ์ฒด๋ก ์ ๋ณด๊ธฐ๋ฅผ ๊ตฌ์ถํ๊ณ ์ํฌํ๋ก์ฐ๋ฅผ ์ต์ ํํ ์ ์์ต๋๋ค.
์ด ํ๋ซํผ์ ๋งค์ฐ ์ ์ฐํ๋ฉฐ ๋ค์ํ ์ปดํจํ ํ๊ฒฝ ๋ฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์์ ์๋ํ ์ ์์ต๋๋ค. ๋ํ ๋ฐ์ด๋ ์๊ฐํ๋ฅผ ์์ฑํ๋ ๋ฐ ๋์์ด ๋๋ ํ์ฌ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ๋๊ตฌ์ ํตํฉ๋ ์ ์์ต๋๋ค.
๋ค์์ SAS ๋ฐ์ดํฐ ๊ด๋ฆฌ์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ๋ค์ํ ์์ค์ ๋ฐ์ดํฐ ์์ ์ฐ๊ฒฐ
- ๋น์ฆ๋์ค ํ๋ก์ธ์ค์ ๋ํ ์ ์ฒด์ ์ธ ๊ด์ ๊ตฌ์ถ
- ์ํฌํ๋ก ์ต์ ํ
- ๋ค์ํ ์ปดํจํ ํ๊ฒฝ์์ ์๋
SAS ๋ฐ์ดํฐ ๊ด๋ฆฌ ๋ฐฉ๋ฌธ โ
9. ํํ ํธ
Hitachi Vantara์์ ์ ๊ณตํ๋ ์คํ ์์ค ํ๋ซํผ์ธ Pentaho๋ ๋ฐ์ดํฐ ํตํฉ โโ๋ฐ ๋ถ์์ ์ฌ์ฉ๋ฉ๋๋ค. Pentaho์ ๋ฌด๋ฃ Community Edition์ ์ ํํ๊ฑฐ๋ Enterprise Edition์ ์์ฉ ๋ผ์ด์ผ์ค๋ฅผ ๊ตฌ์ ํ ์ ์์ต๋๋ค.
Pentaho๋ ๊ฐ๋ ฅํ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํ๊ธฐ ์ํด ์ด๋ณด์๋ ์ฌ์ฉํ ์ ์๋ ์ฌ์ฉ์ ์นํ์ ์ธ ์ธํฐํ์ด์ค๋ฅผ ์ ๊ณตํฉ๋๋ค. ํ๋ซํผ์ ํ์คํ๋ ํ์์ผ๋ก ๋ฐ์ดํฐ ์บก์ฒ, ์ ๋ฆฌ ๋ฐ ์ ์ฅ๊ณผ ๊ฐ์ ๋ฐ์ดํฐ ํตํฉ โโํ๋ก์ธ์ค๋ฅผ ๊ด๋ฆฌํฉ๋๋ค.
์ด ๋๊ตฌ๋ ๋ถ์์ ์ํด ์ต์ข ์ฌ์ฉ์์ ์ ๋ณด๋ฅผ ๊ณต์ ํ๊ณ ๊ธฐ๊ณ ํ์ต์ ๋์์ด ๋๋ IoT ๊ธฐ์ ์ ๋ํ ๋ฐ์ดํฐ ์ก์ธ์ค๋ฅผ ์ง์ํฉ๋๋ค.
๋ค์์ Pentaho์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ์คํ ์์ค ํ๋ซํผ
- ๋ฌด๋ฃ ์ปค๋ฎค๋ํฐ ์๋์ ๋๋ ์ํฐํ๋ผ์ด์ฆ ์๋์
- ์ด๋ณด์๋ฅผ ์ํ ์ฌ์ฉ์ ์นํ์ ์ธ ์ธํฐํ์ด์ค
- IoT ๊ธฐ์ ์ ๋ํ ๋ฐ์ดํฐ ์ก์ธ์ค ์ง์
10. AWS ์ ์ฐฉ์
์ต๊ณ ์ ETL ๋๊ตฌ ๋ชฉ๋ก์ ๋ง๋ฌด๋ฆฌํ๋ ๊ฒ์ Amazon Web Services์์ ์ ๊ณตํ๋ ์์ ๊ด๋ฆฌํ ETL ์๋น์ค์ธ AWS Glue์ ๋๋ค. ์ด ๋๊ตฌ๋ ๋น ๋ฐ์ดํฐ ๋ฐ ๋ถ์ ์ํฌ๋ก๋๋ฅผ ์ํด ํน๋ณํ ์ค๊ณ๋์์ต๋๋ค.
AWS Glue๋ ETL ์ํฌ๋ก๋๋ฅผ ๋ ์ฝ๊ฒ ๋ง๋ค๊ณ ๋ ํฐ AWS ์์ฝ์์คํ ๊ณผ ๋ ์ ํตํฉํ ์ ์๋๋ก ํ๊ธฐ ์ํ ์๋ ํฌ ์๋ ETL ์ ํ์ ๋๋ค. ์ด ๋๊ตฌ์ ๊ณ ์ ํ ์ธก๋ฉด ์ค ํ๋๋ ์๋ฒ๋ฆฌ์ค๋ผ๋ ๊ฒ์ ๋๋ค. ์ฆ, Amazon์ ์๋์ผ๋ก ์๋ฒ๋ฅผ ํ๋ก๋น์ ๋ํ๊ณ ์ํฌ๋ก๋ ์๋ฃ ํ ์ข ๋ฃํฉ๋๋ค.
๋ํ ์ด ์๋น์ค๋ AWS Glue ์คํฌ๋ฆฝํธ์ ๋ํ ์์ ์์ฝ ๋ฐ ํ ์คํธ์ ๊ฐ์ ๋ค์ํ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
๋ค์์ AWS Glue์ ์ฃผ์ ์ด์ ์ค ์ผ๋ถ์ ๋๋ค.
- ์์ ๊ด๋ฆฌํ ETL ์๋น์ค
- ๋น ๋ฐ์ดํฐ ๋ฐ ๋ถ์ ์ํฌ๋ก๋์ฉ์ผ๋ก ์ค๊ณ
- ETL ์ํฌ๋ก๋๋ฅผ ๋ ์ฝ๊ฒ ๋ง๋ญ๋๋ค.
- ์ํฌ๋ก๋๋ฅผ ์ํด ์๋ฒ๋ฅผ ์๋์ผ๋ก ํ๋ก๋น์ ๋ํ๊ณ ์ข ๋ฃํฉ๋๋ค.
์ ํ ๊ฐ์
๊ฒฐ๋ก ์ ์ผ๋ก ETL(์ถ์ถ, ๋ณํ, ๋ก๋) ๋๊ตฌ๋ ๋ชจ๋ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์กฐ์ง์ ํ์์ ์ด๋ฉฐ ๋ชจ๋ ์ ๋ณด์ ๋ํ ์ค์ ์ง์ค์ ์ ์ฅ์๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ด๋ฌํ ๋๊ตฌ๋ ๋ฐ์ดํฐ ํ์ง, ์ผ๊ด์ฑ ๋ฐ ๋ถ์ ์๋๋ฅผ ํฅ์์์ผ ๋ฐ์ดํฐ๋ฅผ ํจ๊ณผ์ ์ผ๋ก ํ์ฉํ๋ ค๋ ๊ธฐ์ ์ ์์ด์๋ ์ ๋ ๋๊ตฌ์ ๋๋ค. ETL ๋๊ตฌ๋ ๋ค์ํ ์์ค์์ ๋ฐ์ดํฐ๋ฅผ ์ถ์ถํ๊ณ ๊ท์ ์ค์ ํ์ค์ ๋ง๊ฒ ๋ณํํ ํ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๋ก๋ํ์ฌ ๋ฐ์ดํฐ ๊ด๋ฆฌ๋ฅผ ๋จ์ํํฉ๋๋ค. ๋ค์ํ ์ต์ ์ ์ฌ์ฉํ ์ ์์ผ๋ฏ๋ก ์กฐ์ง์ ํน์ ์๊ตฌ ์ฌํญ์ ๊ฐ์ฅ ์ ํฉํ ๋๊ตฌ๋ฅผ ์ ํํ์ฌ ์ํํ ํตํฉ, ํฅ์๋ ์์ฌ ๊ฒฐ์ ๋ฐ ์ต์ ํ๋ ์ํฌํ๋ก๋ฅผ ๋ณด์ฅํ ์ ์์ต๋๋ค. ๊ณ ํ์ง ๋ฐ์ดํฐ ๊ด๋ฆฌ ์๋ฃจ์ ์ ๋ํ ์์๊ฐ ์ฆ๊ฐํจ์ ๋ฐ๋ผ ETL ๋๊ตฌ๋ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์ ๋ต์ ์ฑ๊ณต์ ๊ณ์ํด์ ์ค์ํ ์ญํ ์ ํ ๊ฒ์ ๋๋ค.