Rescale ๋ฏธํŒ… ์˜ˆ์•ฝ

10๊ฐ€์ง€ ์ตœ๊ณ ์˜ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋„๊ตฌ(2026๋…„ XNUMX์›”)

๋ฒ ์ŠคํŠธ

10๊ฐ€์ง€ ์ตœ๊ณ ์˜ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋„๊ตฌ(2026๋…„ XNUMX์›”)

mm

Unite.AI๋Š” ์—„๊ฒฉํ•œ ํŽธ์ง‘ ๊ธฐ์ค€์„ ์ค€์ˆ˜ํ•˜๊ธฐ ์œ„ํ•ด ์ตœ์„ ์„ ๋‹คํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ท€ํ•˜๊ฐ€ ๋‹น์‚ฌ๊ฐ€ ๋ฆฌ๋ทฐํ•œ ์ œํ’ˆ์— ๋Œ€ํ•œ ๋งํฌ๋ฅผ ํด๋ฆญํ•˜๋ฉด ๋‹น์‚ฌ๋Š” ๋ณด์ƒ์„ ๋ฐ›์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์šฐ๋ฆฌ์˜ ๊ณ„์—ด์‚ฌ ๊ณต๊ฐœ.

ํ˜„๋Œ€ ๋””์ง€ํ„ธ ์‹œ๋Œ€์— ๋ฐ์ดํ„ฐ๋Š” ์ข…์ข… ์„์œ ์— ๋น„์œ ๋ฉ๋‹ˆ๋‹ค. ์„์œ ๋Š” ์ •์ œ๋˜๋ฉด ํ˜์‹ ์„ ์ฃผ๋„ํ•˜๊ณ  ์šด์˜์„ ๊ฐ„์†Œํ™”ํ•˜๋ฉฐ ์˜์‚ฌ๊ฒฐ์ • ํ”„๋กœ์„ธ์Šค๋ฅผ ๊ฐ•ํ™”ํ•  ์ˆ˜ ์žˆ๋Š” ๊ท€์ค‘ํ•œ ์ž์›์ž…๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜๊ณ  ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ํ†ต์ฐฐ๋ ฅ์œผ๋กœ ๋ณ€ํ™˜ํ•˜๋ ค๋ฉด ๋จผ์ € ์ˆ˜๋งŽ์€ ํ”Œ๋žซํผ, ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋ฐ ์‹œ์Šคํ…œ์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ์†Œ์‹ฑํ•˜๊ณ  ์ถ”์ถœํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ๊ฐ€ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋„๊ตฌ๊ฐ€ ์ž‘๋™ํ•˜๋Š” ๊ณณ์ž…๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ์ถ”์ถœ์ด๋ž€?

๋ฐ์ดํ„ฐ ์ถ”์ถœ์€ ์ฒ˜๋ฆฌ ๋ฐ ๋ถ„์„์„ ์œ„ํ•ด ๋‹ค์–‘ํ•œ ์†Œ์Šค์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ณ  ๊ฒ€์ƒ‰ํ•˜๋Š” ํ”„๋กœ์„ธ์Šค์ž…๋‹ˆ๋‹ค. ์ด๋Š” ETL(์ถ”์ถœ, ๋ณ€ํ™˜, ๋กœ๋“œ)์ด๋ผ๋Š” ๋” ํฐ ํ”„๋กœ์„ธ์Šค์˜ ์ฒซ ๋‹จ๊ณ„์ด๋ฉฐ, ๋ฐ์ดํ„ฐ๋ฅผ ๋Œ์–ด์˜ค๋Š”(์ถ”์ถœ), ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ํ˜•์‹์œผ๋กœ ๋ณ€ํ™˜ํ•˜๋Š”(๋ณ€ํ™˜), ๊ทธ๋ฆฌ๊ณ  ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋‚˜ ๋ฐ์ดํ„ฐ์›จ์–ดํ•˜์šฐ์Šค์— ๋กœ๋“œํ•˜๋Š”(๋กœ๋“œ) ๊ณผ์ •์„ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ถ”์ถœ์˜ ์ฃผ์š” ๋ชฉ์ ์€ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค, ํ”Œ๋žซ ํŒŒ์ผ, ์ด๋ฉ”์ผ, ์›น ํŽ˜์ด์ง€ ๋“ฑ ์–ด๋–ค ํ˜•ํƒœ๋“  ์†Œ์Šค์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ํ™•๋ณดํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ๊ฐ€ ์ง€์†์ ์œผ๋กœ ์ƒ์„ฑ๋˜๋Š” ์‹œ๋Œ€์— ์ถ”์ถœ ๋„๊ตฌ๋Š” ๋ฐฉ๋Œ€ํ•œ ์–‘์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๋น ๋ฅด๊ฒŒ ์ˆ˜์ง‘ํ•˜๊ณ  ์ฒด๊ณ„์ ์œผ๋กœ ์ •๋ฆฌํ•˜๋Š” ๋ฐ ์ค‘์ถ”์ ์ธ ์—ญํ• ์„ ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ตฌ์กฐํ™”๋œ ๋ฐ์ดํ„ฐ๋Š” ์ดํ›„ ๋น„์ฆˆ๋‹ˆ์Šค ์ธํ…”๋ฆฌ์ „์Šค ๋ฐ ๋ถ„์„์—์„œ ๊ธฐ๊ณ„ ํ•™์Šต ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ์ด๋ฅด๊ธฐ๊นŒ์ง€ ๋‹ค์–‘ํ•œ ๋ชฉ์ ์œผ๋กœ ์‚ฌ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ์ถ”์ถœ์ด ๊ธฐ์—…์— ์ค‘์š”ํ•œ ์ด์œ ๋Š” ๋ฌด์—‡์ž…๋‹ˆ๊นŒ?

๊ธฐ์—…์ด ๊ฒฝ์Ÿ๋ ฅ์„ ์œ ์ง€ํ•˜๋ ค๋ฉด ๋ฐ์ดํ„ฐ์˜ ํž˜์„ ํ™œ์šฉํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ถ”์ถœ์ด ๊ทธํ† ๋ก ์ค‘์š”ํ•œ ์ด์œ ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  1. ์ •๋ณด์— ์ž…๊ฐํ•œ ์˜์‚ฌ ๊ฒฐ์ •: ์ •ํ™•ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ด ๊ธฐ์—…์€ ์ •๋ณด์— ์ž…๊ฐํ•œ ๊ฒฐ์ •์„ ๋‚ด๋ฆฌ๊ณ , ์‹œ์žฅ ๋™ํ–ฅ์„ ์˜ˆ์ธกํ•˜๊ณ , ์ž ์žฌ์ ์ธ ์„ฑ์žฅ ๋˜๋Š” ๊ด€์‹ฌ ์˜์—ญ์„ ์‹๋ณ„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  2. ์šด์˜ ํšจ์œจ์„ฑ: ํšจ๊ณผ์ ์ธ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๊ธฐ์—…์€ ์ˆ˜๋™ ํ”„๋กœ์„ธ์Šค๋ฅผ ์ž๋™ํ™”ํ•˜๊ณ  ์‹œ๊ฐ„์„ ์ ˆ์•ฝํ•˜๋ฉฐ ์˜ค๋ฅ˜ ๊ฐ€๋Šฅ์„ฑ์„ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  3. ๊ณ ๊ฐ ์ธ์‚ฌ์ดํŠธ: ๊ณ ๊ฐ์˜ ํ–‰๋™๊ณผ ์„ ํ˜ธ๋„๋ฅผ ์ดํ•ดํ•˜๋Š” ๊ฒƒ์€ ๋งˆ์ผ€ํŒ… ์ „๋žต์˜ ํ•ต์‹ฌ์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ถ”์ถœ์€ ์ƒ์„ธํ•œ ๊ณ ๊ฐ ํ”„๋กœํ•„์„ ๊ตฌ์ถ•ํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋˜๋Š” ๊ด€๋ จ ๋ฐ์ดํ„ฐ ํฌ์ธํŠธ๋ฅผ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ์ถ”์ถœ์˜ ์ค‘์š”์„ฑ๊ณผ ๋ณต์žก์„ฑ์„ ๋”์šฑ ๋ช…ํ™•ํ•˜๊ฒŒ ์ดํ•ดํ•œ ํ›„, ์ด ํ”„๋กœ์„ธ์Šค๋ฅผ ์›ํ™œํ•˜๊ณ  ํšจ์œจ์ ์œผ๋กœ ๋งŒ๋“ค์–ด ์ฃผ๋Š” ์ตœ๊ณ ์˜ ๋„๊ตฌ๋“ค์„ ์‚ดํŽด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ์†Œ๊ทœ๋ชจ ๊ธฐ์—…์ด๋“  ๋Œ€๊ทœ๋ชจ ๊ธฐ์—…์ด๋“ , ๊ท€์‚ฌ์˜ ๊ณ ์œ ํ•œ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ์š”๊ตฌ ์‚ฌํ•ญ์— ๋งž๋Š” ๋งž์ถคํ˜• ์†”๋ฃจ์…˜์ด ์žˆ์Šต๋‹ˆ๋‹ค.

1. Browse AI

Browse AI๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ œํ’ˆ ๋ชฉ๋ก์„ ์ถ”์ถœํ•˜๋Š” ๋กœ๋ด‡ ๊ตฌ์ถ•

Browse AI๋Š” ๊ฐœ์ธ๊ณผ ๊ธฐ์—…์ด ์ฝ”๋”ฉ ๊ธฐ์ˆ  ์—†์ด๋„ ๋ชจ๋“  ์›น์‚ฌ์ดํŠธ์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๊ณ  ๋ชจ๋‹ˆํ„ฐ๋งํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ„์†Œํ™”๋œ ์†”๋ฃจ์…˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ด ํ”Œ๋žซํผ์„ ํ†ตํ•ด ์‚ฌ์šฉ์ž๋Š” 2๋ถ„ ์•ˆ์— ๋กœ๋ด‡์„ ํ›ˆ๋ จ์‹œ์ผœ ์›น์‚ฌ์ดํŠธ์˜ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋ฐ ๋ณ€๊ฒฝ ์‚ฌํ•ญ ๋ชจ๋‹ˆํ„ฐ๋ง๊ณผ ๊ฐ™์€ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž๋Š” ๋‹ค์–‘ํ•œ ์›น์‚ฌ์ดํŠธ์—์„œ ์ถ”์ถœํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ž๋™์œผ๋กœ ์ฑ„์šฐ๋Š” ์Šคํ”„๋ ˆ๋“œ์‹œํŠธ๋ฅผ ๋งŒ๋“ค๊ณ , ๋ฐ์ดํ„ฐ ์ถ”์ถœ ์ผ์ •์„ ์„ค์ •ํ•˜๊ณ , ๋ณ€๊ฒฝ ์‚ฌํ•ญ์— ๋Œ€ํ•œ ์•Œ๋ฆผ์„ ๋ฐ›์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ด ์„œ๋น„์Šค๋Š” ์ผ๋ฐ˜์ ์ธ ์‚ฌ์šฉ ์‚ฌ๋ก€์— ๋งž๊ฒŒ ์‚ฌ์ „ ๊ตฌ์ถ•๋œ ๋กœ๋ด‡์„ ์ œ๊ณตํ•˜๋ฏ€๋กœ ์‚ฌ์šฉ์ž๊ฐ€ ์ฆ‰์‹œ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Google Sheets, Airtable, Zapier ๋“ฑ๊ณผ ๊ฐ™์€ ์ˆ˜๋งŽ์€ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜๊ณผ์˜ ํ†ตํ•ฉ์„ ์ง€์›ํ•˜์—ฌ ์›Œํฌํ”Œ๋กœ ์ž๋™ํ™”๋ฅผ ์œ„ํ•œ ์œ ํ‹ธ๋ฆฌํ‹ฐ๋ฅผ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.

์ฃผ์š” ๊ธฐ๋Šฅ์—๋Š” ๊ตฌ์กฐํ™”๋œ ๋ฐ์ดํ„ฐ ์Šคํฌ๋žฉ, ์—ฌ๋Ÿฌ ๋กœ๋ด‡์˜ ๋™์‹œ ์‹คํ–‰, ์‚ฌ์šฉ์ž ์ƒํ˜ธ ์ž‘์šฉ ์—๋ฎฌ๋ ˆ์ด์…˜, ์œ„์น˜ ๋ฐ ์ผ์ •์— ๋”ฐ๋ฅธ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋“ฑ์ด ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ํŽ˜์ด์ง€ ๋งค๊น€, ์Šคํฌ๋กค, ๋ณด์•ˆ ๋ฌธ์ž ํ•ด๊ฒฐ๊ณผ ๊ฐ™์€ ๋ณต์žกํ•œ ์ž‘์—…๋„ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋กœ๋ด‡์€ ํ˜„์žฅ ๋ ˆ์ด์•„์›ƒ์˜ ๋ณ€ํ™”์— โ€‹โ€‹์ž๋™์œผ๋กœ ์ ์‘ํ•˜์—ฌ ์ง€์†์ ์ธ ๋ฐ์ดํ„ฐ ์ •ํ™•์„ฑ์„ ๋ณด์žฅํ•ฉ๋‹ˆ๋‹ค.

Browse AI๋Š” Amazon, Airbnb, LinkedIn ๋“ฑ๊ณผ ๊ฐ™์€ ๋‹ค์–‘ํ•œ ํ”Œ๋žซํผ์—์„œ ์ž๋™ํ™”, ๊ฒฝ์Ÿ ์ธํ…”๋ฆฌ์ „์Šค, ์ „์ž์ƒ๊ฑฐ๋ž˜ ๋ชจ๋‹ˆํ„ฐ๋ง ๋“ฑ์„ ํฌํ•จํ•œ ๊ด‘๋ฒ”์œ„ํ•œ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ์‚ฌ์šฉ์ž๋Š” ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ๊ฐ€๊ฒฉ์œผ๋กœ ๋ฌด๋ฃŒ๋กœ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋ฐ ๋ชจ๋‹ˆํ„ฐ๋ง ์š”๊ตฌ ์‚ฌํ•ญ์— ๋งž๋Š” ๋‹ค์šฉ๋„์˜ ๋น„์šฉ ํšจ์œจ์ ์ธ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

  • Browse AI๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ์ฝ”๋”ฉ ์—†์ด ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋ฐ ๋ชจ๋‹ˆํ„ฐ๋ง์„ ์œ„ํ•ด ๋กœ๋ด‡์„ ์‰ฝ๊ฒŒ ํ›ˆ๋ จํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ ๋‹จ 2๋ถ„ ๋งŒ์— ์„ค์ •์„ ์™„๋ฃŒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์ด๋ฅผ ํ†ตํ•ด ์ž๋™์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ž๋™์œผ๋กœ ์ฑ„์šฐ๋Š” ์Šคํ”„๋ ˆ๋“œ์‹œํŠธ๋กœ ์ถ”์ถœํ•˜๊ณ  ๋ณ€๊ฒฝ ์•Œ๋ฆผ์„ ํ†ตํ•ด ์˜ˆ์•ฝ๋œ ๋ชจ๋‹ˆํ„ฐ๋ง์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์ด ํ”Œ๋žซํผ์€ Google Sheets, Airtable ๋ฐ Zapier์™€ ๊ฐ™์€ ์—ฌ๋Ÿฌ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜๊ณผ์˜ ํ†ตํ•ฉ์„ ์ง€์›ํ•˜์—ฌ ์›Œํฌํ”Œ๋กœ ์ž๋™ํ™”๋ฅผ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.
  • ๊ธฐ๋Šฅ์—๋Š” ํŽ˜์ด์ง€ ๋งค๊น€, ์Šคํฌ๋กค, ๋ณด์•ˆ ๋ฌธ์ž ํ•ด๊ฒฐ, ์‚ฌ์ดํŠธ ๋ ˆ์ด์•„์›ƒ ๋ณ€๊ฒฝ ์ ์‘๊ณผ ๊ฐ™์€ ๋ณต์žกํ•œ ์ž‘์—… ์ฒ˜๋ฆฌ๊ฐ€ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค.
  • ๋ฌด๋ฃŒ ์‹œ์ž‘ ์˜ต์…˜์œผ๋กœ ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ๊ฐ€๊ฒฉ์„ ์ œ๊ณตํ•˜์—ฌ ๊ฒฝ์Ÿ ์ธํ…”๋ฆฌ์ „์Šค, ์ „์ž์ƒ๊ฑฐ๋ž˜ ๋ชจ๋‹ˆํ„ฐ๋ง, ๋‹ค์–‘ํ•œ ํ”Œ๋žซํผ ์ „๋ฐ˜์˜ ์ž๋™ํ™” ๋“ฑ ๋‹ค์–‘ํ•œ ์š”๊ตฌ ์‚ฌํ•ญ์„ ์ถฉ์กฑํ•ฉ๋‹ˆ๋‹ค.

Visit Browse AI โ†’

2. Apify

Apify API๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๋ฐฉ์‹์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฒ€์ƒ‰ํ•˜๋Š” ๋ฐฉ๋ฒ•

Apify๋Š” ๊ฐœ๋ฐœ์ž๊ฐ€ ์˜คํ”ˆ ์†Œ์Šค ์›น ์Šคํฌ๋ž˜ํ•‘ ๋ฐ ๋ธŒ๋ผ์šฐ์ € ์ž๋™ํ™” ๋„๊ตฌ๋ฅผ ๊ตฌ์ถ•, ๋ฐฐํฌ ๋ฐ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๋Š” ํ”Œ๋žซํผ์ž…๋‹ˆ๋‹ค. ์•ˆ์ •์ ์ธ ์Šคํฌ๋ ˆ์ดํผ ๊ตฌ์ถ•์„ ์œ„ํ•œ ์ธ๊ธฐ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ Crawlee๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋ฐ์ดํ„ฐ ์ถ”์ถœ์ด ๋‹จ์ˆœํ™”๋ฉ๋‹ˆ๋‹ค.

์ด๋“ค์€ ์›น ์Šคํฌ๋ž˜ํ•‘ ๋˜๋Š” ์ž๋™ํ™” ํ”„๋กœ์ ํŠธ๋ฅผ ์œ„ํ•ด ์ด๋ฏธ ๋งŒ๋“ค์–ด์ง„ ์ˆ˜๋ฐฑ ๊ฐ€์ง€ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ํ•œ ๊ฐ€์ง€ ์˜ˆ๋กœ๋Š” ์ž„์˜์˜ ์›น ํŽ˜์ด์ง€๋ฅผ ํฌ๋กค๋งํ•˜๊ณ  ์›น ํŽ˜์ด์ง€์—์„œ ๊ตฌ์กฐํ™”๋œ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๊ธฐ ์œ„ํ•œ ์ผ๋ฐ˜์ ์ด๊ณ  ์‚ฌ์šฉํ•˜๊ธฐ ์‰ฌ์šด ์•กํ„ฐ์ธ Web Scraper๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. Web Scraper๋Š” ์‚ฌ์šฉ์ž ์ธํ„ฐํŽ˜์ด์Šค์—์„œ ์ˆ˜๋™์œผ๋กœ ๊ตฌ์„ฑํ•˜๊ณ  ์‹คํ–‰ํ•˜๊ฑฐ๋‚˜ API๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๋ฐฉ์‹์œผ๋กœ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ถ”์ถœ๋œ ๋ฐ์ดํ„ฐ๋Š” JSON, XML, CSV ๋“ฑ ๋‹ค์–‘ํ•œ ํ˜•์‹์œผ๋กœ ๋‚ด๋ณด๋‚ผ ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ์„ธํŠธ์— ์ €์žฅ๋ฉ๋‹ˆ๋‹ค.

๋˜ ๋‹ค๋ฅธ ์˜ˆ๋กœ Google Maps Scraper๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๋„๊ตฌ๋Š” Google Maps ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๊ธฐ๋Šฅ์„ ๊ณต์‹ Google Places API์˜ ํ•œ๊ณ„๋ฅผ ๋„˜์–ด ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค. ๋” ๋น ๋ฅธ ์†๋„๋ฅผ ์ œ๊ณตํ•˜๊ณ  ์ด๋ฆ„, ์—ฐ๋ฝ์ฒ˜ ์ •๋ณด, ๋ฆฌ๋ทฐ, ์ธ๊ธฐ ์‹œ๊ฐ„๋Œ€, ํ‰์ , ์œ„์น˜ ์ •๋ณด ๋“ฑ ๋‹ค์–‘ํ•œ ์ •๋ณด๋ฅผ ์Šคํฌ๋ž˜ํ•‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฒ€์ƒ‰์–ด, ์œ„์น˜, ์ขŒํ‘œ ๋˜๋Š” URL์„ ๊ธฐ์ค€์œผ๋กœ ์Šคํฌ๋ž˜ํ•‘ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์—ฌ๋Ÿฌ ์žฅ์†Œ, ๋„์‹œ ๋˜๋Š” ์ „์ฒด ์ง€์—ญ์„ ํƒ€๊ฒŸํŒ…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ธฐ๋Šฅ:

  • ์˜คํ”ˆ ์†Œ์Šค ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๊ฐœ๋ฐœ
  • ์„ธ๊ณ„ ์ตœ๊ณ ์˜ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ํŒ€์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค
  • ์ˆ˜๋ฐฑ ๊ฐ€์ง€์˜ ๊ธฐ์„ฑํ’ˆ ์Šคํฌ๋ ˆ์ดํผ ๋„๊ตฌ
  • Youtube/Amazon/Twitter/Google Maps ๋“ฑ์—์„œ ์ถ”์ถœํ•˜์„ธ์š”.

Visit Apify โ†’

3. Octoparse

์ฝ”๋”ฉ ๊ธฐ์ˆ ์ด ์—†๋Š” ์ „๋ฌธ๊ฐ€๋“  ์›น ๋ฐ์ดํ„ฐ๊ฐ€ ์ ˆ์‹คํžˆ ํ•„์š”ํ•œ ๊ธฐ์—…์ด๋“ , Octoparse๊ฐ€ ๋„์™€๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค. ์ด ์ตœ์ฒจ๋‹จ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋„๊ตฌ๋Š” ๋ฐฉ๋Œ€ํ•œ ์›น ํŽ˜์ด์ง€๋ฅผ ์ฒด๊ณ„์ ์œผ๋กœ ๊ตฌ์กฐํ™”๋œ ๋ฐ์ดํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ๋ณต์žกํ•œ ์ž‘์—…์„ ๊ฐ„์†Œํ™”ํ•ฉ๋‹ˆ๋‹ค. ๋งˆ์ผ€ํŒ… ์ธ์‚ฌ์ดํŠธ, ๋ฆฌ๋“œ ์ƒ์„ฑ, ๊ฐ€๊ฒฉ ๋ชจ๋‹ˆํ„ฐ๋ง ๋“ฑ ๋‹ค์–‘ํ•œ ์šฉ๋„๋กœ ํŠน๋ณ„ํžˆ ์„ค๊ณ„๋˜์–ด ํƒ์›”ํ•œ ๋‹ค์žฌ๋‹ค๋Šฅํ•จ์„ ์ž๋ž‘ํ•ฉ๋‹ˆ๋‹ค. ํŽ˜์ด์Šค๋ถ, ํŠธ์œ„ํ„ฐ์™€ ๊ฐ™์€ ์†Œ์…œ ๋ฏธ๋””์–ด ํ”Œ๋žซํผ๋ถ€ํ„ฐ ์•„๋งˆ์กด, ์ด๋ฒ ์ด์™€ ๊ฐ™์€ ๋Œ€๊ทœ๋ชจ ๋งˆ์ผ“ํ”Œ๋ ˆ์ด์Šค๊นŒ์ง€, Octoparse๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์›ํ™œํ•˜๊ฒŒ ์ˆ˜์ง‘ํ•ฉ๋‹ˆ๋‹ค.

๊ธฐ๋Šฅ:

  • ์‚ฌ์šฉํ•˜๊ธฐ ์‰ฌ์šด : ๊ฐ„๋‹จํ•œ ํฌ์ธํŠธ ์•ค ํด๋ฆญ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ์ธํ„ฐํŽ˜์ด์Šค.
  • ๊ธฐ์ˆ  ์ „๋ฌธ ์ง€์‹์ด ํ•„์š”ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ฝ”๋“œ ์—†๋Š” ์ž‘์—….
  • ํฌ๊ด„์ ์ธ ์ถ”์ถœ: ํ…์ŠคํŠธ, ๋งํฌ, ์ด๋ฏธ์ง€ URL ๋“ฑ์„ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.
  • ๋‚ด๋ณด๋‚ด๊ธฐ ์˜ต์…˜: ๋ฐ์ดํ„ฐ๋Š” CSV, Excel, API๋กœ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•˜๊ฑฐ๋‚˜ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์— ์ง์ ‘ ์ €์žฅํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์–ด๋””์„œ๋‚˜ ์•ก์„ธ์Šค: ํด๋ผ์šฐ๋“œ ๊ธฐ๋ฐ˜ ๊ธฐ๋Šฅ.
  • ์ž๋™ํ™” : ์ž‘์—…์„ ์˜ˆ์•ฝํ•˜๊ณ  ์ž๋™ํ™”๋œ ๋ฐ์ดํ„ฐ ๊ฐ€์ ธ์˜ค๊ธฐ๋ฅผ ์ฆ๊ฒจ๋ณด์„ธ์š”.
  • ์•ˆ์ „ํ•˜๊ณ  ์•ˆ์ „ํ•œ : ์ฐจ๋‹จ์„ ๋ฐฉ์ง€ํ•˜๊ธฐ ์œ„ํ•œ ์ž๋™ IP ์ˆœํ™˜ ๊ธฐ๋Šฅ์ด ์žˆ์Šต๋‹ˆ๋‹ค.

Visit Octoparse โ†’

4. ๋กœ์„ฌ

Rossum์€ AI ๊ธฐ๋ฐ˜ ์ ‘๊ทผ ๋ฐฉ์‹์œผ๋กœ ๋ฌธ์„œ ์ฒ˜๋ฆฌ์— ํ˜๋ช…์„ ์ผ์œผ์ผฐ์Šต๋‹ˆ๋‹ค. ๋‹จ์ˆœํžˆ ์Šค์บ”ํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ ์‹œ์Šคํ…œ์ด ์ธ๊ฐ„์˜ ์ธ์ง€๋ฅผ ๋ชจ๋ฐฉํ•˜์—ฌ ์ง€๋Šฅ์ ์œผ๋กœ ๋ฌธ์„œ๋ฅผ ์ฝ๊ณ  ์ดํ•ดํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ๋ฌธ์„œ ์Šคํƒ€์ผ์— ๋งž๊ฒŒ ์กฐ์ •ํ•˜์—ฌ ์Šค์บ”ํ•œ ์ด๋ฏธ์ง€์—์„œ ํ…์ŠคํŠธ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ์ถ”์ถœํ•˜์—ฌ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ๋น„์ฆˆ๋‹ˆ์Šค ๋ฐ์ดํ„ฐ๋กœ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์˜ค๋ฅ˜์™€ ์บก์ฒ˜ ์‹œ๊ฐ„์„ ํฌ๊ฒŒ ์ค„์—ฌ Rossum์€ ํšจ์œจ์„ฑ๊ณผ ์ •ํ™•์„ฑ์˜ ์กฐํ™”๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๊ธฐ๋Šฅ:

  • ์ •๋„: ํ‰๊ท  96%์˜ ์ •ํ™•๋„๋ฅผ ์ž๋ž‘ํ•ฉ๋‹ˆ๋‹ค.
  • ํšจ์œจ์„ฑ : ๋ฐ์ดํ„ฐ ์ถ”์ถœ ํ”„๋กœ์„ธ์Šค์—์„œ ์ตœ๋Œ€ 82%์˜ ์‹œ๊ฐ„์„ ์ ˆ์•ฝํ•ฉ๋‹ˆ๋‹ค.
  • ์œ ์—ฐ์„ฑ: ํ…œํ”Œ๋ฆฟ์ด ํ•„์š” ์—†์ด ๋ฌธ์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์บก์ฒ˜ํ•ฉ๋‹ˆ๋‹ค.
  • ์‚ฌ์šฉ์ž ์ค‘์‹ฌ: ๋กœ์šฐ์ฝ”๋“œ ๋ฐ ์‚ฌ์šฉ์ž ์นœํ™”์ ์ธ UI๊ฐ€ ํŠน์ง•์ž…๋‹ˆ๋‹ค.
  • ์ ‘๊ทผ์„ฑ : ๊ธ€๋กœ๋ฒŒ ์•ก์„ธ์Šค๋ฅผ ์œ„ํ•œ ํด๋ผ์šฐ๋“œ ๋„ค์ดํ‹ฐ๋ธŒ ์†”๋ฃจ์…˜์ž…๋‹ˆ๋‹ค.

๋กœ์„ฌ ๋ฐฉ๋ฌธํ•˜๊ธฐ โ†’

5. ํ†ตํ•ฉ

Integrate.io์˜ ์˜ฌ์ธ์› ํ”Œ๋žซํผ์€ ๊ธฐ์—…์ด ํ†ตํ•ฉ๋œ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ตฌ์ถ•ํ•˜๊ณ , ๋ถ„์‚ฐ๋œ ๋ฐ์ดํ„ฐ ๊ฐ€๋‹ฅ์„ ํ•˜๋‚˜์˜ ํ†ต์ฐฐ๋ ฅ ์žˆ๋Š” ํƒœํ”ผ์ŠคํŠธ๋ฆฌ๋กœ ์—ฎ์–ด๋‚ผ ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ETL ๋„๊ตฌ ๋ถ„์•ผ์—์„œ ๋…๋ณด์ ์ธ ์œ„์น˜๋ฅผ ์ ํ•˜๋Š” Integrate.io๋Š” ์‚ฌ์šฉ์ž ์ค‘์‹ฌ์ ์ธ ๋””์ž์ธ์œผ๋กœ ๋น›์„ ๋ฐœํ•ฉ๋‹ˆ๋‹ค. ๋“œ๋ž˜๊ทธ ์•ค ๋“œ๋กญ ์ธํ„ฐํŽ˜์ด์Šค์™€ ๋‹ค์–‘ํ•œ ์ปค๋„ฅํ„ฐ๋ฅผ ํ†ตํ•ด ๊ธฐ์ˆ  ์ง€์‹์ด ์—†๋Š” ์‚ฌ์šฉ์ž๋„ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์„ ์‹ ์†ํ•˜๊ฒŒ ๊ตฌ์ถ•ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ๋‚ด ๋ฐ์ดํ„ฐ ์ถ”์ถœ์„ ์œ„ํ•œ ๊ณ ๊ธ‰ API์™€ ์›นํ›… ํ™œ์šฉ๋ถ€ํ„ฐ ์—ญ๋ฐฉํ–ฅ ETL ๊ธฐ๋Šฅ ์ œ๊ณต๊นŒ์ง€, Integrate.io๋Š” ๋‹จ์ˆœํ•œ ํ†ตํ•ฉ ํ”Œ๋žซํผ์ด ์•„๋‹Œ, ํฌ๊ด„์ ์ธ ๋ฐ์ดํ„ฐ ๊ด€๋ฆฌ ์†”๋ฃจ์…˜์ž…๋‹ˆ๋‹ค.

๊ธฐ๋Šฅ:

  • ๋‹ค๋ฉด์ ์ธ ETL: ELT ๋ฐ CDC๋กœ ๋ณด์™„๋œ ETL ๋ฐ ์—ญ๋ฐฉํ–ฅ ETL ๊ธฐ๋Šฅ์„ ๋ชจ๋‘ ๊ฐ–์ถ”๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์†์‰ฌ์šด ํ†ตํ•ฉ : ์ˆ˜๋ฐฑ ๊ฐ€์ง€ ํ†ตํ•ฉ์„ ํ†ตํ•œ ๋…ธ์ฝ”๋“œ/๋กœ์šฐ์ฝ”๋“œ ํŒŒ์ดํ”„๋ผ์ธ ๊ฐœ๋ฐœ.
  • ๊ฐ•๋ ฅํ•œ ๋ฐ์ดํ„ฐ ์ถ”์ถœ: ๋‹ค์–‘ํ•œ ์†Œ์Šค์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๊ธฐ ์œ„ํ•œ ๊ณ ๊ธ‰ API, ํ’๋ถ€ํ•œ ํ‘œํ˜„ ์–ธ์–ด ๋ฐ ์›นํ›….
  • ๋งž์ถคํ˜• ๋ณ€ํ™˜: ์ฐฝ๊ณ , ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค, ์šด์˜ ์‹œ์Šคํ…œ ๋“ฑ ๋‹ค์–‘ํ•œ ๋Œ€์ƒ์„ ์œ„ํ•œ ๋กœ์šฐ ์ฝ”๋“œ ๋ฐ์ดํ„ฐ ๋ณ€ํ™˜.
  • ๋ฐ์ดํ„ฐ ๊ด€์ฐฐ ๊ฐ€๋Šฅ์„ฑ: XNUMX๊ฐ€์ง€ ๊ฐœ๋ณ„ ์•Œ๋ฆผ ์œ ํ˜• ์ค‘ ์ตœ๋Œ€ XNUMX๊ฐœ์˜ ๋ฌด๋ฃŒ ์•Œ๋ฆผ์œผ๋กœ ์ตœ์‹  ์ •๋ณด๋ฅผ ๋ฐ›์•„๋ณด์„ธ์š”.

ํ†ตํ•ฉ ๋ฐฉ๋ฌธ โ†’

6. ๋ฐ์ดํ„ฐ ๋งˆ์ด๋„ˆ

์›น ๋ฐ์ดํ„ฐ ์ถ”์ถœ์„ ๊ฐœ์„ ํ•˜๋Š” Chrome ํ™•์žฅ ํ”„๋กœ๊ทธ๋žจ์ธ Data Miner๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ฐ์ดํ„ฐ ์Šคํฌ๋ž˜ํ•‘ ํ”„๋กœ์„ธ์Šค๋ฅผ ๊ฐ„์†Œํ™”ํ•˜์„ธ์š”. ์ด์ œ ์›นํŽ˜์ด์ง€์—์„œ CSV, Excel ํŒŒ์ผ ๋˜๋Š” Google ์Šคํ”„๋ ˆ๋“œ์‹œํŠธ๋กœ ์ง์ ‘ ์ •๋ณด๋ฅผ ์‰ฝ๊ฒŒ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๋„๊ตฌ๋Š” ๊ธฐ์กด์˜ ์ˆ˜๋™ ๋ฐ์ดํ„ฐ ์ž…๋ ฅ์˜ ๋ฒˆ๊ฑฐ๋กœ์›€์„ ์—†์• ๊ณ  ํšจ์œจ์ ์ด๊ณ  ์ •ํ™•ํ•œ ๋ฐ์ดํ„ฐ ์ •๋ ฌ์„ ๋ณด์žฅํ•œ๋‹ค๋Š” ์ ์—์„œ ๋‹๋ณด์ž…๋‹ˆ๋‹ค.

๊ธฐ๋Šฅ:

  • ์ง์ ‘ ๋ฐ์ดํ„ฐ ์Šคํฌ๋ž˜ํ•‘: URL์—์„œ ๋ฐ”๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.
  • ๋งž์ถค์„ค์ •์œผ๋กœ ๋“ค์–ด๊ฐ„๋‹ค: ํŠน์ • ์š”๊ตฌ ์‚ฌํ•ญ์— ๋งž๊ฒŒ HTML ์ง€์นจ์„ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค.
  • ๋‹ค๋ชฉ์  ์ถ”์ถœ: ํ…Œ์ด๋ธ”, ๋ชฉ๋ก, ์‹ฌ์ง€์–ด ๋ณต์žกํ•œ ์–‘์‹์—์„œ๋„ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•ฉ๋‹ˆ๋‹ค.
  • ์ž๋™ ์ฑ„์šฐ๊ธฐ ๊ธฐ๋Šฅ: ์›นํŽ˜์ด์ง€์˜ ์–‘์‹์„ ์ž๋™์œผ๋กœ ์ฑ„์›๋‹ˆ๋‹ค.
  • ๋…์ ์  ์ธ ์ ‘๊ทผ: ๋ฐฉํ™”๋ฒฝ์œผ๋กœ ๋ณดํ˜ธ๋˜๊ฑฐ๋‚˜ ๋กœ๊ทธ์ธ์ด ํ•„์š”ํ•œ ํŽ˜์ด์ง€๋ฅผ ์Šคํฌ๋žฉํ•ฉ๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ๋งˆ์ด๋„ˆ ๋ฐฉ๋ฌธ โ†’

7. ์—์–ด ๋ฐ”์ดํŠธ

์˜คํ”ˆ์†Œ์Šค ํ”Œ๋žซํผ์ธ Airbyte๋Š” ELT ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ ์ƒ์„ฑ์˜ ๊ธฐ์ค€์„ ์ƒˆ๋กญ๊ฒŒ ์ •์˜ํ•ฉ๋‹ˆ๋‹ค. 300๊ฐœ ์ด์ƒ์˜ ์˜คํ”ˆ์†Œ์Šค ์ปค๋„ฅํ„ฐ๋กœ ๊ตฌ์„ฑ๋œ ๊ด‘๋ฒ”์œ„ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•  ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ํŠน์ • ์š”๊ตฌ ์‚ฌํ•ญ์— ๋”ฐ๋ผ ์ˆ˜์ •ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ปค๋„ฅํ„ฐ ๊ฐœ๋ฐœ ํ‚คํŠธ๋Š” Airbyte๋ฅผ ์ฐจ๋ณ„ํ™”ํ•˜์—ฌ ์‚ฌ์šฉ์ž๊ฐ€ ๋งž์ถคํ˜• ์ปค๋„ฅํ„ฐ๋ฅผ ์‹ ์†ํ•˜๊ฒŒ ์ œ์ž‘ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ์‹ค์ œ๋กœ ์ด๋Ÿฌํ•œ ์ปค๋„ฅํ„ฐ์˜ ๋ฌด๋ ค 50%๋Š” ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ธฐ์—ฌ๋กœ, ํ”Œ๋žซํผ์˜ ํ˜‘๋ ฅ ์ •์‹ ์„ ์ž˜ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

ํŠน์ง•:

  • ๋‹ค์–‘ํ•œ ELT ์—ญ๋Ÿ‰: ์ง๋ ฌํ™”๋œ JSON ๊ฐœ์ฒด์—์„œ ํ‘œ ํ˜•์‹์˜ ์ •๊ทœํ™”๋œ ๋ ˆ์ฝ”๋“œ๊นŒ์ง€.
  • ์‚ฌ์šฉ์ž ์ •์˜ ๊ฐ€๋Šฅํ•œ ๋ณ€ํ™˜: ๋งž์ถคํ˜• ๋ฐ์ดํ„ฐ ์กฐ์ž‘์„ ์œ„ํ•ด SQL์„ ์‚ฌ์šฉํ•˜๊ฑฐ๋‚˜ dbt์™€ ์›ํ™œํ•˜๊ฒŒ ํ†ตํ•ฉ๋ฉ๋‹ˆ๋‹ค.
  • ํ’๋ถ€ํ•œ ์ปค๋„ฅํ„ฐ: 300๊ฐœ ์ด์ƒ์˜ ์‚ฌ์ „ ์ œ์ž‘๋œ ์ปค๋„ฅํ„ฐ ์ค‘์—์„œ ์„ ํƒํ•˜๊ฑฐ๋‚˜ ์ง์ ‘ ์ œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ ๋ฐฉ์‹: ์ปค๋„ฅํ„ฐ์˜ ์ ˆ๋ฐ˜์€ ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ธฐ์—ฌ๋กœ ์กด์žฌํ•ฉ๋‹ˆ๋‹ค.

์—์–ด๋ฐ”์ดํŠธ ๋ฐฉ๋ฌธํ•˜๊ธฐ โ†’

8. ๋””๋ด‡

Diffbot์€ ๊ตฌ์ฒด์ ์ด๊ณ  ์‹ฌ์ธต์ ์ธ ์›น ๋ฐ์ดํ„ฐ ์ถ”์ถœ์ด ํ•„์š”ํ•œ ๊ธฐ์—…์„ ์œ„ํ•ด ์„ค๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๋น„์ •ํ˜• ์ธํ„ฐ๋„ท ์ •๋ณด๋ฅผ ๊ตฌ์กฐํ™”๋˜๊ณ  ๋งฅ๋ฝ์ด ํ’๋ถ€ํ•œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค. ์ด ์†Œํ”„ํŠธ์›จ์–ด๋Š” ๊ธฐ์‚ฌ, ์ œํ’ˆ ํŽ˜์ด์ง€๋ถ€ํ„ฐ ํฌ๋Ÿผ, ๋‰ด์Šค ์‚ฌ์ดํŠธ๊นŒ์ง€ ๋‹ค์–‘ํ•œ ์ฝ˜ํ…์ธ  ์œ ํ˜•์„ ์Šคํฌ๋ž˜ํ•‘ํ•˜๋Š” ๋ฐ ํƒ์›”ํ•ฉ๋‹ˆ๋‹ค. ๊ฐ•๋ ฅํ•œ API์™€ ๊ธฐ์ˆ  ๋ฆฌ์†Œ์Šค(ํŠนํžˆ ์†Œ์…œ ๋ฏธ๋””์–ด ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘) ๋•๋ถ„์— ๋†’์€ ํ‰๊ฐ€๋ฅผ ๋ฐ›๊ณ  ์žˆ์ง€๋งŒ, ์‹ ๊ทœ ์‚ฌ์šฉ์ž๋Š” ํŠนํžˆ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์ฟผ๋ฆฌ์— ์ต์ˆ™ํ•˜์ง€ ์•Š์€ ๊ฒฝ์šฐ ํ•™์Šต์— ์–ด๋ ค์›€์„ ๊ฒช์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ธฐ๋Šฅ:

  • ๋‹ค์–‘ํ•œ ์ฝ˜ํ…์ธ  ์Šคํฌ๋ž˜ํผ: ๊ธฐ์‚ฌ, ๋‰ด์Šค ์‚ฌ์ดํŠธ, ์ œํ’ˆ ๋ชฉ๋ก ๋“ฑ์—์„œ ์ •๋ณด๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.
  • ๊ฐ•๋ ฅํ•œ API: ๋ณต์žกํ•œ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ์ž‘์—…์— ์ด์ƒ์ ์ž…๋‹ˆ๋‹ค.
  • ์†Œ์…œ ๋ฏธ๋””์–ด ์ถ”์ถœ: Facebook, Twitter, Instagram๊ณผ ๊ฐ™์€ ํ”Œ๋žซํผ์—์„œ ์ธ์‚ฌ์ดํŠธ๋ฅผ ์ถ”์ถœํ•˜๊ธฐ ์œ„ํ•ด ํŠน๋ณ„ํžˆ ์„ค๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค.
  • ํ•™์Šต ๊ณก์„ : Diffbot์„ ๊ทน๋Œ€ํ™”ํ•˜๋ ค๋ฉด ์‚ฌ์šฉ์ž๊ฐ€ ๊ณ ์œ ํ•œ ์ฟผ๋ฆฌ ์–ธ์–ด๋ฅผ ํŒŒ์•…ํ•ด์•ผ ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

Diffbot ๋ฐฉ๋ฌธ โ†’

9. ๋•€

Stitch๋Š” ๋ฐ์ดํ„ฐ ์ถ”์ถœ์„ ๊ฐ„์†Œํ™”ํ•˜๋Š” ๋ฐ ์ค‘์ ์„ ๋‘” ์™„์ „ ๊ด€๋ฆฌํ˜• ETL ์†”๋ฃจ์…˜์œผ๋กœ ๋…๋ณด์ ์ž…๋‹ˆ๋‹ค. 130๊ฐœ ์ด์ƒ์˜ ์†Œ์Šค์™€ ํ˜ธํ™˜๋˜๋Š” Stitch๋Š” ๋ฐ์ดํ„ฐ ๋ณ€ํ™˜๋ณด๋‹ค๋Š” ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋ฐ ๋กœ๋”ฉ์— ์ค‘์ ์„ ๋‘ก๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋‹ค์–‘ํ•œ ์†Œ์Šค์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ค‘์•™์—์„œ ๊ด€๋ฆฌํ•˜๋ ค๋Š” ์ค‘์†Œ๊ธฐ์—…์— ์ด์ƒ์ ์ธ ์„ ํƒ์ž…๋‹ˆ๋‹ค. Stitch์˜ ๋›ฐ์–ด๋‚œ ๊ธฐ๋Šฅ์€ ๊ด‘๋ฒ”์œ„ํ•œ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๊ธฐ๋Šฅ์—๋งŒ ๊ตญํ•œ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž ์นœํ™”์ ์ธ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ํ†ตํ•ด ๋ฐ์ดํ„ฐ ํŒ€์€ ์ƒˆ๋กœ์šด ์†Œ์Šค๋ฅผ ์‹ ์†ํ•˜๊ฒŒ ํ†ตํ•ฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํŠน์ง•:

  • ๊ด‘๋ฒ”์œ„ํ•œ ์†Œ์Šค ํ˜ธํ™˜์„ฑ: 100๊ฐœ ์ด์ƒ์˜ SaaS ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋ฐ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.
  • ํ†ตํ•ฉ ๋ฐ์ดํ„ฐ ์•ก์„ธ์Šค: ์ฃผ์š” ํด๋ผ์šฐ๋“œ ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์›ํ™œํ•˜๊ฒŒ ์ „์†กํ•ฉ๋‹ˆ๋‹ค.
  • ์—„๊ฒฉํ•œ ๋ณด์•ˆ ํ”„๋กœํ† ์ฝœ: SOC 2 ๋ฐ HIPAA ์ง€์นจ์„ ์ค€์ˆ˜ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ณด์•ˆ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ด๋‹: ์ „์ฒด ๋ฐ์ดํ„ฐ ์ „์†ก ํ”„๋กœ์„ธ์Šค๋ฅผ ๋ณดํ˜ธํ•˜๊ธฐ ์œ„ํ•ด SSH ํ„ฐ๋„๋ง์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

์Šคํ‹ฐ์น˜ ๋ฐฉ๋ฌธํ•˜๊ธฐ โ†’

10. ํŒŒ์ด๋ธŒ ํŠธ๋ž€

Fivetran์€ 300๊ฐœ ์ด์ƒ์˜ ๋‚ด์žฅ ์ปค๋„ฅํ„ฐ๋ฅผ ์ž๋ž‘ํ•˜๋ฉฐ ELT ๋ถ„์•ผ์—์„œ ๋…๋ณด์ ์ธ ์ž…์ง€๋ฅผ ๊ตฌ์ถ•ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋Œ€๊ทœ๋ชจ ์กฐ์ง์„ ์œ„ํ•ด ์„ค๊ณ„๋œ Fivetran์€ ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์—์„œ ๋ฐฉ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๋ณต์ œํ•˜๋Š” ๋ฐ ํƒ์›”ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์กด ์ปค๋„ฅํ„ฐ ์™ธ์—๋„ Fivetran์˜ ์œ ์—ฐ์„ฑ ๋•๋ถ„์— ์‚ฌ์šฉ์ž๋Š” ๋งž์ถคํ˜• ๋ฐ์ดํ„ฐ ์ถ”์ถœ์„ ์œ„ํ•œ ์ž์ฒด ํด๋ผ์šฐ๋“œ ํ•จ์ˆ˜๋ฅผ ๊ฐœ๋ฐœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ํ”Œ๋žซํผ์€ AWS Lambda, Azure Functions, Google Cloud Functions์™€ ํ˜ธํ™˜๋ฉ๋‹ˆ๋‹ค.

ํŠน์ง•:

  • ๊ด‘๋ฒ”์œ„ํ•œ ์ปค๋„ฅํ„ฐ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ: ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ์š”๊ตฌ ์‚ฌํ•ญ์— ๋งž๊ฒŒ ์‚ฌ์ „ ๊ตฌ์ถ•๋œ 300๊ฐœ ์ด์ƒ์˜ ์ปค๋„ฅํ„ฐ.
  • ๋งž์ถคํ˜• ๋ฐ์ดํ„ฐ ์ถ”์ถœ: AWS Lambda, Azure Functions, Google Cloud Functions๊นŒ์ง€ ํด๋ผ์šฐ๋“œ ๊ธฐ๋Šฅ์„ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ์ „์ฒด์ ์ธ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ: ์ถ”์ถœ ํ›„ ๋ฐ์ดํ„ฐ๊ฐ€ ๋กœ๋“œ๋œ ๋‹ค์Œ ๋ณ€ํ™˜๋˜์–ด ์™„์ „ํ•œ ๋ฐ์ดํ„ฐ ํ๋ฆ„์„ ๋ณด์žฅํ•ฉ๋‹ˆ๋‹ค.
  • ์ž๋™ํ™”๋œ ๊ธฐ๋Šฅ: ์Šคํ‚ค๋งˆ ๋“œ๋ฆฌํ”„ํŠธ, ์ค‘๋ณต ์ œ๊ฑฐ ๋ฐ ์ •๊ทœํ™”๋ฅผ ์ž๋™์œผ๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.
  • ์šด์˜์ƒ ์ฃผ์˜์‚ฌํ•ญ: ์ถ”๊ฐ€ ์šด์˜ ๋น„์šฉ์ด ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” ๋กœ๋“œ ํ›„ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

Fivetran ๋ฐฉ๋ฌธํ•˜๊ธฐ โ†’

๊ฒฐ๋ก 

์˜ค๋Š˜๋‚  ๋””์ง€ํ„ธ ์‹œ๋Œ€์— ๋ฐ์ดํ„ฐ๋Š” ํ˜์‹ ๊ณผ ํšจ์œจ์„ฑ์„ ์ด‰์ง„ํ•˜๋Š” ์ค‘์š”ํ•œ ์ž์‚ฐ์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ถ”์ถœ ๋„๊ตฌ๋Š” ๋‹ค์–‘ํ•œ ํ”Œ๋žซํผ์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ณ  ์ •๋ฆฌํ•˜๋Š” ๋ฐ ํ•„์ˆ˜์ ์ด๋ฉฐ, ์ด๋ฅผ ํ†ตํ•ด ๊ธฐ์—…์€ ์ •๋ณด์— ๊ธฐ๋ฐ˜ํ•œ ์˜์‚ฌ ๊ฒฐ์ •์„ ๋‚ด๋ฆฌ๊ณ  ์šด์˜์„ ๊ฐ„์†Œํ™”ํ•˜๋ฉฐ ๊ท€์ค‘ํ•œ ๊ณ ๊ฐ ์ธ์‚ฌ์ดํŠธ๋ฅผ ํ™•๋ณดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฌํ•œ ๋„๊ตฌ๋Š” ๋ฐฉ๋Œ€ํ•œ ์–‘์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๋Š” ํ”„๋กœ์„ธ์Šค๋ฅผ ์ž๋™ํ™”ํ•˜์—ฌ ๋น„์ฆˆ๋‹ˆ์Šค ์ธํ…”๋ฆฌ์ „์Šค, ๋ถ„์„ ๋ฐ ๊ธฐ๊ณ„ ํ•™์Šต์˜ ๋ถ„์„ ๋ฐ ์ ์šฉ์— ์ ํ•ฉํ•œ ๊ตฌ์กฐํ™”๋œ ํ˜•์‹์œผ๋กœ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ถ”์ถœ์˜ ์ค‘์š”์„ฑ๊ณผ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ๋„๊ตฌ๋ฅผ ์ดํ•ดํ•˜๋ฉด ๊ธฐ์—…์ด ๋ฐ์ดํ„ฐ์˜ ์ž ์žฌ๋ ฅ์„ ์ตœ๋Œ€ํ•œ ํ™œ์šฉํ•˜์—ฌ ๊ฒฝ์Ÿ๋ ฅ๊ณผ ์šด์˜ ํšจ์œจ์„ฑ์„ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๋ฐ ๋„์›€์ด ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Alex McFarland๋Š” ์ธ๊ณต ์ง€๋Šฅ์˜ ์ตœ์‹  ๊ฐœ๋ฐœ์„ ํƒ๊ตฌํ•˜๋Š” AI ์ €๋„๋ฆฌ์ŠคํŠธ์ด์ž ์ž‘๊ฐ€์ž…๋‹ˆ๋‹ค. ๊ทธ๋Š” ์ „ ์„ธ๊ณ„ ์ˆ˜๋งŽ์€ AI ์Šคํƒ€ํŠธ์—… ๋ฐ ์ถœํŒ๋ฌผ๊ณผ ํ˜‘๋ ฅํ•ด ์™”์Šต๋‹ˆ๋‹ค.