빅데이터란 무엇인가?

빅데이터란 무엇인가?

“빅데이터”는 현재 시대에서 자주 사용되는 용어 중 하나이지만, 실제로 무엇을 의미하는지 정확하게 알고 있는 사람이 많지 않다.

빅데이터에 대한 간단하고 쉬운 정의는 다음과 같다. 빅데이터는 전통적인 데이터 처리 및 저장 방법으로 처리할 수 없는 크기와 복잡성을 가진 데이터이다. 이 정의는 간단하게 사용할 수 있지만, 빅데이터에 대한 더 깊은 이해를 위해서는 저장, 구조, 처리와 같은 개념을 살펴보는 것이 도움이 될 것이다.

빅데이터는 얼마나 큰가?

빅데이터의 크기를 단순히 “크기 ‘X’ 이상의 데이터”로 정의하는 것은 간단하지 않다. 데이터가 처리되는 환경은 빅데이터인지 여부를 결정하는 매우 중요한 요소이다. 빅데이터를 결정하는 크기는 데이터가 사용되는 작업이나 맥락에 따라 다르다. 크기가 매우 다른 두 개의 데이터셋은 서로 다른 맥락에서 빅데이터로 간주될 수 있다.

구체적으로, 200메가바이트 파일을 이메일 첨부파일로 보내려고 하면 보내지 못할 것이다. 이 경우, 200메가바이트 파일은 빅데이터로 간주될 수 있다. 반면에, 동일한 LAN 내의 장치에 200메가바이트 파일을 복사하는 것은 시간이 거의 걸리지 않을 수 있다. 이러한 경우에는 빅데이터로 간주되지 않는다.

그러나, 컴퓨터 비전 애플리케이션을 위한 15테라바이트의 비디오 데이터를 전처리해야 하는 경우를 가정해 보자. 이러한 경우, 비디오 파일이 너무 커서 강력한 컴퓨터도 모든 파일을 처리하는 데 오랜 시간이 걸릴 수 있다. 따라서, 처리 시간을 줄이기 위해 여러 컴퓨터에 걸쳐 데이터를 분산 처리해야 한다. 이러한 15테라바이트의 비디오 데이터는 분명히 빅데이터로 간주될 수 있다.

빅데이터 구조의 유형

빅데이터는 세 가지 유형의 구조를 가진다: 비정형 데이터, 준정형 데이터, 정형 데이터.

비정형 데이터는 정의할 수 있는 구조가 없는 데이터로, 데이터가 하나의 큰 풀에 존재하는 것이다. 비정형 데이터의 예로는 레이블이 없는 이미지로 채워진 데이터베이스가 있다.

준정형 데이터는正式한 구조가 없지만, 느슨한 구조 내에서 존재하는 데이터이다. 예를 들어, 이메일 데이터는 준정형 데이터로 간주될 수 있다. 개별 이메일 내의 데이터를 참조할 수 있지만, 공식적인 데이터 패턴이 정의되어 있지 않다.

정형 데이터는正式한 구조를 가진 데이터로, 데이터 포인트가 다양한 특성으로 분류된다. 정형 데이터의 예로는 이름, 이메일, 전화번호, 웹사이트와 같은 연락처 정보를 포함하는 엑셀 스프레드시트가 있다.

비정형 데이터, 준정형 데이터, 정형 데이터에 대한 자세한 내용을 읽고 싶다면, こちら를 참조하십시오.

빅데이터 평가를 위한 지표

빅데이터는 세 가지 지표를 통해 분석할 수 있다: 볼륨, 속도, 다양성.

볼륨은 데이터의 크기를 의미한다. 평균 데이터셋 크기는 점점 증가하고 있다. 예를 들어, 2006년 가장 큰 하드 드라이브는 750GB였다. 반면에, 페이스북은 하루에 500테라바이트의 데이터를 생성하는 것으로 알려져 있다. 현재 사용할 수 있는 가장 큰 소비자용 하드 드라이브는 16테라바이트이다. 한 시대에 빅데이터로 간주되는 크기는 다른 시대에는 빅데이터로 간주되지 않을 수 있다. 더 많은 데이터가 생성되는 이유는 우리 주변의 객체가 센서, 카메라, 마이크, 기타 데이터 수집 장치로 장착되어 있기 때문이다.

속도는 데이터가 이동하는 속도 또는 특정 기간 내에 생성되는 데이터의 양을 의미한다. 소셜 미디어 스트림은 매분 수십만 개의 게시글과 댓글을 생성한다. 반면에, 자신의 이메일 인박스는 훨씬 적은 활동을 보인다. 빅데이터 스트림은 수백만 개의 이벤트를 거의 실시간으로 처리하는 스트림이다. 이러한 데이터 스트림의 예로는 온라인 게임 플랫폼과 고주파 주식 거래 알고리즘이 있다.

다양성은 데이터셋 내의 다양한 데이터 유형을 의미한다. 데이터는 오디오, 비디오, 텍스트, 사진, 시리얼 번호와 같은 다양한 형식으로 구성될 수 있다. 일반적으로, 전통적인 데이터베이스는 하나 또는 몇 개의 데이터 유형만 처리하도록 설계되었다. 즉, 전통적인 데이터베이스는 비교적 균일하고 예측 가능한 구조의 데이터를 처리하도록 설계되었다. 애플리케이션이 더 다양해지고, 더 많은 기능을 가지며, 더 많은 사용자가 사용함에 따라, 데이터베이스는 더 많은 유형의 데이터를 저장하도록 발전했다. 비정형 데이터베이스는 빅데이터를 저장하는 데 이상적이다. 왜냐하면, 서로 관련이 없는 여러 유형의 데이터를 저장할 수 있기 때문이다.

빅데이터 처리 방법

빅데이터 분석을 위한 여러 플랫폼과 도구가 개발되었다. 빅데이터 풀은 의미 있는 패턴을 추출하기 위해 분석되어야 하는데, 이는 전통적인 데이터 분석 도구로 수행하기 어려운 작업이다. 빅데이터 분석을 위한 도구가 필요함에 따라, 여러 회사에서 빅데이터 분석 도구를 개발했다. 빅데이터 분석 도구에는 ZOHO Analytics, Cloudera, Microsoft (MSFT ) BI와 같은 시스템이 있다.