빅데이터(Big Data)에 대해서

빅데이터의 정의

빅 데이터는 주로 기존 데이터 처리 애플리케이션 소프트웨어로 처리하기에는 너무 크거나 복잡한 데이터 세트를 말합니다. 많은 엔트리(행)를 가진 데이터는 더 큰 통계적 파워를 제공하지만, 복잡도가 높은 데이터(더 많은 속성 또는 컬럼)는 더 높은 가짜 검출률을 일으킬 수 있습니다. 공식적인 정의가 없기 때문에 때로는 느슨하게 사용되기도 하지만, 가장 좋은 해석은 그것이 소량밖에 사용되지 않는 경우에는 이해할 수 없는 대량의 정보라는 것입니다.

 

빅데이터 분석

빅데이터 분석의 과제로는 데이터 가져오기, 데이터 스토리지, 데이터 분석, 검색, 공유, 전송, 시각화, 쿼리 작성 및 갱신 등의 작업을 들 수 있습니다. 빅데이터는 원래 볼륨, 다양성, 속도라는 세 가지 중요한 개념과 관련되어 있었습니다. 빅 데이터 분석은 샘플링의 과제를 제시하며, 이전에는 관측과 샘플링만 가능하게 했습니다. 따라서 네 번째 개념인 진실성은 데이터의 품질 또는 통찰력을 의미합니다. 빅데이터의 정확성을 위한 전문지식에 대한 충분한 투자가 없다면 데이터의 양과 종류에 따라 조직이 빅데이터로부터 가치를 창조하고 획득하는 능력을 넘어서는 비용과 위험이 발생할 수 있습니다.

 

빅데이터의 활용

빅데이터라는 용어의 현재 사용법은 빅데이터에서 가치를 추출하는 예측 분석, 사용자 행동 분석 또는 기타 고급 데이터 분석 방법을 사용하는 것을 의미하는 경향이 있으며 특정 크기의 데이터 세트를 사용하는 경우는 거의 없습니다. 「현재 이용 가능한 데이터량이 매우 많은 것은 틀림없지만, 그것은 이 새로운 데이터 에코 시스템의 가장 관련성이 높은 특징은 아닙니다. 데이터셋 분석은 '비즈니스 경향을 발견하고 질병을 예방하며 범죄와 싸우는 등'과의 새로운 상관관계를 발견할 수 있습니다. 과학자, 경영 간부, 의료 종사자, 광고, 정부는 모두 인터넷 검색, 핀테크, 헬스케어 분석, 지리 정보 시스템, 도시 정보학 및 비즈니스 정보학 등의 분야에서 큰 데이터 세트의 문제에 정기적으로 직면하고 있습니다. 과학자들은 기상학, 게놈학, 커넥트 믹스, 복잡한 물리 시뮬레이션, 생물학, 환경 연구 등 e-Science 연구에서 한계에 직면해 있습니다.

 

빅데이터의 성장

이용 가능한 데이터 세트의 크기와 수는 모바일 디바이스, 저렴하고 많은 사물 인터넷, 항공(리모트 센싱) 기기, 소프트웨어 로그, 카메라, 마이크, 무선 주파수 식별(RFID) 리더, 무선 센서 네트워크 등의 디바이스에 의해 수집됨에 따라 급속히 증가하고 있습니다. 정보를 저장하기 위한 세계의 기술적인 1인당 용량은 1980년대 이후 40개월마다 약 2배로 증가하고 있습니다. 2012년의 시점에서, 매일 2.5 엑사바이트(2.17×260 바이트)의 데이터가 생성됩니다. IDC 보고서의 예측을 바탕으로 2013년부터 2020년 사이에 전 세계 데이터 양은 4.4zetaby에서 44zetaby로 비약적으로 증가할 것으로 예측되었습니다. 2025년까지 IDC는 163 제타바이트의 데이터가 존재할 것으로 예측하고 있습니다. IDC에 따르면 빅데이터와 비즈니스 분석(BDA) 솔루션에 대한 세계적인 지출은 2021년에 2157억달러에 이를 것으로 추정됩니다. Statista의 보고에 따르면, 세계 빅데이터 시장은 2027년까지 1030억달러로 성장할 것으로 예측되고 있습니다. 2011년 맥킨지 앤드 컴퍼니는 미국 의료기관이 효율과 품질을 높이기 위해 빅데이터를 창조적이고 효과적으로 사용한다면 이 부문은 매년 3000억달러 이상의 가치를 창출할 수 있다고 보고했습니다. 유럽 선진국에서 정부 관리자는 빅데이터를 사용함으로써 1,000억유로 이상의 업무 효율 개선을 절약할 수 있었습니다. 그리고 개인 위치 정보에 의해 가능해진 서비스 사용자는 6000억달러의 소비자 잉여를 획득할 수 있습니다. 대기업의 한 가지 질문은 조직 전체에 영향을 미치는 빅데이터 이니셔티브를 누가 소유해야 하는지를 결정하는 것입니다.

 

빅데이터의 처리

데이터를 시각화하는 데 사용되는 관계형 데이터베이스 관리 시스템 및 데스크톱 통계 소프트웨어 패키지에서는 종종 빅데이터 처리와 분석이 어렵습니다. 빅데이터 처리와 분석에는 '수십 대, 수백 대, 심지어 수천 대의 서버 상에서 실행되는 대규모 병렬 소프트웨어'가 필요할 수 있습니다. '빅데이터'로 분류되는 것은 그것을 분석하는 사람의 능력과 그 도구에 따라 달라집니다. 또한 기능의 확장으로 빅 데이터가 이동의 타깃이 됩니다. 기업에 따라서는 처음으로 수백 기가바이트의 데이터에 직면하게 되면 데이터 관리 옵션을 재고할 필요가 생길 수 있습니다. 데이터 크기가 중요한 고려사항이 되기까지 수십 테라바이트에서 수백 테라바이트가 소요되는 경우도 있습니다.