[ADsP 정리] 1과목 2장 데이터 가치와 미래

1. 빅데이터의 이해

빅데이터의 정의

1. 관점에 따른 정의

   • 데이터 규모에 중점을 둔 정의 (Mckinsey,2011)

     : 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터

   • 분석 비용 및 기술에 초점을 둔 정의 (IDC, 2011) : 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐

   • 가트너 그룹 더니 래그의 3V : Volune 규모 / Variety 유형과 소스 / Velocity 수집과 처리

    

2. 빅데이터 정의의 범주 및 효과

① 데이터 변화 (3V)

② 기술 변화 (데이터 처리, 저장, 분석기술 및 아키텍처 / 클라우드 컴퓨팅 활용)

③ 인재, 조직 변화 (data scientist, 데이터 중심 조직)

출현 배경과 변화

• 산업계  : 고객 데이터 축척, 보유를 통해 데이터에 숨어있는 가치 발굴
• 학계 : 거대 데이터를 다루는 학문 분야가 늘어나며 필요한 기술 및 통계 도구의 발전
• 기술발전 : 관련기술 (저장, 인터넷 보급, 클라우드 컴퓨터, 모바일 혁명)의 발달

빅데이터의 기능

빅데이터에 거는 기대의 비유적 표현

• 산업혁명의 석탄과 철(서비스)
• 21세기의 원유(셍신상)
• 렌즈(생물학)
• 플랫폼(공동활용)

빅데이터가 만들어 내는 본질적인 변화

• 사전처리 → 사후처리
• 표본조사 → 전수조사
• 질 → 양
• 인과관계 → 상관관계

2. 빅데이터의 가치와 영향

빅데이터의 가치

빅데이터의 가치 산정이 어려운 이유

: 데이터 활용방식, 새로운 가치 창출, 분석 기술 발전

빅데이터의 영향

• 기업 : 혁신, 경쟁력제고, 생산성 향상 : 빅데이터를 활용해 소비자의 행동 분석, 시장 변동 예측, 비즈니스 모델 혁신하거나 신사업 발굴
• 정부 : 환경 탐색, 상황분석, 미래 대응 : 기상,인구이동, 각종 통계, 법제 데이터 등을 수집해 사회 변화를 추정, 정보 추출
• 개인 : 목적에 따른 활용 : 비용이 지속적으로 하락하여 정치인, 가수 등이 인지도 향상에 활용

3. 비즈니스 모델

빅데이터 활용사례

• 기업 : 구글 - 사용자의 로그 데이터를 활용한 검색엔진 개발, 기존 페이지랭크 알고리즘 혁신 : 월마트 - 고객의 구매패턴을 분석해 상품 진열에 활용
• 정부 : 실시간 교통정보 수집, 기후 정보, 소방 서비스 등을 위해 실시간 모니터링 실시
• 개인 : 정치인, 가수

빅데이터 활용 기본 테크닉

: 연관 규칙 학습, 군집분석, 유전 알고리즘, 기계학습, 회귀분석, 감정분석, 소셜네트워크분석

유전자 알고리즘 : 생명의 진화를 모방하여 최적해를 구하는 알고리즘, 존 홀랜드 발명

• 빅데이터 활용 기본 테크닉 예시

4. 위기 요인과 통제 방안

• 사생활 침해 → 동의에서 책임으로
• 책임 원칙 훼손 → 결과 기반 책임 원칙 고수
• 데이터 오용 → 알고리즘 접근 허용 (전문가 알고리즈미스트 필요)

5. 미래의 빅데이터

빅데이터 활용의 3요소

• 데이터 : 모든 것의 데이터화
• 기술 : 진화하는 알고리즘, 인공지능
• 인력 : 데이터 사이언티스트, 알고리즈미스트