반응형
빅데이터 특징
규모,유형,주기가 큰 데이터
지식창조 매커니즘
내공표연
빅데이터 등장 배경
수집.저장,통신,분석
빅데이터의 산업 발전
처리,통합,분석,연결,권리
빅데이터 활용단계
도입 ,구축,운영
빅데이터 도입 3요소
기술,인력,자원
분석성숙도 평가 4단계
도입,활용,확산,최적화
빅데이터 조직유형
집중형:별도의 전담조직이 집중적수행
기능형:가장일반적임
분산형:모법사례공유가능
데이터 거버넌스
란 데이터관리 체계를 수립하여 데이터 조직과 프로세스를 관리하는 것을 의미함
데이터 거버넌스 주요기능 4가지
데이터품질관리,메타데이터관리,데이터주기관리,데이터 보안및 프라이버시
데이터 분석과정
데이터수집,저장,처리,가공,분석
분석기획유형
발견,통찰,솔루션,최적화
데이터 분석 계층
단계,테스트,스탭
데이터 분석절차
분석기획,데이터준비,데이터분석,시스템구현,평가및 전개
kdd분석 방법론
데이터세트선택,전처리,변환,마이닝,결과 평가
aicd규칙
원자성,일관성,격리성,내구성
데이터 적제도구
플루언티드: json포맷으로 변경
아파치플럼:많은 로그데이터를 수집
스크라이브:페이스북에서 개발
로그스태시:쉬운 동적 수집및 전송
db의 특징
통합,저장,공용,갱신
데이터 웨어하우스 특징
주제지향성,통합성,시계열성,비휘발성
데이터 베이스의 활용
oltp:트랜잭션단위로 작업처리
olap:정보위주의 분석처리
반응형