빅데이터 필기 요약 2
수집 저장 처리 가공 분석 최적화 솔루션 통찰 발견 정형데이터 풀징검증 7가지 완전성 ,유효성,일관성 정확성 유일성 활용성 보안성 비정형데이터 5가지 기능성 ,신뢰성,사용성,효율성,이식성 변수 범주형 데이터 수치형 데이터로 나눔 범주형은 명목형 데이터,순서형데이터가 존재함 수치형은 이산형데이터,연속형 데이터가 존재함 변수 선택: 종속변수에 가장 관련성 높은 변수 선택 필터기법,래퍼기법,임베디드 기법 필터기법:데이터의 통계적 특성을 사용하여 변수를 선택 래퍼기법: 모델을 통해 최적 변수를 찾는 과정 변수 추출: 새로운 변수 추출 pca,fa,pls등이있음 변수 선택을 위한 알고리즘 전진 선택법 후진 소거법 단계적 방법이 존재함 차원축소기법 pca,fa,lad,mds,svd가 존재 변수 변환 분석에 용이하도..
2024. 3. 19.
2024년 빅분기 필기 요약
1)dikw피라미드 -데이터,정보,지식,지혜 2)7V 크기,다양성,속도,가치,신뢰성,정확성,희발성 3)분석가치 에스컬레이터 묘진예처 묘사,진단,예방,처방 4)빅데이터 통제방안 4가지 사생활침해,데이터오용,책임원칙훼손,추천알고리즘 5)분석수준 지표 준비,정착,도입,확산 6)데이터 조직유형 집중형,기능형,분산형 7)거버넌스체계항목4가지 데이터표준화,데이터관리체계,데이터저장소관리,표준화 활동 8)빅데이터 분석과정 데이터 수집,저장,처리,가공,분석 9)개인정보 비식별화 방법 가명처리,총계처리.데이터삭제,데이터범주화,데이터 마스킹 10)프라이버시 보호모델4가지 k익명성,i다양성,t근접성,m-유일성 11)데이터 수집방식및 기술6가지 ETL,FTP,API,DBToDB,Rsync,스쿱 12)데이터 품질검증 정형데이터 ..
2024. 3. 16.