반응형 전체 글34 빅데이터 필기 요약 2 수집 저장 처리 가공 분석 최적화 솔루션 통찰 발견 정형데이터 풀징검증 7가지 완전성 ,유효성,일관성 정확성 유일성 활용성 보안성 비정형데이터 5가지 기능성 ,신뢰성,사용성,효율성,이식성 변수 범주형 데이터 수치형 데이터로 나눔 범주형은 명목형 데이터,순서형데이터가 존재함 수치형은 이산형데이터,연속형 데이터가 존재함 변수 선택: 종속변수에 가장 관련성 높은 변수 선택 필터기법,래퍼기법,임베디드 기법 필터기법:데이터의 통계적 특성을 사용하여 변수를 선택 래퍼기법: 모델을 통해 최적 변수를 찾는 과정 변수 추출: 새로운 변수 추출 pca,fa,pls등이있음 변수 선택을 위한 알고리즘 전진 선택법 후진 소거법 단계적 방법이 존재함 차원축소기법 pca,fa,lad,mds,svd가 존재 변수 변환 분석에 용이하도.. 2024. 3. 19. 2024년 빅분기 필기 요약 1)dikw피라미드 -데이터,정보,지식,지혜 2)7V 크기,다양성,속도,가치,신뢰성,정확성,희발성 3)분석가치 에스컬레이터 묘진예처 묘사,진단,예방,처방 4)빅데이터 통제방안 4가지 사생활침해,데이터오용,책임원칙훼손,추천알고리즘 5)분석수준 지표 준비,정착,도입,확산 6)데이터 조직유형 집중형,기능형,분산형 7)거버넌스체계항목4가지 데이터표준화,데이터관리체계,데이터저장소관리,표준화 활동 8)빅데이터 분석과정 데이터 수집,저장,처리,가공,분석 9)개인정보 비식별화 방법 가명처리,총계처리.데이터삭제,데이터범주화,데이터 마스킹 10)프라이버시 보호모델4가지 k익명성,i다양성,t근접성,m-유일성 11)데이터 수집방식및 기술6가지 ETL,FTP,API,DBToDB,Rsync,스쿱 12)데이터 품질검증 정형데이터 .. 2024. 3. 16. 빅데이터의 이해 정리 개념은 총 31개임 1첫번째 데이터의 정의: 의미있는 정보가있으면 데이터라 부르며 의미가없다면 자료라고 부름 2데이터의 유형 정형데이터와 비정형데이터는 수치로 되어있느냐 아니냐의 차이임 정형은 수치화데이터 비정형은 한글,그림등의 데이터 3지식유형 지식은 두가지로 구분함 암묵지 -학습과 경험을 통해 습득한 지식 형식지 -문서로 정리된 지식 4 데이터 베이스 전자적,체계적으로 관리된 데이터 dbms는 사용자가 db구축을 또는 관리 할수있게 하는 소프트 웨어 5 저장된 데이터 베이스 특징 1)동일한 데이터들이 중복되지 않게 저장됨 2)컴퓨터에 저장되어 있다 3)여러 사용자가 사용할수 있다 4)데이터가 수정될수있다. 데이터 베이스의 특징 1)데이터를 검색할수있다 2)온라인으로 접근 가능하다 3)방대한 데이터를 .. 2024. 3. 5. day3 version5 advance reservation - 사전 예약 I made an advance reservation for the hotel room before our trip. (여행 전에 호텔 방을 사전 예약했습니다.) arrange an appointment - 약속을 잡다 Let's arrange an appointment with the dentist for next week. (다음 주에 치과 예약을 잡아봐요.) bulletin board - 게시판 Please check the bulletin board for any important announcements. (중요한 공지를 확인하려면 게시판을 보세요.) errand - 심부름 I need to run some errands at the post o.. 2024. 2. 21. 이전 1 2 3 4 5 6 7 8 9 다음 반응형