빅데이터분석기사7 [빅데이터분석기사 기출7] 데이터 적재 과정, 데이터 저장 방식 우리가 수집한 수많은 데이터들은 모두 사용되는 것이 아니라, 보통 분석 대상 및 범위에 따라 필요한 데이터만을 추려내어 사용한다. 이에 따라 오늘 포스팅에서는 데이터의 적재 과정과 저장방식에 대해 설명하고자 한다. 데이터의 적재 과정 빅데이터 기획과정에서는 데이터에 대한 품질을 확인한 후 원천데이터를 수집한다. 그 이후 ETL(Extraction(데이터 추출), Transformation(데이터 변환), Loading(데이터 적재))작업을 수행한다. ETL작업은 그 순서대로 진행되며, 원천데이터에서 필요한 것을 뽑아내고, 저장하는 형식에 맞게 변환하고, 그것을 저장하는 과정이라고 이해하면 된다. ETL은 대표적인 내부 데이터 수집 방법으로, ETL연산은 중복을 제거하고 일관성을 확보하는 목적의 정제를 진.. 2023. 2. 6. [빅데이터분석기사 기출6] 데이터 품질 요소, 데이터 변환 품질 검증 우리가 다루는 데이터는 어떤 수준에 있는지 평가를 하기 위해서는 그 기준이 필요하다. 이번 포스팅에서는 데이터의 품질을 파악할 수 있는 데이터 품질 요소와 데이터 변환 품질을 검증하는 방법을 살펴보도록 하겠다. 데이터 품질 요소 1. 정확성 : 값이 정의된 기준에 맞도록 저장되어 있는지? 2. 유효성 : 데이터가 정해진 유효기준을 충족하는지? 3. 완전성 : 데이터 필수항목에 누락이 없는지? 4. 정합성 : 시스템 내 동일 데이터끼리 서로 일치하는지? 5. 유일성 : 데이터 구분 기준에 따라 중복이 없는지? 6. 유용성 : 사용자가 만족할만한 수준의 최신 데이터가 쉽게 접근하여 사용될 수 있는지? 7. 적시성 : 사용자가 필요한 시점에 지연없이 데이터를 제공하는지? 8. 보안성 : 데이터 접근, 개인정보.. 2023. 2. 5. [빅데이터분석기사 기출 5] 데이터 분석 문제 해결방안(최적화, 솔루션, 통찰, 발견) 및 분석 방법론(CRISP-DM, KDD) 이번 포스팅부터는 본격적으로 데이터 분석 기획 단계의 내용을 담고자 한다. 빅데이터 분석 기획 단계에서는 데이터를 분석하기에 앞서 데이터 분석 문제의 현안을 파악하고, 그에 따라 적절한 분석방법론을 적용하는 것이 필요하다. 데이터 분석 문제 해결방안 데이터 분석은 분석 대상 및 분석 방법을 알고 있는지 여부에 따라 해결 방안을 나누어 살펴볼 수 있다. 1) 최적화 : 분석대상과 분석방법을 알 경우, 이미 알고있는 대상과 분석에 대한 개선을 통한 최적화를 한다. 2) 솔루션 : 분석대상은 알지만 분석방법을 모를 경우, 분석 주제에 대한 솔루션을 탐색한다. 3) 통찰 : 분석대상이 무엇인지 모르지만 분석방법을 알 경우, 분석방법을 활용하여 새로운 통찰을 도출한다. 4) 발견 : 분석 대상과 분석 방법을 모두.. 2023. 2. 3. [빅데이터분석기사 기출4] 데이터 보안관리 및 비식별화 이번 포스팅에서는 지난번에 다뤘던 개인정보 보호 관련 법제도에 연결시켜서 '데이터 보안관리 방법'과 '데이터 비식별화' 처리 방법을 살펴보고자 한다. 데이터 보안 관리 방법 1) 사용자 인증 : 우리가 일상생활에서 쉽게 접할 수 있는 보안 관리 방법으로, ID와 비밀번호 인증, 일회용 패스워드(OTP), 전자인증, 통합사용자 인증 등 사용자의 접근 자격을 확인하는 기술을 말한다. 2) 접근제어 : 객체에 대한 작업을 할 때 그 객체에 대한 권한을 확인하고 통제하는 기술을 말한다. 3) 암호화 : 암호화 알고리즘을 통해 데이터를 해독 불가능한 상태로 만드는 기술로 암호화 데이터를 확인하기 위해서는 복호화 과정이 필요하다. 4) 개인정보 비식별화 : 수집된 개인정보의 일부/전부를 처리하여 개인을 특정할 수 .. 2023. 2. 1. 이전 1 2 다음
