빅데이터분석기사 실기 3유형은 2023년 6회 시험부터 새롭게 도입된 통계적 가설검정 및 고급 통계분석 유형입니다. 이 유형은 기존 단답형을 대체하며, 대문항 2개, 각 문항당 소문항 3개로 총 6개 문제가 출제되어 30점 배점을 차지합니다. 문제 수 대비 학습하고 연습해야 하는 부분이 방대하기 때문에 이번 글에서는 파이썬을 활용한 빅데이터분석기사 실기 3유형에 대해 전체적으로 소개하고, 실전에 어떻게 대비하면 좋을지 소개하고자 합니다. … 더 읽기
데이터 전처리 중 ‘분석 변수 처리’에는 크게 (1) 변수 선택, (2) 차원 축소, (3) 파생 변수 생성, (4) 변수 변환, (5) 불균형 데이터 처리가 있습니다. 이 중 ‘변수 선택 및 차원 축소’는 지난 포스팅(바로가기)을 통해 소개해드렸습니다. 이번 포스팅에서는 나머지 분석 변수 처리 방법에 대해 알아보고자 합니다. 1. 데이터 전처리 – 분석 변수 처리 1) 파생 … 더 읽기
데이터 전처리 과정은 크게 (1) 데이터 정제(관련 포스팅 보기), (2) 분석 변수 처리(데이터 통합, 축소, 변환)로 구성됩니다. 이 중 분석 변수 처리를 위해서는 (1) 변수 선택, (2) 차원 축소, (3) 파생 변수 생성, (4) 변수 변환, (5) 불균형 데이터 처리가 고려되어야 합니다. 1. 데이터 전처리 – 분석 변수 처리 1) 변수 선택(Feature Selection) 변수는 Variable(통계학) … 더 읽기
데이터 전처리는 분석 목적과 방법에 적합한 데이터 형태로 처리하기 위해 불필요한 데이터를 분리, 제거하고 가공하는 과정입니다. 데이터 분석을 위한 필수 과정이며, (1) 데이터 정제(Cleaning), (2) 데이터 통합(Integration), (3) 데이터 축소(Reduction), (4) 데이터 변환(Transformation)으로 구성됩니다. 앞서 소개한 데이터 수집, 데이터 저장 과정을 거친 뒤, 분석에 필요한 데이터를 추출하고 통합하는 ‘데이터 전처리’ 과정을 거치게 됩니다. 1. 데이터 … 더 읽기
데이터 저장은 수집된 데이터(데이터 유형별 수집 기술 활용)를 변환, 적재 과정을 거친 뒤 진행되며, ‘빅데이터 저장시스템’을 활용해 대용량 데이터를 저장 및 관리하고, 사용자에게 데이터 제공의 신뢰성과 가용성을 보장합니다. 이러한 빅데이터 저장방식은 크게 파일 (1) 파일 시스템, (2) 데이터베이스가 있습니다. 1. 데이터 저장방식(1) – 파일 시스템 파일 시스템 저장방식은 빅데이터를 확장 가능한 분산 파일 형태로 저장합니다. … 더 읽기