빅데이터분석기사

[데이터 전처리3] 분석 변수 처리(파생 변수 생성, 변수 변환, 불균형 데이터 처리)

2023-09-15

데이터 전처리 중 ‘분석 변수 처리’에는 크게 (1) 변수 선택, (2) 차원 축소, (3) 파생 변수 생성, (4) 변수 변환, (5) 불균형 데이터 처리가 있습니다. 이 중 ‘변수 선택 및 차원 축소’는 지난 포스팅(바로가기)을 통해 소개해드렸습니다. 이번 포스팅에서는 나머지 분석 ...

[데이터 전처리2] 분석 변수 처리(변수 선택, 차원 축소)

2023-09-14

데이터 전처리 과정은 크게 (1) 데이터 정제(관련 포스팅 보기), (2) 분석 변수 처리(데이터 통합, 축소, 변환)로 구성됩니다. 이 중 분석 변수 처리를 위해서는 (1) 변수 선택, (2) 차원 축소, (3) 파생 변수 생성, (4) 변수 변환, (5) 불균형 데이터 처리가 ...

[데이터 전처리1] 데이터 정제(결측값, 이상값 처리)

2023-09-14

데이터 전처리는 분석 목적과 방법에 적합한 데이터 형태로 처리하기 위해 불필요한 데이터를 분리, 제거하고 가공하는 과정입니다. 데이터 분석을 위한 필수 과정이며, (1) 데이터 정제(Cleaning), (2) 데이터 통합(Integration), (3) 데이터 축소(Reduction), (4) 데이터 변환(Transformation)으로 구성됩니다. 앞서 소개한 데이터 수집, 데이터 저장 ...

[데이터 저장] 빅데이터 저장시스템 3(HDFS, GFS, NoSQL)

2023-09-12

데이터 저장은 수집된 데이터(데이터 유형별 수집 기술 활용)를 변환, 적재 과정을 거친 뒤 진행되며, ‘빅데이터 저장시스템’을 활용해 대용량 데이터를 저장 및 관리하고, 사용자에게 데이터 제공의 신뢰성과 가용성을 보장합니다. 이러한 빅데이터 저장방식은 크게 파일 (1) 파일 시스템, (2) 데이터베이스가 있습니다. 1. ...

[빅데이터분석기사1] 시험 정보, 접수 안내

2023-08-21

빅데이터분석기사는 국가기술자격법 및 동법 시행령에 근거하여 만들어진 기사급 자격증입니다. 자격 시험은 1년에 2회 실시되며, 2021년 4월 첫 시험 이래로 7회를 맞고 있습니다(2023년 8월 기준). 시험은 크게 필기와 실기로 구성되며, 필기 시험 합격자에 한 해 실기 시험 응시 자격이 주어집니다. 1. ...