awesome-note 
데이터 전처리는 분석 목적과 방법에 적합한 데이터 형태로 처리하기 위해 불필요한 데이터를 분리, 제거하고 가공하는 과정입니다. 데이터 분석을 위한 필수 과정이며, (1) 데이터 정제(Cleaning), (2) 데이터 통합(Integration), (3) 데이터 축소(Reduction), (4) 데이터 변환(Transformation)으로 구성됩니다. 앞서 소개한 데이터 수집, 데이터 저장 과정을 거친 뒤, 분석에 필요한 데이터를 추출하고 통합하는 ‘데이터 전처리’ 과정을 거치게 됩니다. 1. 데이터 … 더 읽기
데이터 저장은 수집된 데이터(데이터 유형별 수집 기술 활용)를 변환, 적재 과정을 거친 뒤 진행되며, ‘빅데이터 저장시스템’을 활용해 대용량 데이터를 저장 및 관리하고, 사용자에게 데이터 제공의 신뢰성과 가용성을 보장합니다. 이러한 빅데이터 저장방식은 크게 파일 (1) 파일 시스템, (2) 데이터베이스가 있습니다. 1. 데이터 저장방식(1) – 파일 시스템 파일 시스템 저장방식은 빅데이터를 확장 가능한 분산 파일 형태로 저장합니다. … 더 읽기
데이터 수집은 여러 곳에 분산된 데이터를 한 곳으로 모으는 과정입니다. 데이터는 크게 3가지 유형(정형, 비정형, 반정형)이며, 그에 따른 데이터 수집 방식 및 기술들이 상이합니다. 이에 수집 시스템 사양을 설계하기 위해서는 수집 데이터 유형을 정확히 확인하고, 그에 맞는 수집 기술을 적용하면 됩니다. 1. 정형 데이터 수집 기술 정형 데이터(Structured Data)는 정해진 형식과 구조에 맞게 저장되도록 구성된 … 더 읽기
가치사슬분석(Value Chain Analysis)은 기업의 생산 활동의 프로세스별 비용과 가치, 문제 요소들을 분석하여 자사의 핵심 강점과 약점, 개선 방향을 도출하는 방법론 중 하나 입니다. 이전 포스팅에서는 외부 경영환경을 진단하는 분석 방법(PEST, 5Forces, 3C)에 대해서 알아봤었는데, 가치사슬분석과 같이 기업 내부를 진단할 수 있는 분석 방법도 소개해보려고 합니다. 1. 가치사슬분석 개념 가치사슬분석은 컨설팅사 맥킨지(McKinsey & Company)의 비즈니스 시스템(Business … 더 읽기
빅데이터분석기사 실기 준비(파이썬)을 하다 보면, 낯선 용어들을 보는 것 자체로도 어렵고 힘들 수 있습니다. 파이썬이라는 프로그래밍 언어를 본격적으로 들어가기 전에 이번 포스팅에서는 파이썬에서 사용되는 기본적인 용어에 대해 알아보려 합니다. 기본적으로 파이썬에서 쓰이는 언어들이 어떠한 구조를 가지고 있는지 알고 계시는 것도 많은 도움이 되실 거라 생각합니다. 파이썬에 대한 기본적인 정보가 없으시다면, [파이썬 소개 및 특징] 먼저 … 더 읽기