빅데이터분석기사 실기 3유형은 2023년 6회 시험부터 새롭게 도입된 통계적 가설검정 및 고급 통계분석 유형입니다. 이 유형은 기존 단답형을 대체하며, 대문항 2개, 각 문항당 소문항 3개로 총 6개 문제가 출제되어 30점 배점을 차지합니다. 문제 수 대비 학습하고 연습해야 하는 부분이 방대하기 때문에 이번 글에서는 파이썬을 활용한 빅데이터분석기사 실기 3유형에 대해 전체적으로 소개하고, 실전에 어떻게 대비하면 좋을지 소개하고자 합니다.
1. 빅데이터분석기사 실기 3유형 개요
평가방식은 주어진 데이터에 대해 적합한 통계검정을 수행하고, 검정통계량과 p-value를 산출한 후 유의수준에 따른 귀무가설 기각/채택 여부를 해석하는 능력을 평가합니다. 특히 scipy.stats, statsmodels 등 파이썬 통계 라이브러리 활용 능력이 핵심적으로 평가되며, 부분점수 없이 정답 여부로만 채점되는 특징(소수점 아래 자릿수가 정해진 실수로 답을 출력)이 있습니다.
빅데이터분석기사 실기 3유형에서는 상관관계분석, 정규성검정, 일원배치법/일원분산분석, 이원분산분석, t검정 단일표본, t검정 독립표본 등 다양한 통계검정 기법이 출제됩니다. 문제 수가 적은 반면 내용이 방대하여 템플릿 학습보다는 각 검정의 원리와 적용 조건을 정확히 이해하고, 충분한 연습이 필요합니다.
빅데이터분석기사 실기 관련한 정보는 아래에서 확인이 가능합니다.
2. 실기 3유형 마스터를 위한 필수 준비사항
2-1. 기본 개념 및 이론 학습
빅데이터분석기사 실기 3유형 마스터를 위해서는 통계적 가설검정의 기본 개념부터 확실히 이해해야 합니다. 귀무가설과 대립가설, 유의수준, 검정통계량, p-value의 개념과 해석 방법을 정확히 알아야 하며, 각 검정의 가정 조건(정규성, 등분산성 등)을 파악하는 것이 중요합니다.
2-2. 파이썬 라이브러리 실무 능력
scipy.stats 패키지의 주요 함수들을 실제 데이터로 반복 연습하는 것이 필수적입니다. 시험 환경에서는 help()나 dir() 함수를 활용해 함수 사용법을 확인할 수 있으므로, 이러한 기능을 미리 익혀두어야 합니다. 특히 모듈의 함수 목록(scipy.stats)을 출력하고, 문제에 맞는 함수를 선택한 후, 함수 사용 방법을 확인하여 적용하는 일련의 과정을 체득해야 합니다.
2-3. 데이터 전처리 능력
통계검정 전 데이터의 정규성, 등분산성 등 가정 조건을 확인하는 방법도 필수적으로 준비해야 합니다.
[어썸노트 관련 글 보기] [빅데이터분석기사3] 실기 작업형-파이썬 주요 용어
3. 주요 통계적 검정 및 파이썬 함수 활용법
3-1. 확률분포 및 신뢰구간
scipy.stats 모듈은 다양한 확률분포와 관련된 계산을 지원합니다. 정규분포, 이항분포, 카이제곱분포 등의 확률밀도함수(PDF), 누적분포함수(CDF), 확률질량함수(PMF)를 계산할 수 있으며, 각 분포는 연속분포와 이산분포로 구분됩니다.
신뢰구간 계산은 여러 방법으로 가능합니다. 가장 간단한 방법은 scipy.stats.t.interval() 함수를 사용하는 것으로, 신뢰구간 비율, 자유도, 평균, 평균의 표준오차를 매개변수로 받습니다. 또한 statsmodels.stats.api의 DescrStatsW 클래스를 활용하면 더욱 간편하게 신뢰구간을 구할 수 있습니다.
import scipy.stats as stats |
3-2. 모수검정과 비모수검정
모수검정은 모집단의 분포에 대한 가정을 하고 표본을 활용하여 가설검정하는 방법이며, 비모수검정은 모집단의 분포에 대해 가정하지 않고 검정하는 방법입니다. 비모수검정은 주어진 자료가 정규분포가 아니거나, 표본의 크기가 작거나 데이터가 서열척도나 명목척도인 경우에 사용됩니다.
대표적인 비모수검정으로는 Mann-Whitney U 검정, Wilcoxon 부호순위 검정, Friedman 검정 등이 있습니다. 이들은 각 scipy.stats.mannwhitneyu(), scipy.stats.wilcoxon(), scipy.stats.friedmanchisquare() 함수로 구현할 수 있습니다.
3-3. 주요 가설검정 기법
3-3-1. 정규성 검정
정규성 검정은 데이터가 정규분포를 따르는지 확인하는 중요한 전처리 과정입니다. scipy.stats.normaltest() 함수를 사용하며, 귀무가설은 “해당 데이터가 정규분포를 따른다”입니다.
import scipy.stats as stats |
3-3-2. 단일표본 검정
정규성이 만족되면 1표본 평균검정(t-test)을, 정규성이 만족되지 않으면 1표본 부호검정을 수행합니다. t-test는 stats.ttest_1samp() 함수를, 부호검정은 sign_test()와 wilcoxon() 함수 사용이 가능한데, wilcoxon() 함수가 상대적으로 민감도가 높고 더 자주 사용됩니다.
3-3-3. 이항검정과 카이제곱검정
이항검정은 베르누이 시행의 성공 확률에 대한 가설을 검정하는 방법으로, 실험이나 관측을 통해 얻은 성공 횟수가 특정 확률 ppp와 일치하는지를 확인합니다. Python에서는 scipy.stats.binomtest() 함수를 사용하여 이항검정을 수행할 수 있습니다. (※ 기존의 binom_test() 함수는 deprecated 되었으므로, 최신 버전에서는 binomtest() 사용을 권장합니다.)
카이제곱검정은 범주형 데이터에 대한 통계적 가설을 검정하는 데 사용되며, 두 가지 주요 유형으로 나뉩니다:
- 적합도 검정 (Goodness-of-fit test): 관측된 빈도 분포가 기대되는 이론적 분포와 일치하는지를 검정합니다.
→ Python에서는 scipy.stats.chisquare() 함수를 사용합니다. - 독립성 검정 (Test of independence): 두 범주형 변수 간의 연관성 또는 독립성을 검정합니다.
→ Python에서는 scipy.stats.chi2_contingency() 함수를 사용합니다.
각 검정은 데이터의 특성과 분석 목적에 따라 적절히 선택되어야 하며, 사용하는 함수도 다르므로 주의가 필요합니다.
4. 실전 대비 핵심 전략
빅데이터분석기사 실기 3유형에서는 각 검정의 적용 조건을 정확히 판단하는 것이 가장 중요합니다. 데이터 유형(수치형/범주형), 집단 수, 정규성 가정 등을 체크한 후 적절한 검정 방법을 선택해야 합니다.
또한 검정통계량과 p-value 산출 후 반드시 해석까지 작성해야 부분점수를 받을 수 있습니다. 유의수준 0.05 기준으로 귀무가설 기각/채택 여부를 명확히 결론짓는 연습이 필수입니다.
시험 환경에서는 dir()과 help() 함수를 전략적으로 활용하여 필요한 함수를 찾고 사용법을 확인하는 능력이 중요합니다. 평소 연습할 때부터 이러한 함수들을 활용하여 실전 감각을 익혀두어야 합니다.
빅데이터분석기사 실기 3유형은 통계적 사고력과 실전 코드 능력을 동시에 평가하므로, 이론 학습과 실습을 균형 있게 준비하여 고득점을 노려보시기 바랍니다. 특히 최근 출제 경향을 보면 다중회귀분석, 로지스틱 회귀분석 등 고급 통계기법도 자주 출제되고 있어 폭넓은 준비가 필요합니다.