통계와 표본

모집단 vs. 표본

통계에서 가장 중요한 구분입니다.

• 모집단(Population): 우리가 알고 싶은 전체 집단 (예: 전 세계 모든 고양이 사진)
• 표본(Sample): 모집단에서 실제로 수집한 일부 데이터 (예: 내가 가진 10만 장의 고양이 사진)

AI 모델은 항상 표본(훈련 데이터)으로 모집단의 패턴을 배웁니다. 표본이 모집단을 얼마나 잘 대표하는지가 모델 성능을 결정합니다.

표본 통계량

import numpy as np

data = [82, 75, 90, 88, 79, 95, 71, 84, 88, 76]

# 표본 평균
sample_mean = np.mean(data)         # 82.8

# 표본 분산 (n-1로 나눔 — 불편 추정량)
sample_var = np.var(data, ddof=1)   # 54.18

# 표본 표준편차
sample_std = np.std(data, ddof=1)   # 7.36

중심극한정리(Central Limit Theorem)

통계학에서 가장 중요한 정리 중 하나입니다.

모집단의 분포가 어떻든 간에, 표본 크기가 충분히 크면 표본 평균의 분포는 정규분포에 가까워진다.

이것이 왜 중요한가? AI 훈련에서 미니배치 손실의 평균이 안정적으로 수렴하는 이유가 바로 이 정리 때문입니다.

# 중심극한정리 시뮬레이션
import numpy as np

# 균등분포에서 표본 추출
population = np.random.uniform(0, 1, 100000)

# 크기 30의 표본을 1000번 추출, 각 평균을 계산
sample_means = [np.mean(np.random.choice(population, 30)) for _ in range(1000)]

# → sample_means는 정규분포에 가깝게 분포됨!

편향(Bias)과 분산(Variance) 트레이드오프

머신러닝에서 가장 중요한 개념 중 하나입니다.

문제	원인	해결책
높은 편향(Bias) = 과소적합	모델이 너무 단순	복잡한 모델 사용, 피처 추가
높은 분산(Variance) = 과적합	모델이 너무 복잡	데이터 추가, 정규화, 드롭아웃

교차 검증(Cross-Validation)

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

model = LogisticRegression()
scores = cross_val_score(model, X, y, cv=5)
# 5-fold CV: 데이터를 5등분, 각각 검증 세트로 사용
print(scores.mean(), scores.std())

교차 검증은 표본의 대표성 문제를 줄이는 통계적 기법입니다.

핵심: AI 모델은 표본으로 모집단을 학습합니다. 중심극한정리 덕분에 미니배치 학습이 안정적이고, 편향-분산 트레이드오프가 모델 복잡도 선택을 안내합니다.

관련 검색어  ·  중심극한정리, 표본과 모집단, 과적합 과소적합, 편향 분산 트레이드오프, 교차 검증, 머신러닝 통계