확률분포 이해하기

확률분포란?

확률분포는 어떤 변수가 각 값을 가질 확률을 나타내는 함수입니다. 동전 던지기, 키 측정, 시험 점수 등 모든 확률적 현상을 수학적으로 표현합니다.

이산 확률분포

베르누이 분포

결과가 두 가지(성공/실패)인 실험. 동전 던지기, 이진 분류의 기본 모델.

# 동전 앞면=1, 뒷면=0 일 때
# P(X=1) = p = 0.5
# P(X=0) = 1-p = 0.5

from scipy.stats import bernoulli
samples = bernoulli.rvs(p=0.7, size=100)  # 앞면 확률 70%

이항 분포

베르누이 실험을 n번 반복했을 때 성공 횟수의 분포.

# 동전 10번 던져서 앞면이 k번 나올 확률
from scipy.stats import binom
p = binom.pmf(k=7, n=10, p=0.5)  # 10번 중 7번 앞면

연속 확률분포

정규분포 (Normal Distribution)

AI에서 가장 중요한 분포입니다. 평균(μ)을 중심으로 대칭인 종 모양 곡선.

# 특성
# - 평균(μ): 분포의 중심
# - 표준편차(σ): 퍼진 정도
# - 68% 데이터: μ ± 1σ 범위
# - 95% 데이터: μ ± 2σ 범위
# - 99.7% 데이터: μ ± 3σ 범위

신경망 초기 가중치는 보통 정규분포로 초기화됩니다.

AI 모델과 확률분포

소프트맥스 = 분류 확률 분포

import torch.nn.functional as F
logits = torch.tensor([2.0, 1.0, 0.1])
probs = F.softmax(logits, dim=0)
# tensor([0.659, 0.242, 0.099])
# 3개 클래스에 대한 확률 분포 (합계=1)

가우시안 노이즈

데이터 증강(augmentation)이나 정규화 기법에서 정규분포 노이즈를 활용합니다.

# 이미지에 정규분포 노이즈 추가
noise = torch.randn_like(image) * 0.1
noisy_image = image + noise

VAE(변분 오토인코더)

이미지 생성 AI의 핵심 아이디어: 데이터를 정규분포 잠재 공간으로 인코딩하고, 그로부터 새 이미지를 생성합니다.

분포 선택의 중요성

문제 유형	적합한 분포
이진 분류	베르누이 분포
다중 분류	카테고리 분포 (소프트맥스)
연속값 예측	정규분포
생성 모델	정규분포 잠재 변수

핵심: 확률분포는 불확실성을 수학적으로 표현합니다. AI 모델의 입출력, 파라미터 초기화, 손실함수 모두 특정 확률분포 가정에 기반합니다.

관련 검색어  ·  정규분포, 확률분포 종류, 베르누이 이항분포, 소프트맥스 확률, VAE 잠재 변수, 딥러닝 확률분포