3. 결합 확률과 주변 확률

 

 

딥러닝에서 실질적으로 많이 쓰이는 개념 중 하나이니 꼼꼼히 읽어보기.

 

 

---

 

변수(variable): 독립변수 X. 다른 변수에 의하여 영향을 받지 않는 변수.

• 단변수(Univariable): 독립변수가 1개일 때.
• 다변수(Multivariable): 독립변수가 여러 개 일 때.

변량(variate): 종속변수 Y. 독립 변수에 영향을 받아 변화하는 변수.

• 단변량(Univariate): 종속변수가 1개일 때.
• 다변량(Multivariate): 종속변수가 여러 개일 때.

다변수 확률 변수(Multivariate Random Variable): 확률 변수가 두 개 이상 있는 경우.

•  이 경우 개별적인 두 확률 변수를 고려해 복합적인 확률 분포를 계산 가능.
• 딥러닝 분야 분포는 일반적으로 다변수 확률 분포에 해당함. 변수가 여러개 있음. 

얼굴 특징에 대한 분포 예시

 

---

 

독립사건: 두 사건이 동시에 일어날 때 서로 영향을 주지 않는 사건.

• 정의: P(Y|X) = P(Y)
• P(X ∩ Y) = P(x)P(Y) ⇔ X와 Y는 독립사건. (필요충분조건) 위의 식에서 유도 가능.

종속사건: 한 사건의 결과가 다른 사건에 영향을 줄 때 두 사건을 종속사건이라고 함.

 

배반사건: 두 사건이 동시에 일어나지 않는 사건. 교집합이 없는 사건. 독립사건과 헷갈리지 말기.

• 정의: X ∩ Y = ∅
• P(X ∩ Y) = 0

 

---

 

결합확률: 두 개의 사건이 동시에 일어날 확률. 교집합이 발생할 확률.

• 표현: P(X, Y) or P(X ∩ Y)
• 결합확률함수(Joint Probability Function): X는 x1, x2,... 을 가질 수 있고, Y는 y1, y2,... 를 가질 수 있다고 가정할 때 결합확률함수의 표현식은 아래와 같다. 단순하게 f(x, y)라고 쓰기도 하며 X와 Y가 가진 범위에서 결합확률함수의 값을 모두 더하면 1이다. 

• 예를 들어 X는 동전 1을 던졌을 때 결과, Y는 동전 2를 던졌을 때 결과라고 해보자.
  • 결합확률함수의 합: f(앞, 앞) + f(앞, 뒤) + f(뒤, 앞) + f(뒤, 뒤) = 1/4 + 1/4 + 1/4 + 1/4 = 1

 

주변확률

• 주변질량함수: 다변수 확률 변수 중 하나의 확률 변수에 대해서만 확률 분포를 나타낸 함수.
• 예를 들어 X가 수학 등급,  Y가 국어 등급을 나타내는 변수라고 했을 때, X를 기준으로 표현한 주변확률 질량 함수는 다음과 같다. 
  • Px(1) = Pxy(1, 1)+ Pxy(1, 2) + Pxy(1, 3) + Pxy(1, 4)
  • Px(2) = Pxy(2, 1)+ Pxy(2, 2) + Pxy(2, 3) + Pxy(2, 4)
  • Px(3) = Pxy(3, 1)+ Pxy(3, 2) + Pxy(3, 3) + Pxy(3, 4)
  • Px(4) = Pxy(4, 1)+ Pxy(4, 2) + Pxy(4, 3) + Pxy(4, 4)

주변질량함수