close_btn
로그인, 회원가입후 더 많은 혜택을 누리세요 로그인 회원가입 닫기

2017년 2월 4일 연구노트

2017.02.04 12:40

음파선생 조회 수:952

* Conjugate Prior :

likelihood 분포와 posterior가 같다면,

특정 likelihood 분포는 특정 Prior 분포를 가지게 되는데.. 그 prior를 conjugate prior라고 부른다. 

(영어로는  prior is conjugate to likelihood 라고 표현하는듯)

 

ex. likelihood(어떤 실험데이터를 얻었을 때의 분포)가 bernoulli 분포였다면 (동전던지기 실험) prior는 beta 분포가 된다.

likelihood가 categorical 분포라면, prior는 dirichlet 분포가 된다.

 

예제.PNG

(위키피디아에서 가져온 예제 테이블)

 

* 이러한 성질을 이용하면,  

posterior분포는 likelihood * prior에 비례하기 때문에

posterior 분포를 쉽게 구할 수 있다.

그래서 bayesian inference에 많이 이용된다고 한다.

 

posterior = likelihood * prior 이므로,

MAP = alpha * MLE + (1-alpha)*(Prior Knowledge) 가 된다. (exponential family면 *가 +로 바뀐다고 생각하면 될 듯)

alpha는 데이터가 많이 쌓일 수록 1이 되고, 데이터가 없을 수록 0이 되도록 값이 나온다.