[AI] 10. Bayes' Net - Probabilistic Inference (작성중)

Probabilistic Inference 

Probabilistic Inference(확률적 추론)은 joint 확률 분포로부터 유용한 정보를 계산해는 것이다. 가령 특정 사건들이 일어 났을 때 Posterior(사후) 확률을 구할 수 있다. (어떤 사건이 일어났을 때 다른 사건이 원인일 확률) 혹은, Posterior 확률에 argmax 함수를 취해서 가장 posterior 확률이 높은 사건을 찾을 수도 있다.

Inference by Enumeration vs. Variable Elimination

Inference를 구하기 위한 가장 쉽고, 단순하고, 무식한(?) 방법은 나에게 필요한 정보를 모두 열거(Enumeration) 하는 것이다. 하지만 hidden variable을 삭제 시키기 전에 필요한 모든 joint 확률 분포를 찾아서 하나하나 열거시켜야 하다보니 매우 느리다. 

그래서 나온 아이디어가 Query와 관련 없는 variable을 하나하나 제거(elimination)해 나가는 것이다. 마치 dynamic programming을 떠오르게 하는 이 방법은 variable elimination 이라 부른다. 여기서 새로운 notation으로 factor에 대해 알아보자.

Factors

Inference by Enumeration

Inference를 구하기 위한 가장 쉽고, 단순하고, 무식한(?) 방법은 나에게 필요한 정보를 모두 열거(Enumeration) 하는 것이다. Inference by Enumeration은 아래 3가지 절차를 가진다.

• 문제에서 주어진 evidence variable 를 모두 골라낸다.

• 알려지지 않은 hidden variable을 삭제 시키기 위해 summing out한다.

• 남은 확률에 대해서 합이 1이 되도록 normalize 한다.

Variable elimination (exact, worst-case exponential complexity, often better)

Inference is NP-complete

Sampling (approximate)