기괴기계 (인공지능, ROS, 확률 통계 etc..)

Markov 모델은 두 가지 기준에 따라 구분될 수 있다.상태가 완전히 관측 가능한가?상태 전이에 대한 제어가 가능한가?상태 전이에 대한 제어가 가능한 상태에서 MDP와 POMDP는 completely observable이라는 기준에 따라 구분된다.이 때, 상태 전이에 대한 제어라는 뜻은 사용자(또는 에이전트)가 상태 전이를 자신의 행동(action)을 통해 조작할 수 있는지에 대한 이야기이다.Markov Chain은 상태 전이가 순전히 확률적으로 결정상태 간 전이가 고정된 확률분포로만 이루어지며, 외부에서 개입할 수 없음.MDP는 에이전트가 행동(action)을 통해 상태 전이에 영향을 미칠 수 있음.$p(s_2|s_1,a_1)$을 흔히 Transition Probability라고 부르는데, 이 때 a..