기록하는삶

엔트로피라는 개념은 열역학적 정의와 통계학적 정의 두 가지가 있는데, 이중 인공지능 분야에서 주로 다뤄지는 것은 통계학적 정의다. 엔트로피의 통계학적 정의는 정보 이론에 그 바탕을 두고 있는데, 정보를 표현하는 단위에 따라 또 다시 여러가지 표현이 가능하다. 이 글에서는 모든 정보를 0과 1로 이진화해 표현하는 경우에 해당하는 섀년의 아이디어를 중심으로 정리해본다. 1) 엔트로피(Entropy) 정의가 다소 난해하다. 엔트로피의 정의는 어떤 정보를 표현하는데 필요한 최소 자원량의 기댓값이다. 또는 정보 자체의 기댓값이라 표현할 수도 있다. 여기서의 '정보'란 그것이 나타날 확률에 반비례하는 값으로 정보가 등장할 확률에 대한 음의 로그로 표현하게 되는데, 이는 더 자주 일어나는 일은 정보가 적고 자주 일어..

사건 A가 일어난 상황(조건)에서 사건 B가 일어날 확률을 조건부확률이라 칭하며, 기호로 P(B|A)이라 표현한다. 사건 B가 일어날 확률인 P(B)를 모르는 상황에서, 사건 A가 일어날 확률인 P(A)와 사건 A가 일어난 상황에서, 그리고 일어나지 않은 상황에서 사건 B가 일어날 확률을 알고 있다면, 이를 통해 B가 일어날 확률을 계산할 수 있는데, 그것이 바로 베이즈 정리에 해당한다. 이는 '사전 확률을 이용해 사후 확률을 구할 수 있다' 등의 복잡한 용어를 사용해 표현하지만, 사실 사건 B가 일어나는 경우는 A가 일어났을 때 B가 일어나거나 A가 일어나지 않았을 때 B가 일어나는 두 가지 경우 밖에 없다는 간단한 원리에 기초한다. (아래의 그림에서 A1이 A가 발생한 경우, A2가 A가 발생하지 않..