Day 10: Chapter 1-19 MLE (최대 우도 추정)에 대해

오늘 공부한 내용은 Ch.1-19 - MLE 최대 우도 추정에 대해서입니다.

 

Ch 1-19은 level 3 난이도이고 수업을 들어도 무슨 말인지 겨우 알아들을 수 있는 수준인 것 같습니다. 그만큼 통계학의 이해가 요구되고 이해를 못 해도 deep learning강의를 진행 못하는 게 아니니 일단은 최대한 이해를 해보려고 하고 그래도이해 안되는 부분은 해당 부분 (MLE)에 관한 블로그나 강의를 보면서 질문을 하는게 중요한 것 같습니다 - 모르는 부분을 채우면 또 이해에 한 발짜국 가까워지니깐요. 그래서 모르는 부분은 바로 ChatGPT나 검색포탈에 적극적으로 찾아 이해시키고 안 되면 내일 다시 시도하는 것도 방법입니다.

 

1.MLE가 뭔가요?

• MLE (maximum likelihood estimation)은 어느 분포에 대한 주요 수치(예를 들어 Gaussian distribution의 mean과 standard deviation 등)들을 주어진 measurements에 대해 optimal 하게 반영하는 거다.
• 이뿐만 아니라 조건부 확률로 봐도 좋다. 칠한 공 안 칠한 공 두 종류의 공이 들어 있는 주머니가 2개 있다. 주머니의 분포는 아무도 모르지만 주머니 안에 있는 공 종류의 확률은 주어진다.
• 예를들어 이런 상황이 있습니다:

P(● | A) = 1/2	P(● | B) = 2/3
P(○ | A) = 1/2	P(○ | B) = 1/3

그러면 A주머니에 대해, 그리고 B주머니에 대해 칠한 공의 확률은 어느 쪽이 더 가능성이 높은가요? B주머니 겠죠?

행을 보면 conditional probability를 보는 것이고 열을 보면 likelihood을 보는 것인게 된다. MLE는 그래서 optimal한 likelihood를 찾는 과정이다. 어느 분포에 대해 optimal (maximum)부분은 slope이 0을 갖으니 그 부분을 찾는게 답이 될수 있다. 하지만 local maximum이나 local minimum는 주의 해야 된다. 마지막으로 노트에서 P(AnB) = P(A) * P(B)는 모든 event의 probability가 independent 할때 성립한다.

 

다음 장에 필요한 부분이니 이 부분을 이해 못하면 Ch 5-4는 더 어려울것 같네요... ㅠㅠ 저도 지금 어려워서 영상을 2번 봤지만 아마 인터넷이 더 검색해 봐야 할것 같습니다.