Piico의 일상

오늘 공부한 내용은 Ch.1-19, 1-20입니다: Ch.1-19 MLE (maximum likelihood estimation) Ch.1-20 MAP (maximum a posteriori) Ch 5-5(softmax를 이용한 multiclass classification)를 듣다가 MAP라는 콘셉트가 나와서 강의가 이해가 안 돼 수학 파트를 찾아봤습니다. 아직 공부 안 한 MLE 하고 MAP파트를 봐야겠네요! 레벨 2 내용이라 MLE에 대한 이해도 잘 돼있어야 이해가 되는 나름 어려운 수준이네요. 1. MAP이 뭔가요? MAP (maximum a posteriori)는 P(x | z)인 posterior의 maximum을 찾는 것입니다. MLE (maximum likelihood estimation)..

오늘 공부한 내용은 Ch.1-19 - MLE 최대 우도 추정에 대해서입니다. Ch 1-19은 level 3 난이도이고 수업을 들어도 무슨 말인지 겨우 알아들을 수 있는 수준인 것 같습니다. 그만큼 통계학의 이해가 요구되고 이해를 못 해도 deep learning강의를 진행 못하는 게 아니니 일단은 최대한 이해를 해보려고 하고 그래도이해 안되는 부분은 해당 부분 (MLE)에 관한 블로그나 강의를 보면서 질문을 하는게 중요한 것 같습니다 - 모르는 부분을 채우면 또 이해에 한 발짜국 가까워지니깐요. 그래서 모르는 부분은 바로 ChatGPT나 검색포탈에 적극적으로 찾아 이해시키고 안 되면 내일 다시 시도하는 것도 방법입니다. 1.MLE가 뭔가요? MLE (maximum likelihood estimation)..

오늘 공부한 내용은 Ch.5-3입니다: - MSE를 그대로 쓰면 안 되나? 왜 logistic regression이 더 필요한가? 저번에 logistic regression에 대해 공부를 했습니다. 이번에는 MSE과 logistic regression을 한번 비교해 보겠습니다. 일단 미리 스포를 하자면 logistic regression이 장점이 더 많습니다. 그전에 상황을 좀 알아보겠습니다. 우리는 사진 input data가 있습니다. RGB 3-color channel로 있어서 100 pixel by 100 pixel인 이미지는 사실 input이 3 channels * 100p * 100p = 30000이겠습니다. 그다음에는 weights and biases가 있겠습니다. 그리고 activation ..

오늘 공부한 내용은 Ch.4-3, 5-1, 5-2입니다: - Ch. 4-3, 행렬 미분을 이용한 Backpropagation - Ch. 5-1, 선형분류와 퍼셉트론 - Ch. 5-2, Sigmoid를 이용한 이진분류 Ch 4-3은 level 2 내용이라 솔직히 조금 많이 어려웠습니다. 이 부분은 다시 복습해서 수정하겠습니다. Ch 5-1, 5-2는 이제 이중분류와 다중분류에 대해서배 우게 됩니다. 전에도 non-linear activation을 배웠지만 이번에는 더 많은 직관을 알게 되고 sigmoid에 대해서도 배우게 됩니다. 1. 선형분류와 퍼셉트론 일단 강의에서는 "살을 쪄야 하는 사람"과 "살을 빼야 하는 사람" 2 분류로 나누려고 한다. 주어진 input은 키와 몸무게가 있다. 두 데이터가 주어..

오늘 공부한 내용은 Ch.1-11, 1-12입니다: - Ch. 1-11, 왜 gradient는 가장 가파른 방향을 향할까? - Ch. 1-12, 벡터를 벡터로 미분하는 법 Ch 4-2에서는 행렬 단위로 미분을 하지 않고 iterative 하게 layer마다 노드과 노드 사이의 gradient descent을 하나 하나 했지만 이렇게 하면 할 계산이 많습니다. Chapter 1에서 배운 linear algebra내용을 잘 활용하면 수학적으로 계산해야 하는 부분의 구현도 쉬워질 수 있고 모든 weights and biases를 효율적으로 정리를 할 수 있다. 그래서 이번에는 1장에서 배운 gradient계산법하고 벡터를 벡터로 미분하는 법을 공부하겠습니다. 1. Gradient는 왜/어떻게 가장 가파른 방향..

오늘 공부한 내용은 Ch.4-2입니다: - Backpropagation - The maths behind backpropagation Chapter 4에서 배우고 있는 MLP(Multilayer perceptron)의 전체적인 과정은: 1. forward propagation (prediction) 2. backpropagation (calculate loss, update weights & biases) 3. repeat for X number of epochs 어제 배운 forward propagation은 prediction (output)을 내기 위해 X*W+b를 하고 non-linear activation function을 계산하는 과정이 나온다. 최종적은 결괏값은 output이다. 그리고 이 ..

강의 내용이 점점 어려워져서 영상을 많이 못 봤네요. 오늘의 주제는 "MLP, 행렬과 벡터로 나타내기 & 왜 non-linear activation 중요할까?"입니다. 1. MLP MLP가 뭔가요? MLP는 multilayer perceptron입니다. 전에 공부한 perceptron (가끔 single layer perceptron)은 단순한 인공 신경망입니다. 여기서 단순하다고 말한 이유는 layer가 1겹이라 그렇다. 0 또는 1을 출력해 binary classification에 쓰인다. 구조는 input -> final activation layer -> output이다. Multilayer perceptron은 hidden layer가 2이상이다. Input layer -> hidden laye..