Piico의 일상

더보기 오늘의 공부: Ch 3-6에서 3-10까지 - mini-batch SGD - Moment - RMSProp - Adam (adaptive moment estimation) - Training, validation, test data - K-fold cross validation 어제에 이어서 챕터 내용을 진행하겠습니다: 이번에는 어제 공부한 SGD를 더욱 완화해 줄 것입니다. Mini-batch를 통해 낱개의 error에서 mini-batch-size만큼의 hyperparameter를 사용해 SGD가 tuning가능하게 만들면서 GD의 문제점을 어느 정도 고쳐주고. 어떻게 SGD의 방향이 '휙휙'튀는 현상을 더 '스무드'하게 만들어 주는 moment 또는 momentum, 그리고 마지막으로 RMS..

오늘의 공부: Ch 3-1에서 3-5까지 내용이 많아서 바로 시작 할께요~ TIL... 오늘 배운 내용들: - weight & biases in DL - linear regression - gradient descent - weight initialization (LeCun, Xavier, He) - stochastic gradient descent 1. Weights and biases: 인공 신경망은 input layer -> hidden layer -> activation layer -> output 으로 이뤄져 있다. Input은 x로 표현하고 최종 결과는 y hat(prediction)이다. Hidden layer의 구조는 상황에 따라 다르게 쓸 수 있고 deep learning을 돌리다 보면 ..

오늘의 공부: Ch2-1에서 2-5 원래는 수학 부분 (Chapter 1)을 끝내고 AI 파트를 배워 볼 생각이었지만 수학 파트를 한 번에 너무 많이 하면 흥미를 잃기도 하고 진도가 잘 안 나가는 것 같아 이번에는 좀 더 가벼운 내용인 Chapter 2를 다뤄볼게요. 아마 이 강의에서 가장 쉬운 부분이 아닌가 싶습니다. AI의 대략적인 파악을 알고 싶은 분들은 보시면 도움이 될 것 같습니다! TIL... 1. AI는 무엇인가, 어떻게 분류되는가? AI는 인간의 사고방식을 최대한 모방하고 인간하고 최대한 비슷하게 행동하는 결과를 내는 프로그램이다. 자, 그러면 AI, ML, DL 같은 용어들을 정리해 보겠습니다: 인공지능 (AI): 규칙을 기반한 알고리즘을 사용합니다 -> 스타크래프트 1 같은 싱글플레이어..

오늘의 공부: O.T., Ch1-3 에서 1-8까지 오늘 공부/복습한 내용은 선형대수-미적분에 관한 수학 내용이다. 빨리 deep learning부분을 배워보고 싶었지만 수업시간을 더 잘 활용하기 위해서는 foundation을 잘 짚고 넘아가기 때문에 강사님이 준비해 놓으신 수학 파트를 한번 훑어보기로 했다. 함수의 정의와 로그함수 부분은 먼저 뛰어넘었다... 다음에 헷갈린 부분이 있으면 다시 방문할 예정이다. 선형대수는 처음 듣는거라 내용이 많이 생소했지만, 미적분은 고등학교 때 배웠던 내용들이라 반가웠다. 강사님의 강의력은 아주 좋았다. 그럼에도 불구하고, 처음으로 접하는 내용일 경우 어렵게 느껴질 것이다. 물론 빨리 훑고 넘어 가는 거니 너무 신경 쓸 필요는 없는 듯하다. 지금 배우는 내용은 대부분..