Piico의 일상

올해 2번째 신촌ICPC를 참가하게 되었다. 신촌 ICPC는 겨울/여름에 대회가 열리고, 참가하는 대학들은 연세/서강/이화/홍익/숙명대가 있다. 참여해본 적은 없지만 방학 때 알고리즘 특수 훈련교육을 하는 것으로 알고 있다. 대회는 각 대학에서 참여 하고 싶은 사람들은 3인 1조로 신청을 하면 된다. 신청은 각 대학의 대표 알고리즘 동아리 멤버를 연락하길 바란다. 동아리 소속이 아니어도 참여가 가능하니 일단 문의를 해보는 것을 추천한다. 대회 공지는 에타의 여러 게시판에 회장님이 올렸었다. 백준을 통해 hosting한 대회며 온라인으로 참여하면 된다.1학기에 열린 겨울 SUAPC에서는 연세대학교에서 1등을 했지만, 이번에는 서강대학교가 1등을 했다. 대회에 쉽고 어려운 문제들이 골고루 섞여 있어 뉴비들과..

Laplace가 probability를 이렇게 정의하였다:"The probability that A occurs" $:= \mathbb{P}[A] = \frac{|A|}{|S|} = \frac{|A|}{n}$where $S$ is the sample space, $A$ is a subset of $S$, and $|S| = n$. 요즘은 중학교에서도 배우는 내용이겠지만 처음 정의됐을 때 만큼은 혁신적이었을 것이다. Probability theory는 도박류 게임을 연구하기 위해 1700~1800년대에는 많은 관심을 끌었다. 지금은 공학에서 필수적으로 배우는 학문 중 하나이다. 정의는 쉽게 이해가 되지만, Counting문제와 비슷하게 많이 까다로울 때가 많다. From a standard deck of ..

오늘 공부한 내용은 Ch.9-4 ~ 6입니다: - 9-4 Seq2seq 개념 - 9-5 Seq2seq의 문제점 및 해결방안들 - 마무리 1. 9-4. Seq2seq의 개념 및 문제점 어제 배운 "many to many"문제를 해결할 때 쓰는 RNN의 종류인 seq2seq에 대해 더 알아봐요. "Many to many"중에 특히 언어(번역)를 다룰 때에는 seq2seq을 쓴다고 배웠는데요, 이 seq2seq은 RNN의 고질적인 문제를 밝힙니다. 일단 마지막 단어에 비중을 많이 둔다는 문제가 있습니다. 마지막 단어에 비중을 많이 둔다는 것은 거꾸로 보면 앞에 있는 단어들을 별로 안 본다는 뜻이기도 해서 치명적인 약점입니다. 이 또한 vanishing gradient problem과 비슷한 문제를 일으키는데 ..

오늘 공부한 내용은 Ch.9-4입니다: - RNN유형 - seq2seq 먼저 요즘 학업 부담으로 블로그나 글이 점점 디테일이 줄어드는 부분에 대해서는 죄송하다고 말씀 드립니다. 틀리거나 부족한 부분은 학기중에 천천히 채워가겠습니다. 아마 30일 챌린지를 끝내면, 기존에 있던 글을 조금식 편집할 생각입니다. 처음 배우는 내용인 만큼 더 열심히 하겠습니다. 저번에는 plain recurrent neural networks에 대해서 공부를 해봤습니다. 하지만 RNN은 고질적인 문제가 있다: 저번 블로그에서 본 1. 멀수록 잊혀지는 것과 2. potential vanishing gradient problem이 있었다. 이 문제 해결을 위해 우리는 seq2seq에 대해서 배워볼꺼다. 1. RNN유형 Recurre..

오늘 공부한 내용은 Ch.7-8입니다: - RNN 그리고 vectorized formula - RNN backdrops 그리고 구조적 한계 Perceptron -> MLP -> CNN -> RNN. 한 달이지만 많은 내용을 공부했죠? 오늘은 마지막 chapter인 Recurrent neural network에 대해 공부해 봅시다. 아직 갈길은 멀지만 그래도 기초를 이렇게 공부하니 논문도 읽어보고 구현도 해보는 계기가 되는 것 같네요. 1. Recurrent neural network이란? RNN이란 input을 sequentially feeding하는 모델입니다. 그래서 RNN의 응용은 광범위합니다. 예를 들어 언어에서 문장을 보면 글의 순서가 중요하지 않습니까? 문장들은 sequential data라 ..

오늘 공부한 내용은 Ch.8-8입니다: - Beautiful insight for convolutional neural networks 저번 수업에서는 CNN에 대해서 더 많은 내용을 배웠습니다. 우리는 filter, convolution, padding, stride, pooling, feature map, VGGNet을 이제 배웠습니다. 그리고 오늘은 MLP vs CNN을 비교도 해보고 큰 그림인 "왜 CNN이 이미지 데이터에 대해선 더 좋을까?"라는 질문에 대해 생각을 해볼 것입니다. 저번에도 배운 내용이긴 하지만 CNN은 위치별 특징을 잘 추출한다고 배웠습니다. 하지만 다른 이유도 있으니 오늘 그 부분에 대해 공부해 봅시다. 1. 왜 CNN이 이미지 데이터에 대해선 더 좋을까? 1번은 위치별 특징..

오늘 공부한 내용은 Ch.8-6, 8-7입니다: - VGGNet, 그리고 VGGNet의 실습 이제 CNN을 배웠으니 CNN의 implementation인 VGGNet에 대해 알아봅시다. VGGNet은 2014년에 Oxford의 VGG (Visual Geometry Group)에서 만들었습니다. 10년이 지난 논문이지만 아직도 image recognition분야에서는 많이 사용되는 아주 중요하고 클래식한 모델이라고 할 수 있겠습니다. VGGNet의 architecture는 이렇습니다: 저번에 배운 filter를 이용해 convolution연산을 하고 stacking을 하여 feature map을 얻어 max pooling으로 이어나가는 모델입니다. 끝에 가면 다시 MLP에서 공부한 FC4096 layer로..