Day 30: 9-4, 9-5, 9-6 Seq2seq의 개념 및 문제점
오늘 공부한 내용은 Ch.9-4 ~ 6입니다: - 9-4 Seq2seq 개념 - 9-5 Seq2seq의 문제점 및 해결방안들 - 마무리 1. 9-4. Seq2seq의 개념 및 문제점 어제 배운 "many to many"문제를 해결할 때 쓰는 RNN의 종류인 seq2seq에 대해 더 알아봐요. "Many to many"중에 특히 언어(번역)를 다룰 때에는 seq2seq을 쓴다고 배웠는데요, 이 seq2seq은 RNN의 고질적인 문제를 밝힙니다. 일단 마지막 단어에 비중을 많이 둔다는 문제가 있습니다. 마지막 단어에 비중을 많이 둔다는 것은 거꾸로 보면 앞에 있는 단어들을 별로 안 본다는 뜻이기도 해서 치명적인 약점입니다. 이 또한 vanishing gradient problem과 비슷한 문제를 일으키는데 ..
2023.03.21