Lab 11-1 RNN Basics

부스트코스 강의를 듣고 정리하였다!!

www.boostcourse.org/ai214/lecture/43774/?isDesc=false

파이토치로 시작하는 딥러닝 기초

 

 

RNN in Pytorch

rnn = torch.nn.RNN(input_size, hidden_size)
# input data  : 3차원
outputs, _status = rnn(input_data)

 

 

Simple Example

- input
단어 'hello'를 rnn에 입력하는 과정

hello 를 1-hot encoding하기(혹은 다른 word embedding 기법 사용하여 단어사전 만들기)

 

- hidden state

외부로 값이 노출되는 값이 있고, 숨겨진 상태로 다음 sequence에 전달되는 값이 존재한다.

다음 sequence에 전달되는 값이 hidden state이다.

A를 선언하는 과정에서 hidden size를 알려주고 output으로 나가는 값은 사이즈가 같다. 이는 두번째 사진을 보면 이해할 수 있다!!

 

 

 

- sequence length

hello를 입력값으로 넣는 경우, input이 5개이므로, sequence length는 5가 된다.

 

- batch size

여러 개의 데이터를 하나의 batch로 묶어서 학습시킬 수 있다. 

 

 

따라서 Input_data shape의 구조는 다음과 같다.

input_data shape = (Batch Size, Sequence Length, input dimension)