Lab 10-5 Advance CNN(VGG)

부스트코스 강의를 참고하였다 !!

www.boostcourse.org/ai214/lecture/43769/?isDesc=false

파이토치로 시작하는 딥러닝 기초

VGG 개념을 익히기 위해서는 다음 유투브 채널을 알려주셨다.

www.youtube.com/watch?v=KbNbWTnlYXs&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=38

 

 

 

case study : LeNet-5

5x5 convfilter 를 활용하고 stride=1을 한다.

 

AlexNet

ImageNet 경진대회에서 1등한 것이다.

Input : 227 x 227 x 3 images

First layer(CONV1) : 96개의 filter 11x11x3 filter 활용, stride = 4

--> [55x55x96]  (∵((227-11)/4) + 1 )

parameters : (11*11*3) * 96 = 35K

 

second layer(POOL1 ) : 3x3 filters applied at stride 2

output volume : 27 x 27 x 96  (∵((55-3)/2) + 1 ) 

parameters : 0! (pooling 이므로 특별히 상관 없음)

 

이런식으로 구성된다.

Norm layer는 normalization 해주는 layer이다.

마지막에는 4096개의 뉴런에서 1000개의 label을 달아준다.

 

이는 처음으로 ReLU를 사용했다. 현재는 잘 사용하지 않지만 Norm layer를 사용하였고, dropout 도 0.5로 사용하였다.

 

GoogLeNet

 

ResNet

3.6%의 error 만 나오도록 발전한 모델이다.

AlexNet은 8개 layer고 VGG는 19개의 layer를 활용하였다. ResNet은 152개의 layer를 사용하였다..!

layer가 깊어지면 학습하기가 어려운데, 다음과 같은 방법으로 극복하였다.

전체적인 깊이는 깊지만 학습하는 입장에서는 깊지 않은 느낌으로 학습할 수 있도록 하였다.

 

Convolutional Neural Networks for Sentence Classification

text를 convolution으로 처리한 사례이다.

 

 

Alpha-GO 구조

 

(사람의 직관으로 여러가지 실험을 해본 결과, 좋은 모델을 도출해냈다고 하였는데, 학습이 잘되는 model들의 공통점은 없을까..?)

 

VGG Network 만들기

VGG-Net은 여러가지 layer 개수를 가진 모델이 있다.

그 중 VGG 16은 다음과 같은 구조로 구성되어 있다.

torchvision.models.vgg 라는 function이 있는데, 이는 vgg11 ~ vgg19까지 만들 수 있도록 되어있고, 3x224x224 입력을 기준으로 만들도록 되어 있다. 이 강의에서는 input size가 다른 경우 VGG를 적용할 지 어떻게 해야할지를 만들어본다 ..!

이는 vggnet에 있는 것을 뜯어서 만든 코드이다..! (모두를 위한 딥러닝 시즌2 github : github.com/deeplearningzerotoall/PyTorch/blob/master/lab-10_5_1_Advance-cnn(VGG).ipynb)