곰퓨타의 SW 이야기

부스트코스 강의를 참고하였다 !! www.boostcourse.org/ai214/lecture/43769/?isDesc=false 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org VGG 개념을 익히기 위해서는 다음 유투브 채널을 알려주셨다. www.youtube.com/watch?v=KbNbWTnlYXs&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=38 case study : LeNet-5 5x5 convfilter 를 활용하고 stride=1을 한다. AlexNet ImageNet 경진대회에서 1등한 것이다. Input : 227 x 227 x 3 images First layer(CONV1) : 96개의 filter 11x..

이는 부스트코스의 강의를 참고하였다 . www.boostcourse.org/ai214/lecture/43768/?isDesc=false 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org 내 사진을 분류하는 deep learning model 만들기 Convolution layer : rgb 3 channel을 받아서, 출력사이즈는 6 channel로, kernel size는 5x5로 하고, padding 은 주지 않고, stride = 1로 하고자 함 maxpool layer : kernel_size = 2(2X2), stride =2 Convolution layer : 앞에서 6 channel size로 나왔으므로 in_c = 6이고, out_c = 16으로 하고..

이는 부스트코스의 파이토치로 시작하는 딥러닝 강의를 참고하였다. www.boostcourse.org/ai214/lecture/43767/?isDesc=false 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org 내가 가진 사진을 통해 딥러닝 모델 학습하기 1. 나만의 데이터 셋 준비하기 image 크기가 너무 큰 경우 줄여야 할 수 있다. [jupyter notebook에서 불러온 사진 보기 imshow] from matplotlib.pyplot import imshow %matplotlib inline 2. torchvision.datasets.ImageFolder로 불러오기 trans = transforms.Compose([ transforms.Resize((6..

이 강의 역시 부스트코스에서 제공하는 강의를 참고하였다. www.boostcourse.org/ai214/lecture/43766/?isDesc=false 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org visdom 사용법을 익히고 MNIST-CNN 학습에 적용하기 visdom 설치 pip install visdom jupyter notebook에서 terminal을 새로 킨 후, 다음 명령어를 입력한다. python -m visdom.server 크롬에서 localhost:8097 을 입력하면 visdom이 켜진 것을 확인할 수 있다. visdom 사용법 아래 코드에 너무 잘나와있다..! Pytorch github를 fork해서 주석을 달며 공부하면 좋을 것 같다..

부스트캠프 영상을 참고하였다 :) www.boostcourse.org/ai214/lecture/43765/?isDesc=false 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org 딥러닝을 학습시키는 단계 (code 기준) 1. 라이브러리 가져오기 (torch, torchvision, matplotlib 등) 2. GPU 사용 설정하고 random value를 위한 seed 설정하기 3. 학습에 사용되는 parameter 설정하기 (learning_rate, training_epochs, batch_sizes, etc) 4. 데이터셋을 가져오고 (학습에 쓰기 편하게) loader 만들기 5. 학습 모델 만들기(class CNN(torch.nn.Module)) 6. ..

www.boostcourse.org/ai214/lecture/43764/?isDesc=false 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org Convolution? 이미지 위에서 stride 값 만큼 filter(kernel)을 이동시키면서 겹쳐지는 부분의 각 원소의 값을 곱해서 모두 더한 값을 출력으로 하는 연산이다. output의 가장 첫번째 칸인 8이 나오는 과정은 다음과 같다!! Stride and Padding stride : filter를 한 번에 얼마나 이동할 것인가 (몇 칸씩 이동할 것인가) padding : zero-padding 가장자리에 0을 추가한다. Pytorch에서는 nn.Conv2d로 convolution layer 사용이 가능하다...

부스트코스에서 제공하는 강의를 바탕으로 만들어진 위키독스가 있는 것을 발견했다..! wikidocs.net/52415 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 바로 이 책이다!! 모르는 부분이 있다면 바로바로 눌러봐야 겠다~!

부스트코스 강의를 수강하면서 작성하였다!!! www.boostcourse.org/ai214/lecture/43762/ 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org Gradient Vanishing/ Exploding Gradient Vanishing Gradient가 너무 작아지면서 소멸하는 문제 Gradient Exploding Gradient가 너무 크게 발생하면서 생기는 문제 -> DNN의 학습이 어려워진다. Solution Change activation function -> sigmoid가 gradient vanishing을 야기하므로 ReLU activation function을 사용했었다! Careful initialization -> He ini..

부스트코스 강의를 수강중이다!!! www.boostcourse.org/ai214/lecture/43761/ 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org Overfitting 복잡한(고차원) 모델을 통해 train data를 분류해냈을 때, 너무 train에만 과적합하게 학습된 경우이다. train set과 test set이 완전히 일치하지 않기 때문에 고차원의 모델이 무조건적으로 학습이 잘된 모델은 아니다! train set에서는 높은 accuracy를 갖지만, test set에서는 낮은 accuracy를 갖는 모델은 overfitting 된 것이다. overfitting을 방지하기 위한 방법은 몇 가지 있다! - train data를 늘린다. - featur..

이 강의는 부스트코스에서 볼 수 있다!! www.boostcourse.org/ai214/lecture/43760/ 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org Why good initialization? weight를 무작위로 초기화해서 무식하게 초기화했다!! Geoffrey Hinton 교수님께서 말씀하신 것 중 일부분이다. weight 초기화 방법을 적용한 것이 훨씬 더 학습이 잘 되고 성능이 뛰어나다는 것을 볼 수 있다. 따라서 weight를 '잘' 초기화하는 것이 중요하다. ---> 어떻게 지혜롭게 initial weight value를 정할까?? - 상수로 초기화하기 (0으로 초기화하는 것은 좋지 않은 방식이다. backpropogation에서 gra..