딥러닝 공부방

이번 포스팅에서는 DCGAN을 PyTorch로 구현하고, STL-10 dataset으로 학습을 시킨 후에 학습된 generator이 생성한 가짜 이미지를 확인해보겠습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] 구현 코드로 살펴보는 DCGAN(2015), Deep Convolutional Generative adversatial networks 오늘 읽은 논문은 DCGAN, Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 입니다. DCGAN은 generator와 discriminator 구조에 CNN을 적용한 것입니다. 이미지.. deep-learning-stu..

오늘 읽은 논문은 DCGAN, Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 입니다. DCGAN은 generator와 discriminator 구조에 CNN을 적용한 것입니다. 이미지 특징을 포착하는 데에 특화되어 있는 CNN으로 모델 구조를 구성하므로 기존 FC layer로 구성되어 있는 GAN보다 성능이 탁월합니다. DCGAN의 generator와 discriminator이 어떤 구조를 갖고 있는지 구현 코드와 함께 살펴보겠습니다. 전체 구현 코드는 아래 깃허브에서 살펴보실 수 있습니다. Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTor..

이번 포스팅에서는 Conditional GAN을 PyTorch로 구현하고 MNIST dataset으로 학습한 후 generator이 생성한 가짜 이미지를 확인해보겠습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] 구현 코드로 살펴보는 CGAN(2014), Conditional Generative Adversarial Nets 오늘 읽은 논문은 CGAN(2014), Conditional Generative Adversarial Nets 입니다. GAN에 대한 배경지식이 있다고 가정하여 포스팅을 작성합니다. GAN 논문 리뷰는 아래 포스팅에서 살펴보실 수 있습니다. [논.. deep-learning-study.tistory.com 전체 코드는 아래 깃허브에서 확인하실 수 있습니다. ..

안녕하세요! 이번 포스팅에서는 PyTorch로 구현한 GAN을 MNIST dataset으로 학습한 후, 학습된 generator이 생성한 가짜 이미지를 확인해보겠습니다. 작업 환경은 Google Colab에서 진행합니다. 전체 코드는 아래 깃허브에서 확인하실 수 있습니다. Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch 공부 목적으로 논문을 리뷰하고 파이토치로 구현하고 있습니다. Contribute to Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch development by creating an account on GitHub. github.com 목차 1. 데이터셋 불러오기 2. 모델 구축하기 3..

오늘 읽은 논문은 GAN, Generative Adversarial Nets 입니다. 파이토치 코드와 함께 살펴보도록 하겠습니다. GAN은 Generator, Discriminator 두 개의 신경망으로 이루어져 있습니다. Generator Generator은 무작위로 생성한 noise로 가짜 이미지를 생성합니다. Generator PyTorch 구현 코드 # generator: noise를 입력받아 이미지를 생성합니다. class Generator(nn.Module): def __init__(self, params): super().__init__() self.nz = params['nz'] # 입력 노이즈 벡터 수, 100 self.img_size = params['img_size'] # 이미지 크기..

RetinaNet을 파이토치로 구현하고, VOC dataset으로 전이 학습까지 진행해보도록 하겠습니다. Computer Vision을 공부하시는 분들에게 많은 도움이 됬으면 합니다. 저도 공부하는 과정에 있어, 구현이 완벽하지 않습니다. 개선점이 있다면 지적 바랍니다. 논문 리뷰는 아래에서 확인하실 수 있습니다. [논문 읽기] RetinaNet(2017) 리뷰, Focal Loss for Dense Object Detection RetinaNet 논문은 모델이 예측하기 어려운 hard example에 집중하도록 하는 Focal Loss를 제안합니다. ResNet과 FPN을 활용하여 구축된 one-stage 모델인 RetinaNet은 focal loss를 사용하여 two-stage 모델 Fas.. dee..

안녕하세요! 이번에는 YOLOv3을 PyTorch로 구현하고 학습까지 해보도록 하겠습니다. 작업환경은 Google Colab에서 진행했습니다. YOLOv3 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] YOLOv3(2018) 리뷰 이번에 읽어볼 논문은 'YOLOv3: An Incermetal Improvement' 입니다. YOLOv3은 YOLOv2에서 개선된 버전입니다. 예를 들어, FPN을 사용하여 multi-scale에서 feature을 추출하고, shortcut connection을 활용한 D.. deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다. 아래 코드를 분석하여 구현해보았습니다. https://github.com/ayoo..

이번에 구현해볼 모델은 EfficientNet(2019) 입니다. EfficientNet은 강화학습으로 최적의 모델을 찾는 MnasNet의 구조를 사용합니다. MnasNet 구조에서 compound scaling을 적용하여 성능을 끌어올린 것이 EfficientNet입니다. compound scaling은 width, deepth, resolution 3가지 요소의 관계를 수식으로 정의해서 주어진 연산량에 맞게 효율적으로 width, deepth ,resolution를 조절하는 방법입니다. 자세한 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] EfficientNet(2019) 리뷰, Rethinking Model Scaling for Convolutional Neural Network..

안녕하세요. 파이토치로 SENet을 구현하고 학습해보도록 하겠습니다. SENet은 SEBlock을 제안한 신경망입니다. SEBlock은 피쳐맵의 채널별 가중치를 계산하고, 이 가중치를 residual unit의 출력 피쳐맵에 곱해줍니다. 이 방법으로 모델의 성능을 개선할 수 있었습니다. SEBlock의 장점은 CNN 구조라면 어떤 모델이든지 사용할 수 있다는 점입니다. resnet, mobilenet, efficientnet 등등 여러 모델에 부착하여 사용할 수 있습니다. 자세한 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] SENet(2018) 리뷰, Squeeze-and-Excitation Networks 이번에 읽어볼 논문은 SENet, Squeeze-and-Excitation ..

안녕하세요! torch.bernoulli 함수를 활용해서 Stochastic depth 학습 하는 법을 알아보겠습니다. 이 포스팅은 stochastic depth 학습을 구현하는 법을 잊을까봐 기록합니다. 아래 class는 efficientnet에서 사용하는 bottlenet 입니다. class BottleNeck(nn.Module): expand = 6 def __init__(self, in_channels, out_channels, kernel_size, stride=1, se_ratio=4, p=0.5): super().__init__() self.p = torch.tensor(p).float() if stride == 1 else torch.tensor(1).float() self.residual..