딥러닝 공부방

안녕하세요, 이번 포스팅에서는 image segmentation 분야에서 자주 사용되는 metric인 Dice coefficient를 PyTorch로 구현해보겠습니다. 또한 이 dice coefficient를 loss로 활용하는 법도 살펴봅니다. Dice coefficient dice coefficient는 주로 medical image analysis에서 사용됩니다. 그리고 예측값과 gt 사이의 overlap area에 2를 곱하고 예측값과 gt 영역을 합한 것으로 나눠줍니다. 이는 IoU와 매우 유사합니다. Dice를 boolean data(binary segmentation map)에 적용할 때, Dice coefficient는 F1 score와 동일합니다. PyTorch 코드 아래 코드는 pred..

안녕하세요, 이번 포스팅에서는 PyTorch로 Knowledge Distillation을 구현해보도록 하겠습니다. 작업 환경은 Google Colab에서 진행했습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] PyTorch 구현 코드로 살펴보는 Knowledge Distillation(2014), Distilling the Knowledge in Neural Network 안녕하세요, 오늘 읽은 논문은 Distilling the Knoeledge in a Neural Network 입니다. 해당 논문은 Knowledge Distillation을 제안합니다. Knowledge Distillation은 teacher model이 갖고 있는 지식을 더 작.. deep-learning-..

이번 포스팅에서는 DCGAN을 PyTorch로 구현하고, STL-10 dataset으로 학습을 시킨 후에 학습된 generator이 생성한 가짜 이미지를 확인해보겠습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] 구현 코드로 살펴보는 DCGAN(2015), Deep Convolutional Generative adversatial networks 오늘 읽은 논문은 DCGAN, Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 입니다. DCGAN은 generator와 discriminator 구조에 CNN을 적용한 것입니다. 이미지.. deep-learning-stu..

RetinaNet을 파이토치로 구현하고, VOC dataset으로 전이 학습까지 진행해보도록 하겠습니다. Computer Vision을 공부하시는 분들에게 많은 도움이 됬으면 합니다. 저도 공부하는 과정에 있어, 구현이 완벽하지 않습니다. 개선점이 있다면 지적 바랍니다. 논문 리뷰는 아래에서 확인하실 수 있습니다. [논문 읽기] RetinaNet(2017) 리뷰, Focal Loss for Dense Object Detection RetinaNet 논문은 모델이 예측하기 어려운 hard example에 집중하도록 하는 Focal Loss를 제안합니다. ResNet과 FPN을 활용하여 구축된 one-stage 모델인 RetinaNet은 focal loss를 사용하여 two-stage 모델 Fas.. dee..

이번에 구현해볼 모델은 EfficientNet(2019) 입니다. EfficientNet은 강화학습으로 최적의 모델을 찾는 MnasNet의 구조를 사용합니다. MnasNet 구조에서 compound scaling을 적용하여 성능을 끌어올린 것이 EfficientNet입니다. compound scaling은 width, deepth, resolution 3가지 요소의 관계를 수식으로 정의해서 주어진 연산량에 맞게 효율적으로 width, deepth ,resolution를 조절하는 방법입니다. 자세한 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] EfficientNet(2019) 리뷰, Rethinking Model Scaling for Convolutional Neural Network..

안녕하세요! 이번 포스팅에서는 ResNext(2017)을 구현하고 학습까지 해보도록 하겠습니다. 작업 환경은 Google Colab에서 진행했습니다. ResNext는 Group Convolution을 제안한 논문입니다. Group Convolution을 활용하면, Conv 연산에서 필요한 연산량이 감소하게 되어서, 동일한 연산량 내에 더 많은 피쳐맵을 활용할 수 있는 이점이 있습니다. ResNext에서 사용하는 Group Convolution이 현재 최신 모델까지 이용하고 있는 것을 보면 영향력이 대단한 것 같네요ㅎㅎ 아래 포스팅에서 논문 리뷰를 확인하실 수 있습니다. [논문 읽기] ResNext(2017) 리뷰, Aggregated Residual Transformations for Deep Neura..

안녕하세요! 이번에 PyTorch로 구현해볼 모델은 MobileNetV1 입니다. MobileNetV1은 모델 경량화를 위해 Depthwise separable convolution을 활용하여 연산량을 감소한 모델입니다. 자세한 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] MobileNet(2017) 리뷰, Efficient Convolutional Neural Networks for Mobile Vision Applications 이번에 읽어볼 논문은 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Application 입니다. MobileNet은 Depthwise separable convolution을..

이번 포스팅에서는 GoogLeNet(Inception-v1)을 파이토치로 구현하고 학습까지 해보겠습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 리뷰] GoogLeNet (2014) 리뷰와 파이토치 구현 공부 목적으로 논문을 읽어보고 요약한 뒤에 파이토치로 구현해보았습니다 이번에 공부할 논문은 'Going deeper with convolutions' (GoogLeNet)입니다. LeNet-5를 시작으로 CNN은 이미지 분류에서 일반적 deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다! 스타도 부탁드리겠습니다! 1. 데이터셋 불러오기 데이터셋은 torchvision 패키지에서 제공하는 STL10 dataset을 이용합니다. STL10 ..

안녕하세요! YOLO를 PyTorch로 바닥부터 구현하기 part 2 입니다. 이 포스팅은 공부 목적으로 아래 게시글을 변역했습니다. How to implement a YOLO (v3) object detector from scratch in PyTorch: Part 2 Part 2 of the tutorial series on how to implement your own YOLO v3 object detector from scratch in PyTorch. blog.paperspace.com 바닥부터 YOLO v3 detector를 구현하는 튜토리얼의 Part 2 입니다. 지난 파트에서, YOLO가 어떻게 작동하는 지 설명했고 이번 파트에서는 YOLO에서 사용되는 layers를 PyTorch로 구현해..