딥러닝 공부방

안녕하세요, 오늘 읽은 논문은 PANet, Path Aggregation Network for Instance Segmentation 입니다. PANet은 Mask R-CNN을 기반으로 Instance Segmentation을 위한 모델입니다. 이 논문에서 제안하는 Bottom-up path augmentation과 Adaptive feature pooling 방법은 YOLOv4에서 사용할 만큼 효과적인 성능을 나타내고 있습니다. PANet PANet은 (1) Bottom-up Path Augmentation, (2) Adaptive Feature Pooling, (3) Fully-connected Fusion 세 가지 방법을 제안합니다. 1. Bottom-up Path Augmentation Botto..

안녕하세요, 오늘 읽은 논문은 Mish, A Self Regularized Non-Monotonic Activation Function 입니다. Mish는 Computer Vision 딥러닝 구조에서 Swish, ReLU, Leaky ReLU 보다 좋은 성능을 타나냅니다. Mish Mish는 smooth, continuous, self-regularized, non-monotonic한 속성을 갖고 있습니다. Mish 특징 ReLU는 음의 값을 가진 입력값을 0으로 만들기 때문에, 정보 손실이 발생하는 문제점이 있습니다. Mish는 작은 음의 값을 허용하여 더 나온 표현력과 정보 흐름을 돕습니다. Mish는 양의 값에 대해서 제한이 없기 때문에 saturation을 방지합니다. 이는 기울기 소실로 인해 발..

안녕하세요, 오늘 읽은 논문은 CBN, Cross-Iteration Batch Normalization 입니다. CBN은 small batch size에서 발생하는 BN의 문제점을 개선하기 위해 이전 Iteration에서 사용한 sample 데이터로 평균과 분산을 계산합니다. 현재 가중치와 이전 가중치가 다르기 때문에 단순하게 이전 Iteration 에서 사용된 sample을 활용하면 추정된 통계값이 부정확 하여 성능에 악영향을 줍니다. CBN은 테일러 시리즈를 사용해 이전 가중치와 현재 가중치의 차이만큼 compensation하여 근사화 합니다. 매 반복마다 변화하는 가중치 값이 매우 작다고 가정하기 때문에 테일러 시리즈를 사용할 수 있습니다. Batch Normalization(BN) BN은 딥러닝에..

안녕하세요, 오늘 읽은 논문은 Distance-IoU Loss Fater and Better Learning for Bounding Box Regression 입니다. 이 논문에서는 bounding box regression loss인 CIoU Loss와 DIoU Loss를 제안합니다. DIoU Loss는 target box와 predicted box 사이의 IoU와 중심점을 요소로 Loss를 계산합니다. DIoU Loss는 NMS의 threshold로 사용합니다. IoU를 threshold로 사용하는 것보다 중심점과 IoU를 고려하는 DIoU를 threshold로 사용한다면 class가 동일한 ground-truth box가 겹쳐있는 경우에 supression 하는 것을 방지할 수 있습니다. CIoU ..

안녕하세요, 오늘 읽은 논문은 CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features 입니다. CutMix는 모델이 객체의 차이를 식별할 수 있는 부분에 집중하지 않고, 덜 구별되는 부분 및 이미지의 전체적인 구역을 보고 학습도록 하여 일반화와 localization 성능을 높이는 방법입니다. 또한 train set과 test set의 분포가 다른 경우를 의미하는 OOD(out of distribution)와 이미지가 가려진 sample, adversarial sample에서의 robustness도 좋은 성능을 나타냅니다. 다른 augmentation 기법과 비교한 표입니다. CutMix는 classific..

안녕하세요, 오늘 읽은 논문은 'CPSNet: A new backbone that can enhance learning capability of cnn' 입니다. 이번 논문은 모델 구조를 gradient information 관점에서 설명하므로, 이해하는데에 오랜 시간이 걸렸습니다. 새로운 정보를 많이 담고 있는 만큼 다른 논문보다 좀 더 자세히 리뷰 하도록 하겠습니다. Cross Stage Partial Network(CSPNet)은 이미지를 추론하는 과정에서 backbone의 무거운 inference computation을 감소하려 합니다. 저자는 백본에서의 무거운 추론 연산량이 optimization 내에 있는 duplicate gradient information에 의해 발생한다고 결론을 짓습니다..

안녕하세요, 오늘 읽은 논문은 DropBlock, A regularization method for convolutional networks 입니다. 딥러닝 모델은 훈련 데이터에 과적합 하지 않도록 어느 정도 학습을 방해하는 요소가 필요합니다. 예를 들어, 데이터에 노이즈를 가하거나 패널티를 가하는 weight decay, drop out 방법을 사용할 경우에 더 높은 정확도를 갖습니다. fc layer에서 큰 효과를 나타내는 drop out 방법은 convolutional layer에서 영향력이 감소합니다. convolutional layer에서 활성화 함수는 공간적으로 연관되어 있기 때문에, drop out을 적용하더라도 입력에 대한 정보는 다음 layer로 전달될 수 있습니다. 이는 과적합을 초래합..

안녕하세요, 오늘 읽은 논문은 EfficientDet: Scalabel and Efficient Object Detection 입니다. EfficientDet은 backbone으로 efficient net을 사용하며, weighted bi-directional feature pyramid network(BiFPN)과 compound scaling을 제안합니다. BiFPN BiFPN은 Cross-Scale Connection과 weighted feature fusion을 사용합니다. (1) Cross-Scale Connection 기존의 FPN은 한 방향으로만 정보가 흐른다는 단점이 존재합니다. 이를 해결하기 위해 PANet은 bottom-up path를 추가합니다. NAS-FPN은 architecture..

안녕하세요, 오늘 읽은 논문은 YOLOv4, Optimal Speed and Acuracy of Object Detection 입니다. YOLOv4는 빠른 실행 속도와 병렬 연산 최적화를 목표로 최신 기법을 적용하여 SOTA를 달성한 모델입니다. 다양한 최신 기법을 소개하고, 목적에 맞는 기법들을 선택합니다. 모르는 최신 기법들이 많이 보였습니다. 아직 공부가 많이 부족한 것 같네요...ㅎㅎ 추후에 하나하나 리뷰할 계획입니다. YOLOv4는 최종적으로 어떤 방법을 선택했는지 살펴보겠습니다. YOLOv4 YOLOv4는 다음과 같이 구성됩니다. 사용하는 기법은 다음과 같습니다. Bag of Freebies는 inference cost를 증가시키지 않고, training strategy 또는 training ..

안녕하세요, 오늘 읽은 논문은 FCOS, Fully Convolutional One-Stage Object Detection 입니다. FCOS는 앵커 박스를 사용하지 않는 one-stage detector 입니다. 바운딩 박스의 4면으로부터 중심점 까지의 거리(l, t, r, b)를 예측하고, FPN의 각 level마다 거리 (l,t,r,b)를 제한하여 multi-level prediction을 합니다. 또한 낮은 퀄리티의 바운딩 박스를 제거하기 위해 center-ness를 제안합니다. anchor-based detector의 단점 FCOS는 anchor-based detector에서 발생하는 단점을 개선하기 위해 제안되었습니다. (1) 디텍션 성능이 앵커 박스의 크기, 종횡비, 개수에 예민합니다. 앵커..