딥러닝 공부방

안녕하세요, 오늘 읽은 논문은 Mish, A Self Regularized Non-Monotonic Activation Function 입니다. Mish는 Computer Vision 딥러닝 구조에서 Swish, ReLU, Leaky ReLU 보다 좋은 성능을 타나냅니다. Mish Mish는 smooth, continuous, self-regularized, non-monotonic한 속성을 갖고 있습니다. Mish 특징 ReLU는 음의 값을 가진 입력값을 0으로 만들기 때문에, 정보 손실이 발생하는 문제점이 있습니다. Mish는 작은 음의 값을 허용하여 더 나온 표현력과 정보 흐름을 돕습니다. Mish는 양의 값에 대해서 제한이 없기 때문에 saturation을 방지합니다. 이는 기울기 소실로 인해 발..

안녕하세요, 오늘 읽은 논문은 CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features 입니다. CutMix는 모델이 객체의 차이를 식별할 수 있는 부분에 집중하지 않고, 덜 구별되는 부분 및 이미지의 전체적인 구역을 보고 학습도록 하여 일반화와 localization 성능을 높이는 방법입니다. 또한 train set과 test set의 분포가 다른 경우를 의미하는 OOD(out of distribution)와 이미지가 가려진 sample, adversarial sample에서의 robustness도 좋은 성능을 나타냅니다. 다른 augmentation 기법과 비교한 표입니다. CutMix는 classific..

안녕하세요, 오늘 읽은 논문은 'CPSNet: A new backbone that can enhance learning capability of cnn' 입니다. 이번 논문은 모델 구조를 gradient information 관점에서 설명하므로, 이해하는데에 오랜 시간이 걸렸습니다. 새로운 정보를 많이 담고 있는 만큼 다른 논문보다 좀 더 자세히 리뷰 하도록 하겠습니다. Cross Stage Partial Network(CSPNet)은 이미지를 추론하는 과정에서 backbone의 무거운 inference computation을 감소하려 합니다. 저자는 백본에서의 무거운 추론 연산량이 optimization 내에 있는 duplicate gradient information에 의해 발생한다고 결론을 짓습니다..

안녕하세요, 오늘 읽은 논문은 DropBlock, A regularization method for convolutional networks 입니다. 딥러닝 모델은 훈련 데이터에 과적합 하지 않도록 어느 정도 학습을 방해하는 요소가 필요합니다. 예를 들어, 데이터에 노이즈를 가하거나 패널티를 가하는 weight decay, drop out 방법을 사용할 경우에 더 높은 정확도를 갖습니다. fc layer에서 큰 효과를 나타내는 drop out 방법은 convolutional layer에서 영향력이 감소합니다. convolutional layer에서 활성화 함수는 공간적으로 연관되어 있기 때문에, drop out을 적용하더라도 입력에 대한 정보는 다음 layer로 전달될 수 있습니다. 이는 과적합을 초래합..

안녕하세요, 오늘 읽은 논문은 FCOS, Fully Convolutional One-Stage Object Detection 입니다. FCOS는 앵커 박스를 사용하지 않는 one-stage detector 입니다. 바운딩 박스의 4면으로부터 중심점 까지의 거리(l, t, r, b)를 예측하고, FPN의 각 level마다 거리 (l,t,r,b)를 제한하여 multi-level prediction을 합니다. 또한 낮은 퀄리티의 바운딩 박스를 제거하기 위해 center-ness를 제안합니다. anchor-based detector의 단점 FCOS는 anchor-based detector에서 발생하는 단점을 개선하기 위해 제안되었습니다. (1) 디텍션 성능이 앵커 박스의 크기, 종횡비, 개수에 예민합니다. 앵커..

안녕하세요! 오늘 읽은 논문은 Gaussian YOLOv3, An Accurate and Fast Object Detection Using Localization Uncertainty for Autonomous Driving 입니다. YOLOv3을 기반으로 한 Gaussian YOLOv3은 바운딩 박스 좌표의 불확실성을 측정하여 불확실성, object score, class을 기준으로 최종 바운딩 박스를 선택합니다. 기존의 YOLOv3은 object score와 class만을 최종 바운딩 박스를 선택했기 때문에, 불확실성이 추가된 Gaussian YOLOv3이 더 좋은 정확도를 나타냅니다. 실제로 YOLOv3보다 FP(False Positive)를 낮추고 TP(True Positive)를 높이는 결과를 ..

안녕하세요! 오늘 읽은 논문은 CenterNet, Keypoint Triplets for Object Detection 입니다. CenterNet은 두 쌍의 특징점으로 바운딩 박스를 예측하는 CornerNet의 단점을 개선하기 위해 세 쌍의 특징점을 활용합니다. 좌측 상단, 우측 하단, 중앙점 정보를 활용하여 바운딩 박스를 예측하며, 이를 위해 Center pooling과 Cascade corner pooling을 제안합니다. [논문 읽기] CornerNet(2018), Detecting Objects as Paired Keypoints 안녕하세요! 오늘 읽은 논문은 CornerNet, Detecting Objects as Paired Keypoints 입니다. CornerNet은 두 쌍의 특징점(key..

안녕하세요! 오늘 읽은 논문은 M2Det, A Single-Shor Object Detector based on Multi-Level Feature Pyramid Network 입니다. M2Det은 1-stage object detection model이며, FPN을 개선한 MLFPN을 제안합니다. MLFPN은 FFM, TUM, SFAM 세 가지 모듈로 구성되어 있습니다. M2Det은 왜 등장하게 되었을까요?? M2Det의 등장 배경 M2Det은 FPN의 한계을 개선한 MLFPN을 제안합니다. FPN의 한계는 다음과 같습니다. FPN의 한계 (1) FPN은 Object detection을 수행할만큼의 충분한 표현력을 갖고있지 못합니다. FPN은 backbone에서 생성한 feature map을 이용합니다..

안녕하세요! 오늘 읽은 논문은 CornerNet, Detecting Objects as Paired Keypoints 입니다. CornerNet은 두 쌍의 특징점(keypoints)를 사용하여 객체의 바운딩 박스를 예측하는 모델입니다. 두 쌍의 특징점은 좌촉 상단 모서리, 우측 하단 모서리를 의미합니다. 특징점을 기반으로 바운딩 박스를 생성하기 때문에 앵커 박스를 사용할 필요가 없습니다. 앵커 박스가 없는 detection 모델이라니..!! 신기하네요. ㅎㅎ CornerNet은 앵커박스를 사용하지 않고도 다른 모델을 뛰어넘는 성능을 보여줍니다. 특징점을 검출하기 위해 pose estimation에서 사용하는 hourglass를 backbone으로 사용합니다. hourglass의 출력값에 좌측 상단 특징점..

안녕하세요! 오늘 읽은 논문은 RefineDet, Single-Shot Refinement Neural Network for Object Detection 입니다. RefineDet은 1-stage 모델과 2-stage 모델의 장점을 모두 활용한 모델입니다. 실제 모델 구조를 보면, 1-stage 로 식별해야 할지 2-stage로 식별해야 할지 상당히 애매한 구조를 갖고 있습니다. 논문 저자는 1-stage 모델이라고 표현하네요. 대신에 Two-Step Cascaded Regression이라는 표현을 사용합니다. RefineDet RefineDet은 2가지 모듈로 구성되어 있으며, 이 두 모듈을 연결해줄 block이 존재합니다. 첫 번째 모듈은 ARM(anchor refinement module)이며 A..