딥러닝 공부방

안녕하세요, 오늘 읽은 논문은 CBN, Cross-Iteration Batch Normalization 입니다. CBN은 small batch size에서 발생하는 BN의 문제점을 개선하기 위해 이전 Iteration에서 사용한 sample 데이터로 평균과 분산을 계산합니다. 현재 가중치와 이전 가중치가 다르기 때문에 단순하게 이전 Iteration 에서 사용된 sample을 활용하면 추정된 통계값이 부정확 하여 성능에 악영향을 줍니다. CBN은 테일러 시리즈를 사용해 이전 가중치와 현재 가중치의 차이만큼 compensation하여 근사화 합니다. 매 반복마다 변화하는 가중치 값이 매우 작다고 가정하기 때문에 테일러 시리즈를 사용할 수 있습니다. Batch Normalization(BN) BN은 딥러닝에..

안녕하세요, 오늘 읽은 논문은 Distance-IoU Loss Fater and Better Learning for Bounding Box Regression 입니다. 이 논문에서는 bounding box regression loss인 CIoU Loss와 DIoU Loss를 제안합니다. DIoU Loss는 target box와 predicted box 사이의 IoU와 중심점을 요소로 Loss를 계산합니다. DIoU Loss는 NMS의 threshold로 사용합니다. IoU를 threshold로 사용하는 것보다 중심점과 IoU를 고려하는 DIoU를 threshold로 사용한다면 class가 동일한 ground-truth box가 겹쳐있는 경우에 supression 하는 것을 방지할 수 있습니다. CIoU ..

안녕하세요, 오늘 읽은 논문은 CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features 입니다. CutMix는 모델이 객체의 차이를 식별할 수 있는 부분에 집중하지 않고, 덜 구별되는 부분 및 이미지의 전체적인 구역을 보고 학습도록 하여 일반화와 localization 성능을 높이는 방법입니다. 또한 train set과 test set의 분포가 다른 경우를 의미하는 OOD(out of distribution)와 이미지가 가려진 sample, adversarial sample에서의 robustness도 좋은 성능을 나타냅니다. 다른 augmentation 기법과 비교한 표입니다. CutMix는 classific..

안녕하세요, 오늘 읽은 논문은 'CPSNet: A new backbone that can enhance learning capability of cnn' 입니다. 이번 논문은 모델 구조를 gradient information 관점에서 설명하므로, 이해하는데에 오랜 시간이 걸렸습니다. 새로운 정보를 많이 담고 있는 만큼 다른 논문보다 좀 더 자세히 리뷰 하도록 하겠습니다. Cross Stage Partial Network(CSPNet)은 이미지를 추론하는 과정에서 backbone의 무거운 inference computation을 감소하려 합니다. 저자는 백본에서의 무거운 추론 연산량이 optimization 내에 있는 duplicate gradient information에 의해 발생한다고 결론을 짓습니다..

안녕하세요, 오늘 읽은 논문은 DropBlock, A regularization method for convolutional networks 입니다. 딥러닝 모델은 훈련 데이터에 과적합 하지 않도록 어느 정도 학습을 방해하는 요소가 필요합니다. 예를 들어, 데이터에 노이즈를 가하거나 패널티를 가하는 weight decay, drop out 방법을 사용할 경우에 더 높은 정확도를 갖습니다. fc layer에서 큰 효과를 나타내는 drop out 방법은 convolutional layer에서 영향력이 감소합니다. convolutional layer에서 활성화 함수는 공간적으로 연관되어 있기 때문에, drop out을 적용하더라도 입력에 대한 정보는 다음 layer로 전달될 수 있습니다. 이는 과적합을 초래합..

백준 11047번 동전 www.acmicpc.net/problem/11047 11047번: 동전 0 첫째 줄에 N과 K가 주어진다. (1 ≤ N ≤ 10, 1 ≤ K ≤ 100,000,000) 둘째 줄부터 N개의 줄에 동전의 가치 Ai가 오름차순으로 주어진다. (1 ≤ Ai ≤ 1,000,000, A1 = 1, i ≥ 2인 경우에 Ai는 Ai-1의 배수) www.acmicpc.net 파이썬 풀이 n, k = map(int,input().split()) # 동전 수, 가치 arr = [] # 동전 가격 입력 for i in range(n): arr.append(int(input())) count = 0 # 필요한 동전 수 i = n-1 # arr 마지막 부터 탐색 while i >= 0: if k >= a..

백준 11399번 ATM www.acmicpc.net/problem/11399 11399번: ATM 첫째 줄에 사람의 수 N(1 ≤ N ≤ 1,000)이 주어진다. 둘째 줄에는 각 사람이 돈을 인출하는데 걸리는 시간 Pi가 주어진다. (1 ≤ Pi ≤ 1,000) www.acmicpc.net 파이썬 풀이 n = int(input()) # 사람 수 arr = list(map(int,input().split())) # 인출 시간 arr.sort() # 정렬 result = 0 for i in range(1,n): arr[i] += arr[i-1] # 인출 시간 갱신 print(sum(arr))

백준 2839번 설탕 배달 www.acmicpc.net/problem/2839 2839번: 설탕 배달 상근이는 요즘 설탕공장에서 설탕을 배달하고 있다. 상근이는 지금 사탕가게에 설탕을 정확하게 N킬로그램을 배달해야 한다. 설탕공장에서 만드는 설탕은 봉지에 담겨져 있다. 봉지는 3킬로그 www.acmicpc.net 파이썬 풀이 n = int(input()) # 설탕 result = 0 # 봉지 수 while n >= 0: if n % 5 == 0: # 5로 나눈 나머지가 0인 경우 result += n // 5 # 5로 나눈 몫 추력 print(result) break n -= 3 # 설탕이 5의 배수가 될때까지 반복 result += 1 # 봉지 추가 else: print(-1) # while문이 거짓이..

안녕하세요, 오늘 읽은 논문은 EfficientDet: Scalabel and Efficient Object Detection 입니다. EfficientDet은 backbone으로 efficient net을 사용하며, weighted bi-directional feature pyramid network(BiFPN)과 compound scaling을 제안합니다. BiFPN BiFPN은 Cross-Scale Connection과 weighted feature fusion을 사용합니다. (1) Cross-Scale Connection 기존의 FPN은 한 방향으로만 정보가 흐른다는 단점이 존재합니다. 이를 해결하기 위해 PANet은 bottom-up path를 추가합니다. NAS-FPN은 architecture..

안녕하세요, 오늘 읽은 논문은 YOLOv4, Optimal Speed and Acuracy of Object Detection 입니다. YOLOv4는 빠른 실행 속도와 병렬 연산 최적화를 목표로 최신 기법을 적용하여 SOTA를 달성한 모델입니다. 다양한 최신 기법을 소개하고, 목적에 맞는 기법들을 선택합니다. 모르는 최신 기법들이 많이 보였습니다. 아직 공부가 많이 부족한 것 같네요...ㅎㅎ 추후에 하나하나 리뷰할 계획입니다. YOLOv4는 최종적으로 어떤 방법을 선택했는지 살펴보겠습니다. YOLOv4 YOLOv4는 다음과 같이 구성됩니다. 사용하는 기법은 다음과 같습니다. Bag of Freebies는 inference cost를 증가시키지 않고, training strategy 또는 training ..