딥러닝 공부방

황선규 박사님의 , 패스트 캠퍼스 OpenCV 강의를 공부한 내용을 정리해 보았습니다. 영상 잡음 제거(2) - 양방향 필터 - cv2.bilateralFIlter 가우시안 잡음 제거에는 가우시안 필터가 효과적입니다. 이처럼 잡음이 있는 지글지글한 부분을 가우시안 필터로 완만하게 수정할 수 있습니다. 하지만 가우시안 블러를 심하게 적용하면 영상에 있는 엣지 부분에 훼손이 생깁니다. 이 단점을 극복하기 위해 양방향 필터라는 기법이 생겼습니다. 양방향 필터 - Bilateral filter 가우시안 필터를 양쪽 방향으로 두번 한다고해서 이름이 붙여졌습니다. 평균 값 필터 또는 가우시안 필터는 에지 부근에서도 픽셀 값을 평탄하게 만드는 단점이 있습니다. 양방향 필터는 기준 픽셀과 이웃 픽셀과의 거리, 그리고 ..

황선규 박사님의 , 패스트 캠퍼스 OpenCV 강의를 공부한 내용을 정리해 보았습니다. 영상의 잡음 영상의 잡음(Noisr)는 영상의 픽셀 값에 추가되는 원치 않는 형태의 신호를 의미합니다. f(x,y) = s(x,y) + n(x,y) 여기서 f(x,y)는 획득된 영상, s(x,y)는 원본 신호, n(x,y)는 잡음을 의미합니다. 대부분의 경우 센서에서 잡음이 추가됩니다. 잡음의 종류 두 가지 잡음을 알아보겠습니다. (1) 가우시안 잡음(Gaussian noise) 대부분의 잡음 형태는 가우시안 형태입니다. 잡음이 가우시한 형태로 추가되는데 픽셀값에서 조금 더 어두워지거나 밝아지게 됩니다. (2) 소금$후추 잡음(Salt&Pepper) 요즘 소금 후추 잡음은 거의 없습니다. 잡음 제거(1) - 미디언 필..

사이토고키의 을 공부하고 정리해보았습니다. [딥러닝] 1. 가중치의 초깃값 - 초깃값을 0으로 하면? 사이토고키의 을 공부하고 정리해보았습니다. 가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값입니다. 가중치의 초깃값을 무엇으로 설정�� deep-learning-study.tistory.com 이전 포스팅에서 역전파 때 가중치가 똑같이 갱신되는 것을 방지하려면 가중치가 고르게 되어버리는 상황을 막아야 한다는 것을 배웠습니다. 가중치의 초깃값에 따라 은닉층의 활성화값 분포 변화 은닉층의 활성화값의 분포를 관찰하면 중요한 정보를 배웠습니다. 가중치의 초깃값에 따라 은닉층 활성화값들이 어떻게 변화하는지 실험을 해보겠습니다. 활성화 함수로 시그모이드 함수를 사용하는 5층 신경망에 무작위로 생성한..

사이토고키의 을 공부하고 정리해보았습니다. 가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값입니다. 가중치의 초깃값을 무엇으로 설정하느냐가 신경망 학습의 성패가 가르는 일이 자주 있습니다. 권장 초깃값에 대해 알아보고 실험을 통해 실제로 신경망 학습이 신속하게 이뤄지는 모습을 확인하겠습니다. 초깃값을 0으로 하면? 오버피팅을 억제해 범용 성능을 높이는 테크닉인 가중치 감소(weight decay) 기법을 알아보겠습니다. 가중치 감소는 간단히 말하면 가중치 매개변수의 값이 작아지도록 학습하는 방법입니다. 가중치 값을 작게 하여 오버피팅이 일어나지 않게 하는 것입니다. 가중치를 작게 만들고 싶으면 초깃값도 최대한 작은 값에서 시작해야 합니다. 그렇다면 가중치의 초깃값을 모두 0으로 설정하면 ..

사이토고키의 을 공부하고 정리하였습니다. 매개변수 갱신 - Adam 모멘텀은 공이 그릇 바닥을 구르는 듯한 움직임을 보였습니다. AdamGrad는 매개벼수의 원소마다 적응적으로 갱신 정도를 조정했습니다. 두 기법을 융합한 기법이 바로 Adam입니다. 위 두 방법의 이점을 조합했으므로 매개변수 공간을 효율적으로 탐색해줄 것이라고 기대할 수 있습니다. 하이퍼파라미터의 '편향 보정'이 진행된다는 점도 Adam의 특징입니다. Adam에 의한 최적화 갱신 경로를 확인해보겠습니다. Adam 갱신 과정도 모멘텀과 비슷한 패턴으로 움직입니다. 이는 학습의 갱신 강도를 적응적으로 조정해서 얻는 혜택입니다. Adam은 하이퍼파라미터를 3개 설정합니다. 하나는 지금까지의 학습률, 나머지 두 개는 일차 모멘텀용 계수와 이차 ..

사이토고키의 을 공부하고 정리하였습니다. AdaGrad 신경망 학습에서는 학습률 값이 중요합니다. 이 값이 너무 작으면 학습 시간이 너무 길어지고, 반대로 너무 크면 발산하여 학습이 제대로 이뤄지지 않습니다. 이 학습률을 정하는 효과적 기술로 학습률 감소(learning rate decay)가 있습니다. 이는 학습을 진행하면서 학습률을 점차 줄여가는 방법입니다. 학습률을 서서히 낮추는 가장 간단한 방법은 매개변수 '전체'의 학습률 값을 일괄적으로 낮추는 것입니다. 이를 더욱 발전시킨 것이 AdaGrad입니다. AdaGrad는 '각각의' 매개변수에 '맞춤형'값을 만들어 줍니다. AdaGrad는 개별 매개변수에 적응적으로 학습률을 조정하면서 학습을 진행합니다. AdaGrad의 갱신 방법은 수식으로는 다음과 ..

사이토고키의 을 공부하고 정리해보았습니다. 모멘텀 - Momentum 모멘텀은 '운동량'을 뜻하는 단어로, 물리와 관계가 있습니다. 모멘텀 기법은 수식으로 다음과 같이 쓸 수 있습니다. SGD와 비교해보았을 때 v라는 변수가 새로 나옵니다. 이는 물리에서 말하는 속도에 해당합니다. 기울기 방향으로 힘을 받아 물체가 가속된다는 물리 법칙을 나타냅니다. 모멘텀 구현 코드 class Momentum: def __init__(self, lr=0.01, momentum=0.9): self.lr = lr self.momentum = momentum self.v = None def update(self, params, grads): if self.v is None: self.v = {} for key, val in ..

사이토고키의 을 공부하고 정리하였습니다. 신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것 입니다. 이는 곧 매개변수의 최적값을 찾는 문제이며, 이를 최적화(optimization)이라고 합니다. 1. 확률적 경사 하강법(SGD) 매개변수의 기울기를 구해, 기울어진 방향으로 매개변수 값을 갱신하는 일을 몇 번이고 반복해서 점점 최적의 값에 다가가는 것이 확률적 경사 하강법(SGD)입니다. SGD는 수식으로 다음과 같이 쓸 수 있습니다. 여기에서 W는 갱신할 가중치 매개변수고 $\frac{\partial L}{\partial W}$은 W에 대한 손실 함수의 기울기 입니다. $\eta$는 학습률을 의미하는데, 0.01이나 0.001과 같은 값을 미리 정해서 사용합니다. SGD는 기..

황선규 박사님의 , 패스트 캠퍼스 OpenCV 강의를 공부한 내용을 정리했습니다. 언샤프 마스크 필터를 활용해서 영상에 샤프닝 적용하기 - np.clip, cv2.GaussianBlur 영상에 샤프닝을 적용하기 위해 언샤프 마스크가 필요합니다. 언샤프 마스크 필터링는 날카롭지 않은(unsharp) 영상, 즉 부드러워진 영상을 이용하여 날카로운 영상을 생성합니다. 1. 언샤프 마스크 필터의 이해 언샤프 마스크 필터는 기존 영상의 픽셀 + (기존 영상의 픽셀 - 가우시안 필터링으로 블러가 적용된 영상의 픽셀) 로 만들 수 있습니다. 기존 영상의 픽셀에서 픽셀 값이 변화하는 구간입니다. 가우시안 필터가 적용된 픽셀 값 입니다. 기존 영상의 픽셀 - 가우시안 필터가 적용된 픽셀 값 입니다. 위 사진을 기존 영상..

여인권 교수님의 KMOOC 강의 를 수강하면서 공부한 내용을 정리해보았습니다. 두 모집단 평균 비교 대응표본을 통해 모집단의 평균을 비교하는 방법을 알아보겠습니다. 대응표본에서의 평균 차에 대한 중심축량과 이를 바탕으로 한 구간추정과 가설검정방법을 알아보겠습니다. 1. 대응표본을 통해 모집단의 평균비교 예시 약의 유효성 평가는 어떻게 하면 좋을까? 두 운동화의 내구성 비교를 어떻게 하면 좋을까? 이 두 가지 경우와 같은 상황일 때 대응표본을 통한 모집단의 평균을 비교할 수 있습니다. 동일한 개체를 대상으로 처리 전후를 비교하거나 유사한 두 대상을 쌍으로 만들어 서로 다른 처리하고 처리효과에 차이가 있는지를 알아봅니다. 관측값의 기저 차이에 의해 발생하는 변동을 제거하고 순수한 처리효과를 유도할 수 있습니..