딥러닝 공부방

안녕하세요, 최근에 NLP를 공부하고 있는데, CV에서 사용하는 attention을 생각하고 NLP의 attention을 공부했더니 이해가 잘 안되더라구요 ㅎㅎ 두 분야의 attention을 함께 살펴보도록 하겠습니다. Computer Vision CV에서 attention은 피쳐맵에서 픽셀 또는 채널 간 중요한 요소를 계산하여 중요도에 따른 가중치 정보를 담은 attention vector를 생성합니다. 그리고 이 attention vector를 피쳐맵에 곱하여 가중치를 가하죠. 대표적으로 SENet, CBAM, SKNet이 있습니다. SENet을 잠시 살펴보면 피쳐맵에서 채널 간 가중치를 계산하여 이 가중치를 피쳐맵에 element-wise로 곱합니다. class SEBlock(nn.Module): ..

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다. (k-mooc 통계학의 이해1, 여인권)을 수강하면서 정리해보았습니다. 자료들 간의 거리를 이용하여 산포도를 계산하는 방법(표본분산, 표본표준편차)을 알아보겠습니다. 자료분석에서 측정 단위에 영향을 받지 않게 만드는 표준화에 대해 알아보겠습니다. 그리고 평균으로 표본표준편차를 보정한 변동계수를 알아보겠습니다. (3) 표본분산과 표본표준편차 범위나 사분위수범위의 경우 특정 위치의 두 값을 이용하기 때문에 표본의 정보를 많이 활용하지 못합니다. 이런 문제를 해결하기 위해 모든 자료들 간의 거리의 합을 이용하는 것 입니다. 수학적으로 거리 $D$는 임의의 점 a, b, c에 대해 다음과 같은 성질을 만족합니다. 우리는 거리$D$의 성질 중 $D$(..