딥러닝 공부방

Understanding Analysis 를 공부하고 정리합니다. 1.1 $\sqrt2$는 무리수 일까? 제곱이 2가 되는 유리수는 없습니다. 귀류법으로 위 정리를 증명할껀데요. 귀류법은 정리의 모순을 참으로 가정하고 논리적 단계를 통해 오류가 존재하면 정리가 참이라는 것을 입증합니다. 따라서 제곱이 2가 되는 유리수가 존재한다는 가정부터 시작하겠습니다. 참고로 유리수는 (p/q)로 나타내어지는 수를 말합니다. 위 식에서 p와 q는 유리수이고 서로수라고 가정하겠습니다. 공약수가 존재하면 기약 분수 꼴로 다시 작성합니다. 위 식은 다음과 같이 풀어쓸 수 있습니다. 이 경우에 p는 2로 나누어 지므로 짝수라는 것을 알 수 있는데요. 홀수는 제곱해도 홀수이기 때문입니다. 이제 p는 짝수이므로 p=2r을 p에 ..

https://www.youtube.com/watch?v=P-m1Qv6-8cI&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=3 graph representation 의 선택에 대해서 소개한다 그래프 또는 네트워크의 구성요소는 무엇일까? 네트워크는 객체들의 두 종류로 구성된다 이 객체들을 노드(node) 또는 정점(vertice)라고 부른다. 이들 사이에 상호작용 또는 엣지를 갖는다. 그래프에 대해 무엇이 중요할까? 그래프는 common language이다. 적절한 graph representation을 선택하는 것은 중요하다. node와 edge를 무엇으로 선택하는지는 중요하다. 데이터셋이 주어졌을 때, node와 edge를 어떻게 선택할까? 유향 그래프와 무향 그래..

https://www.youtube.com/watch?v=aBHC6xzx9YI&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=2 이번 강의에서는 graph 머신 러닝과 넓은 분야에 적용한 영향들을 소개한다. 여러 종류의 task를 fomulate 한다. graph가 적용되는 예시를 보여준다. protein은 amino acid의 sequence인데 graph를 사용하여 protein의 3D 구조를 예측할 수 있다. 구글의 AlphaFold가 문제를 풀었다. node가 amino acid이고 edge가 가까운 amino acid. 여러 약을 혼합해서 먹을때 발생하는 부작용도 graph problem으로 볼 수 있다/ 위 drug 문제를 grpah 로 어떻게 fomulat..

https://www.youtube.com/watch?v=JAB_plj2rbA&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=1 graph는 관계 또는 상호작용으로 entities를 분석하거나 설명하기 위한 일반적인 언어이다. entity들이 위 그림처럼 그래프 구조 또는 연결에 따라 관계된다. 많은 데이터들이 그래프로 표현된다. 더 나은 예측을 위해 이 관계 구조의 이점을 어떻게 취해야 할까? 복잡한 도메인은 풍부한 관계 구조를 갖고 있고 이는 ralational graph로 표현될 수 있다. 관계들을 모델링 함으로써 더 나은 성능을 얻을 수 있다. 오늘날 딥러닝은 간단한 데이터에 특화되어있다. text나 speech 같은 seqeunce 데이터, 이미지는 고정된 크..

K-평균 군집화(K-Means Clustering) K-means clustering은 데이터 셋을 K개의 구별되고 겹치치 않는 cluster으로 분할하는 방법입니다. k-means clustering을 수행하기 위하여 cluster의 수 K를 정해야 합니다. 그리고나서 K-means algorithm은 각 관측값을 정확히 K개의 cluster 중 하나에 할당합니다. 아래 그림은 150개의 관측치로 구성된 데이터에 서로 다른 K값을 사용하여 K-means clustering을 수행한 결과입니다. K-means Clustering 절차 $C_1, ... C_K$를 각 cluster 내 관측치들의 인덱스들을 포함하는 집합이라고 하겠습니다. 이 집합은 두 가지 성질을 갖습니다. 1. 각 관측치는 적어도 K개 ..

많은 수의 상관관계를 지닌 변수들이 존재하는 경우에 주성분 요소(Pricipal components)들은 적은 수로 변수들을 요약합니다. 따라서 주성분 요소를 활용하여 회귀를 진행하면 variance가 낮은 통계 모델을 얻을 수 있습니다. 이번 포스팅에서 공부할 주성분 분석(PCA)은 주성분 요소들을 계산하는 과정이며 주성분 요소들을 연속적으로 사용하여 데이터를 이해하는 과정입니다. 주성분 분석은 지도학습 문제에 사용하기 위한 파생 변수(derived variables)를 생성할 뿐만 아니라 데이터 시각화를 위한 도구로서 역할을 수행합니다. 주성분 분석(PCA, Principal Component Analysis) 탐색적 자료 분석(exploratory data analysis)로서 p개의 변수들에 대한..

나중에 읽으려고 정리한 논문들입니다. ㅎㅎ 필요하신 분이 계실수도 있으니 공유합니다. 댓글로 vision transformer 논문 추천해주셔도 됩니다 ㅎㅎ Transformer가 서로 다른 데이터 사이에도 적용할 수 있고 데이터 종류에 따라 구조를 변경하지 않아도 되는 장점을 활용한 여러 분야에서 논문들 DPN, depth estimation, https://arxiv.org/abs/2103.13413 Point Transformation, Point cloud https://arxiv.org/abs/2012.09164 Perceiver, audio, video, point clouds, image, https://arxiv.org/abs/2103.03206 UniT, Multimodal, https:..

https://towardsdatascience.com/recent-developments-and-views-on-computer-vision-x-transformer-ed32a2c72654 Recent Developments and Views on Computer Vision x Transformer On the differences between Transformer and CNN, why Transformer matters, and what its weaknesses are. towardsdatascience.com 위 게시글을 번역했습니다. Why is Vision Transformer so accurate? Vision Transformer의 연구는 오랫동안 지속되어 왔는데요. 하지만 아직 Im..

서포트 벡터 머신(Support Vector Machine) 서포트 벡터 머신(SVM, support vector machine)은 서포트 벡터 분류기(support vector classifier)의 확장으로, 커널(kernel)을 사용하여 변수 공간을 확장한 결과입니다. 변수와 출력값 사이의 비선형 관계를 설명하기 위하여 변수 공간을 확장해야 하는데, SVM은 커널을 사용하여 효율적인 연산량으로 변수 공간을 확장한 방법입니다. 서포트 벡터 분류기 문제에 대한 해는 관측값들의 내적만이 관련이 있습니다. 두 관측치 사이의 내적은 다음과 같이 주어집니다. 선형 서포트 벡터 분류기(Linear support vector classifier)는 다음과 같이 나타낼 수 있습니다. 여기서 n개의 파라미터 $\al..

비선형 결정 경계에서 분류(Classification with Non-linear Decision Boudaries) 만약 두 class 사이의 경계가 선형이면, 두 개의 class를 지닌 dataset에서 서포트 벡터 분류기(support vector classifier)는 자연스러운 선택입니다. 하지만 비선형 class 경계를 지닌 데이터셋의 경우에는 어떨까요? 위 그림을 살펴보면 Support vector classifier가 찾은 선형 경계가 두 class 분류를 수행하지 못합니다. 이처럼 변수와 출력값 사이의 비선형 관계가 존재하는 경우에 선형 분류기는 성능이 좋지 않습니다. 이 경우에 변수들의 고차 다항식, 3차, 2차를 사용하여 feature space를 확장함으로써 class 사이의 비선형..