[Bayesian] 랜덤 프로세스(Random Process)

https://www.edwith.org/bayesiandeeplearning/joinLectures/14426

Bayesian Deep Learning 강좌소개 : edwith

 

 최성준 교수님의 Bayesian Deep Learning 강의를 정리합니다.

---

Random Process

 랜덤 프로세스는 랜덤 변수의 확장판

 랜덤 벡터를 무한의 차원으로 확장하고 싶은 경우나 무한한 랜덤 변수를 설명하고 싶은 경우 Random process 이다.(주사위를 무한번 던지기)

 즉, 무한 차원의 random variable을 정의하고 싶을 때 사용하는 것이 random process.

 수학적으로 함수와 무한 차원은 같다. 함수의 공간에 확률을 부여한다고도 말할 수 있다.

 

 

 t에 따라 달라지는 랜덤 변수가 출력된다.

 랜덤 변수 index I와 표본공간 $\Omega$ 사이의 cartesian product를 하여 R 차원으로 mapping하는 것이 random process

 I는 randomness가 없기 때문에 시간 t가 고정되어 있으면 random process는 random variable이 된다. $\Omega$가 샘플 공간에서 무작위로 랜덤 변수를 추출하는 역할을 하기 때문.

 즉, 샘플 공간에서 원소를 추출할 때, 함수와 변수가 다르다. 샘플 스페이스에서 뭘 뽑을 때마다 함수가 달라진다는 의미.

 

 

 가변적으로 길이가 변하는 벡터에 모두 확률을 정의할 수 있으면 랜덤 프로세스가 된다. 길이가 t라고 불리는 인덱스로 정의된다. 무한 차원을 정의하기 어려우므로 가변적인 차원의 확률을 정의할 수 있다면 그것이 random process.

 

 

 random variable의 종류가 discrete, continuous 두 종류가 있었다면, Random process는 index에 대한 정보가 필요하다. 따라서 4종류.

 브라운 운동은 random process의 한 종류인데 관측 할때마다 하나의 path가 관측된다. 여러 path가 존재하므로 불규칙한 운동을 하는 것처럼 보인다.

 랜덤프로세스는 가변적으로 변하는 길이의 벡터를 표현해야 하므로 제약조건이 많다. 가우시안 랜덤 프로세스는 제약조건이 굉장이 예쁘게 되어 좋다. 가우시안은 평균과 분산만 알면 모든 것을 표현할 수 있어서 좋다.

 

 

 Mean function은 random variable 혹은 random process가 아니다. deterministic 한 값을 출력하기 때문.

 auto-correlation function은 하나의 랜덤 프로세스에서 두 개의 입력에 대한 평균

 auto-covariance function은 공분산

 cross-covariance function은 두 개의 random process에 대한 공분산

 가우시안 프로세스는 mean function와 auto-covariance function으로만으로 표현 가능하다.

 auto-correlation function이 머신러닝 논문에서 나오는 kernel function이 된다.

 

 

 Stationarity가 나오는 이유는 랜덤 프로세스자체가 너무 많은 것이 나올 수 있기 떄문이다. 함수 공간을 다루기 때문에 함수는 정말 다양하다. 다루고자 하는 범위를 좁히기 위해 stationarty를 고려.

 Stationarity는 k개의 random process이 존재할 때, t1부터 타우만큼 shift를 하는 것. 만약 1,3,5와 2,4,6 의 성질이 동일하다면 stationarity 라고 한다.

 

 몇 가지 성질이 있다. mean function이 타우만큼 밀렸을 때, t와 같아진다. 이 말은 mean이 상수인 것을 의미한다. stationarity random process에서 mean function은 항상 상수.

 

 

 stationarity를 만족하는 random process는 shift invariance한데, 이 경우에 위와 같은 성질을 갖게 된다. auto-correlation과 auto-covariance 함수가 두 시간 차이의 함수가 된다.

 랜덤 프로세스를 얘기할 때, 1,2,3 의 절대적인 시간을 보려는 것이 아니라 절대적인 숫자가 중요한게 아니라 시간 차이만큼만 신경 쓰고 싶은 것이다. 시간 차이에 대해서 random process를 얘기하고 싶은 것. 이 경우에 stationary random process라고 한다.

 auto-correlation function이 kernel function이 된다.