Probability Theory

Chapter 1, Measure Theory

• $\sigma-$field

  • $\mathscr{F}$ : collection of subsets of set $\Omega$

  • 이 때, $\mathscr{F}$가 field인 것은 $\Omega\in\mathscr{F}$이고 $\mathscr{F}$가 finite union과 complementation에 closed해 있다와 필요 충분조건이다. 이는 즉,
    1. $\Omega\in\mathscr{F}$
    2. $A\in \mathscr{F}\iff A^c\in\mathscr{F}$
    3. $A_1$, $A_2$, $\cdots$, $A_n\in\mathscr{F}$ $~\Rightarrow~\displaystyle\bigcup_{i=1}^nA_i\in\mathscr{F}$
       • $\displaystyle\bigcap_{i=1}^n A_i=\left(\bigcup_{i=1}^nA_i{\it}^c\right)^c\in\mathscr{F}$
       • 일단, 2번에 의해 각각의 여집합이 $\mathscr{F}$에 속하고, 3번에 의해 합집합들도 동일하다. 다시 2번에 의해 이의 교집합들이 $\mathscr{F}$에 속함을 증명가능하다

  • 3번 조건 같은 경우 finite에 대해 정의가 되어있는데, 이를 확장하여 countable union에 대해 적용하자. ($\sigma-$algebra, $\sigma-$field 조건)

    4. $A_1$, $A_2$, $\cdots$, $\in\mathscr{F}$$~\Rightarrow~\displaystyle\bigcup_{i=1}^\infty A_i\in\mathscr{F}$

  • $\mathscr{F}$내에 있는 countable union of sets를 $A$라 하자. 즉, $\displaystyle A=\bigcup_{n=1}^\infty A_n$이다.

  • 이 때, $B_i=\displaystyle\bigcup_{n=1}^iA_n$라 하면, $B_i\subset B_{i+1}$이다. 따라서, $B_i\uparrow A$

  • 따라서, $\sigma-$field는 limits of increasing sequence에 닫혀 있다.($X$의 increasing sequence의 limit가 X에 속하므로, $A_1$, $A_2$,$\cdots$, $A_n$이 increasing sequence이고 $X$에 속하면 이의 극한도 동일하게 X에 속함 by 3)

• Generated By set

  • 모든 집합 $F\subset \mathscr{F}$에 대해 $\mathcal{P}\left(F\right)$를 이용하여 가장 작은 $\sigma$-algebra를 정의 하는 것이 가능함. (여기서 가장 작은의 의미는 모든 $\sigma$-algebra가 공통적으로 들고 있는 것을 의미)

    ⇒ 이를 $\mathcal{M}\left(F\right)$ 라 하고, $F$를 포함하는 가장 작은 $\sigma$-algebra이다.

    ⇒ 보통 generated by $F$라고 한다.

    • $\mathcal{E}\subset\mathcal{M}\left(\mathcal{F}\right)~\Rightarrow~\mathcal{M}\left(\mathcal{E}\right)\subset\mathcal{M}\left(\mathcal{F}\right)$

  • Lemma 1.1
    • Proof

      • $\mathcal{M}\left(\mathcal{E}\right)$이 $\mathcal{E}$로부터 생성된 "가장 작은" $\sigma$-algebra임을 생각하자.

      • 이 때, $\mathcal{M}\left(\mathcal{F}\right)$도 동일하게 $\sigma$-algebra이고 $\mathcal{E}$를 포함하므로, 당연히 $\mathcal{M}\left(\mathcal{E}\right)\subset\mathcal{M}\left(\mathcal{F}\right)$ 이다. 만족하지 않으면 최소라는 조건을 모순하게 된다.

  • 모든 open set들을 포함하는 set에 의해 생성된 $\sigma$-algebra를 Borel $\sigma$-algebra라 한다.

  • $\left\{X_\alpha\right\}_{\alpha\in A}$에 대해, $X=\prod_{\alpha\in A}\,X_\alpha$ 라 하자.

  • 이 때, $\pi_\alpha\,:\,X\rightarrow X_\alpha$를 정의하자. (coordinate map)

  • $\mathcal{M}_\alpha$를 $X_\alpha$ 위에 생성된 $\sigma$-algebra라 칭할 때, product $\sigma$-algebra를 아래로 정의하자.

    $\bigotimes_{\alpha\in A}\mathcal{M}_{\alpha}\,:=\mathcal{M}\left(\left\{\pi_\alpha ^{-1}\left(E_\alpha\right)\ :\ E_\alpha\in\mathcal{M}_\alpha,\ \alpha\in A \right\}\right)$

  • Prop 1.3
    • $A$ is countable $\Rightarrow$ $\bigotimes_{\alpha\in A}\mathcal{M}_\alpha=\mathcal{M}\left(\left\{\prod_{\alpha\in A}E_\alpha\,:\,E_\alpha\in\mathcal{M}_\alpha\right\}\right)$
    • Proof

      • $A=B~\Leftrightarrow~A\subseteq B~\vee~B\subseteq A$

      • $\left(\subseteq\right)$
        • Lemma 1.1을 활용한다.
          • $\mathcal{E}\subset\mathcal{F}~\Rightarrow~\mathcal{M}\left(\mathcal{E}\right)\subset\mathcal{M}\left(\mathcal{F}\right)$
          • $\beta\neq\alpha$에 대해 $E_\beta=X_\beta$, $\beta=\alpha$에 대해선 $E_\beta=E_\alpha$로 하면 $\pi_\alpha^{-1}\left(E_\alpha\right)=\prod_{\beta\in A} E_\beta$가 성립
          • 이는 $\left\{\prod_{\alpha\in A}E_\alpha\,:\,E_\alpha\in\mathcal{M}_\alpha\right\}$의 subset이므로 성립

      • $\left(\supseteq\right)$
        • $x\in\left\{\prod_{\alpha\in A}E_\alpha\,:\,E_\alpha\in\mathcal{M}_\alpha\right\}$라 하자.
        • 알기 쉽게 나열하면, $\left(A_1,~A_2,~A_3,~\cdots,\right)$이다.
        • 이는, 첫 번째에 $A_1$이 있는 것들과 두 번째에 $A_2$가 있는 것들과, $\cdots$의 교집합이다.
        • 이 때 첫 번째에 $A_1$이 있는 것들의 집합은 $\pi_{\alpha}^{-1}\left(A_1\right)$, 두 번째에 $A_2$이 있는 것들의 집합은$\pi_{\alpha}^{-1}\left(A_2\right)$, $\cdots$로 표현이 가능하다.
        • $\therefore~\left(A_1,~A_2,~\cdots,~,\right)=\cap_{\alpha\in A}\,\pi_{\alpha}^{-1}\left(A_\alpha\right)\subset \left\{\pi_{\alpha}^{-1}\left(E_\alpha\right)\,:\,E_\alpha\in\mathcal{M}_\alpha\right\}$
        • 동일하게 Lemma 1.1을 활용하면 성립

  • Prop 1.4
    • $\mathcal{M}_\alpha=\mathcal{M}\left(\mathcal{E}_\alpha\right)$라 하자.
    • $\bigotimes_{\alpha\in A}\,\mathcal{M}_\alpha=\mathcal{M}\left(\left\{\pi_{\alpha}^{-1}\left(E_{\alpha}\right)\,:\,E_\alpha\in\bold{\mathcal{E}_\alpha},~\alpha\in A\right\}\right)$
    • Proof

      • 편의를 위해 $X:=\left\{\pi_\alpha^{-1}\left(E_\alpha\right)\,:\,E_\alpha\in\mathcal{M}_\alpha,~\alpha\in A\right\}$

        $Y:=\left\{\pi_\alpha^{-1}\left(E_\alpha\right)\,:\,E_\alpha\in\mathcal{E}_\alpha,~\alpha\in A\right\}$

      • $\mathcal{M}\left(Y\right)\subset \mathcal{M}\left(X\right)$ 임은 자명하다. ($\mathcal{E}_\alpha\in\mathcal{M}_\alpha$이므로 $X$ 안에는 $E_\alpha=\mathcal{E}_\alpha$일 때도 존재)

      • 따라서, $\mathcal{M}\left(X\right)\subset\mathcal{M}\left(Y\right)$임을 보이면 된다.

      • $X\subset Y$임을 보여주는건.. 불가능하니까 $X\subset \mathcal{M}\left(Y\right)$임을 보여주는 식으로 가자.

      • 즉 우린, $\forall\,E\in\mathcal{M}_\alpha\,:\,\pi_\alpha^{-1}\left(E\right)\in\mathcal{M}\left(Y\right)$ 임을 증명하는 것이 목표

      • $\mathcal{M}\left(\mathcal{E}_\alpha\right)$는 "$\mathcal{E}_\alpha$가 포함된 가장 작은 $\sigma$-algebra"이므로, 동일하게 $\mathcal{E}_\alpha$가 포함되어 있는 $\sigma$-algebra를 가져오면 이는 $\mathcal{M}\left(\mathcal{E}_\alpha\right)$를 subset으로 들고 있다.

      • 근데 증명하는 것에 $\pi_\alpha$에 대한 함수가 있으니.. 이를 근간으로 구성을 해보자.

      • 이 때, $\pi_\alpha$는 mapping임을 유의한다.
        • 이는 $T\subset X_\alpha$에 대해서 $\pi_\alpha^{-1}\left(T\right)$도 well-defined를 의미한다.

      • 그러니까 우리는 $\pi_\alpha^{-1}\left(X\right)\in\mathcal{M}\left(Y\right)$를 만족하는 모든 집합 $X$를 모아보자!
        • 우리는 $\sigma$-algebra의 성질이 필요하고, 그러기 위해선 $\mathcal{E}_\alpha$가 원소로 필요
          • 이를 위해 set을 구성할 때 단순히 들고 오는 것이 아니라 collection으로 가져오자.
          • 즉, $A_1$이 성립한다면 $A_1$이 아닌 $\left\{A_1\right\}$으로 들고 오는 것이다.
        • 즉, collection $F:=\left\{E_\alpha\bold{\subset X_\alpha}\,:\,\pi_\alpha^{-1}\left(E_\alpha\right)\in\mathcal{M}\left(Y\right)\right\}$로 정의하자.
        • 이 때, $E_\alpha$가 $X_\alpha$의 subset임을 유의한다.
        • mapping $f$에 대해, $f\left(A\cup B\right)=f\left(A\right)\cup f\left(B\right)$ 가 성립함은 자명하다.
        • 따라서 $S,~T\in X_\alpha$에 대해 $\pi_\alpha^{-1}\left(S\right),~\pi_\alpha^{-1}\left(T\right)\in\mathcal{M}\left(Y\right)$ 이면 $\left\{S\right\},~\left\{T\right\}$ 에 대해서도 성립하고, $\sigma$-algebra의 성질에 의해

          $\left\{S\right\}\cup\left\{T\right\}=\left\{S,~T\right\}$도 collection에 들어가있음을 의미한다.$\quad\cdots$ ①

        • 우리는 이가 $\sigma$-algebra임을 증명할 것이다.

          1. $S\in F$ 라 하자. 이 때, mapping은 complement 연산에 대해 commutative하고 $\mathcal{M}\left(Y\right)$ 가 $\sigma$-algebra임을 이용하면 $S^c\in F$임을 쉽게 보일 수 있다.

          2. union한 것도 동일하게 들어감을 증명하자.
             • $A_1\in F$, $A_2\in F$ 라 하자.
             • 이 때, ①을 (유사하게)활용하면 $A_1\cup A_2\in F$임을 알 수 있다.
             • 즉, $A_1,~A_2,~\cdots,$에 대해 $\cup_{1}^\infty\,A_i\in F$ 임을 알 수 있다. ($\sigma$-algebra 성질)

          3. $\mathcal{E}_\alpha$가 subset들의 set이므로, $x\in\mathcal{E}_\alpha$에 대해 $\left\{x\right\}\in F$가 성립한다.

             즉, $\mathcal{E}_\alpha$의 존재성은 under union의 closed 여부와 직결된다.

             2에 의해 성립함이 밝혀졌으므로 $\mathcal{E}_\alpha$는 $F$의 원소

      • 놀랍게도 $F$가 $\sigma$-algebra이고, 그것도 $\mathcal{E}_\alpha$가 들어가있다!

      • 따라서, $\mathcal{M}_\alpha\subset F$ 임을 알 수 있다.

      • 이를 활용하면, $\forall\,x\in\mathcal{M}_\alpha\ :\ \pi_\alpha^{-1}\left(x\right)\in\mathcal{M}\left(Y\right)$이다.

      • 그러므로, $X\subset \mathcal{M}\left(Y\right)$ 이고, Lemma에 의해 $\mathcal{M}\left(X\right)\sub\mathcal{M}\left(Y\right)$

  • Prop 1.5
    • $X_1$, $X_2,~\cdots,~X_n$이 metric space라 하고, $X:=\prod_1^n X_j$를 product metric라 하자.
    • 이 때, $\bigotimes_1^n\,\mathcal{B}_{X_j}\subset\mathcal{B}_X$이 성립한다.
    • 또한, $1\leq i\leq n$에 대해 $X_i$가 dense하면, $\bigotimes_1^n\mathcal{B}_{X_j}=\mathcal{B}_X$
    • Proof

      • 두 번째 줄 부터 증명하도록 하자.

      • Prop 1.4를 활용하자. $X_i$의 모든 open set들의 collection을 $U_i$라 하자.

      • Prop 1.4에 의해, $\pi_\alpha^{-1}\left(U_\alpha\right)$들로 형성되는데, $\pi_\alpha^{-1}\left(U_\alpha\right)$도 open 이므로 이는 $\mathcal{B}_X$ 내에 존재

      • Lemma 1.1에 의해 성립.

      • 역을 증명하기 위해, dense, separable의 성질과 한 가지 보조정리를 증명하자.

        • dense : $A\subset X$가 dense $\Leftrightarrow~\forall\,x\in X\,:\,x\in A~\vee~x$가 $A$의 극점

        • 이 때, 극점은 $\forall\,r>0\,:\,B\left(x,~r\right)\cap A\neq\empty$임을 의미한다.

        • separable set $X$는 countable, dense한 집합 $Y\subset X$가 존재함을 의미한다.

        • $R:=\left\{B\left(x,~r\right)\,:\,x\in Y,~r\in \mathbb{Q}^+ \right\}$라 하자.

        • Lemma ) 임의의 open set $F\subset V$에 대해 $R$의 원소들을 활용하여 $F$ 를 만들 수 있다.

        • Proof

          • $N:=\left\{x\,:\,x\in R\,\wedge\,x\subset F \right\}$라 하자.

          • countable의 성질에 의해 $x$는 countable, 유리수도 countable하기 때문에 $N$의 원소의 개수는 countable하다.

          • (위와 관계는 없지만) $N=\left\{A_1,~A_2,~A_3,~\cdots,~\right\}$ 라 해도 문제가 없다

          • $N'=\cup _{i\in \N}\,A_i$라 하자.

          • $\forall\,A_i\,:\,A_i\subset F$이므로 $N'\subset F$

          • $x\in F$ 라 하자. $F$는 open set이므로 $\exist~r>0\,:\,B\left(x,~r\right)\subset F$이다.

          • $r$보다는 작거나 같고 유리수인 수를 $q$라 하자.

          • dense하므로 $B\left(x,~\frac{q}{2}\right)\cap Y\neq \empty$이다.

          • $y\in B\left(x,~\frac{q}{2}\right)\cap Y$에 대해 $B\left(y,~\frac{q}{2}\right)$를 구상하자.

            $x\in B\left(y,~\frac{q}{2}\right)$는 자명

          • $t\in B\left(y,~\frac{q}{2}\right)$일 때 $d\left(x,~t\right)\leq d\left(x,~y\right)+d\left(y,~t\right)\leq\frac{q}{2}+\frac{q}{2}=q$

          • 따라서 $t\in B\left(x,~r\right)$ 이므로 $B\left(y,~\frac{q}{2}\right)\subset B\left(x,~r\right)$

          • 이제 $F$에서 $B\left(y,~\frac{q}{2}\right)$을 제외하고 이 과정을 반복하자.

          • 그러면 어느순간 다 덮이게 된다. 이 때, 덮는 것들은 모두 $N$의 원소들임을 알 수 있다.

          • 즉, $F$는 $N$의 원소의 일부들로 만들 수 있으므로 $F\subset N'$, $F=N'$

      • $X_j$에서 dense, countable한 set을 $C_j$, $\mathcal{E}_j$를 $\left\{B\left(x,~r\right)\,:\,x\in C_j,~r\in\mathbb{Q}^+\cup\{0\}\right\}$의 collection이라 하자.

      • $x\in X$에서 $j$번째 좌표가 $C_j$ 내에 있는 점들의 집합은 $X$의 countable하고 dense한 subset이다.

      • 또한 $B\left(x,~r\right)\,:\,x\in X,~r\in\mathbb{Q}^+$은 단순하게 각 좌표의 점들에 대해 동일하게 만든 후 product한 것과 동일하다.

      • 우리는 countable, dense한 set을 찾았고 그에 따라 Ball을 구상하는 방법도 만들어냈으므로, 위의 Lemma를 통해 $X$에 있는 모든 open set은 $\left\{\prod_1^n\,E_j\,:\,E_j\in\mathcal{E}_j\right\}$의 원소들로 나타낼 수 있다.

      • 따라서, $\mathcal{B}_X$는 $\left\{\prod_1^n\,E_j\,:\,E_j\in\mathcal{E}_j\right\}$로 생성된 것들이고, Prop 1.4에 의해 이는 $\bigotimes_1^n\,\mathcal{B}_{X_j}$이다.

  • 아래 3가지 조건을 만족하는 $X$의 subset들의 collection을 Elementary family라 한다.
    1. $\empty\in\mathcal{E}$
    2. $E,~F\in\mathcal{E}$$~\Rightarrow~E\,\cap\,F\in\mathcal{E}$
    3. $E\in\mathcal{E}~\Rightarrow~\exist n<\infty,~\left\{A_i\right\}_1^n\,:\,\left(i\neq j~\Leftrightarrow~A_i\cap A_j=\emptyset\right)\wedge \bigcup_1^n A_i=E^c$

  • (Exercise 3) Let $\mathcal{M}$ be an infinite $\sigma-$algebra
    1. $\mathcal{M}$ contains an infinite sequence of disjoint sets
       • Proof

         • Hausdorff Maximal Principle
           • $\left(P,~\leq\right)$가 Partially order set이면, $\left(P,~\leq\right)$는 maximal chain을 가진다.
           • 이 때, Maximal chain은 $\left(P,~\leq\right)$에 있는 모든 chain의 set을 $\mathfrak{C}$라 할 때, $\left(\mathfrak{C},~\subseteq\right)$에 대한 maximal element를 의미한다. 즉, 자신을 proper subset으로 가지는 Total order set이 없다는 의미

         • $\mathcal{M}$이 union에 대해 closed이므로, $\mathcal{M}$이 Relation $\subseteq$에 대해 Partially order set임은 자명하다.

         • 따라서 Hausdorff Maximal Principle에 의해 Maximal chain $\left\{E_i\right\}_1^\infty\sub\mathcal{M}$ 이 존재한다.

         • 귀류를 이용하여 저런 infinite sequence가 없다고 하면, Maximal chain은 무한하지 않고 유한할 것이다. 즉, $A=\left\{1,~2,~\cdots,~n\right\}$에 대해 $\left\{E_i\right\}_{\alpha\in A}$이고 적절하게 배열하면 $E_1\subset E_2\subset\cdots\subset E_n$이다.

         • 따라서 $\mathcal{E}:=\mathcal{M}\left(\left\{E_1,~E_2,~\cdots,~E_n\right\}\right)$은 finite하고 $E\in\mathcal{M}-\mathcal{E}$가 존재한다.

         • 이 때, $E\nsubseteq E_n$이면 chain에 $E_n\cup E$를 넣을 수 있기 때문에 maximal 위반

         • 따라서, $E\subseteq E_n$이다. 즉, $E_n\cap E=E$이고, 우리가 활용하는 disjoint set 만드는 방법을 사용하자.

         • $E=E\cap E_n=E\cap\left(E_1\bigcup_2^n \left(E_i-E_{i-1}\right)\right)$

         • $E\notin\mathcal{E}$이므로 $E\cap E_1\notin \mathcal{E}$이거나 $E\cap\left(\bigcup_2^n \left(E_i-E_{i-1}\right)\right)\notin \mathcal{E}$

         • 앞의 경우부터 살펴보자. 만약 전자가 성립한다면 $E\cap E_1\subsetneq E_1$이므로 maximal chain에 또 위배 ⇒ 이는 모순

         • 후자가 성립한다 하자. 즉, $j\geq2$에 대해 $E'=E_{j-1}\cup\left(E\cap\left(E_j-E_{j-1}\right)\right)$이라 하면, $E_{j-1}\subset E'\subset E_j$가 성립한다.

         • 이 때, $E'=E_{j-1}$이라 하면 $\left(E\cap\left(E_j-E_{j-1}\right)\right)=\emptyset$이고, $j$는 후자가 성립하는, 즉 $\mathcal{E}$에 속하지 않아야 하는데 $\emptyset\in\mathcal{E}$이므로 모순이다.

         • $E'=E_j$라 하면 $\sigma$-algebra의 성질에 의해 $E_j-E_{j-1}\in\mathcal{E}$임과 $E\cap\left(E_j-E_{j-1}\right)=E_j-E_{j-1}$이 성립해야함을 감안하면 모순이다.

         • 따라서 $E_{j-1}\subset E'\subset E_j$이고, 이는 maximal chain에 모순
    2. $\mathrm{card}\left(\mathcal{M}\right)\geq\mathfrak{c}$
       • Proof

Uploaded by N2T