Linear Algebra Studying View

Diagonalizability

• 03/08
  • Thm 5.5 & Corollary

    • Thm 5.5
      • $T$는 $V$의 Linear Operator
      • $\lambda_1,~\lambda_2,~\cdots,~\lambda_k$는 $T$의 eigenvalues
      • $v_1,~v_2,~\cdots,~v_k$를 각각 $\lambda_1,~\lambda_2,~\cdots,~\lambda_k$에 대응하는 eigenvectors들이라 하자.
      • 이 때, $\left\{v_1,~v_2,~\cdots,~v_k\right\}$은 Linearly Independent하다.
      • Proof

        • Idea : 주어진 set이 꼭 basis일 필요가 없다 ⇒ $k$가 점점 커짐에 따라 증명을 하면 된다

        • $k=1$일 땐 증명이 trivial하다? ⇒ Mathematical Induction을 생각해볼만함.

        • $k=\alpha-1$일 때 성립한다 하고, 이를 이용하여 $k=\alpha$ 일 때를 증명하자.

        • Independent함을 보이기 위함 ⇒ $\displaystyle\sum_{n=1}^{\alpha} a_nv_n=\mathit{0}$ 의 해가 $a_1=a_2=\cdots=a_\alpha=0$임을 보이면 됨.

        ---

        • 여기서부터는 생각못한 부분.. 또르륵

        • $v_1,~v_2,~\cdots,v_k$가 각각 $\lambda_1,~\lambda_2,~\cdots,~\lambda_k$(eigenvalue)들에 대응하는 eigenvector들이므로, 임의의 $i\ \left(1\leq i \leq \alpha\right)$에 대해 $Tv_i=\lambda_i v_i$가 성립

        • 난 처음에 양변에 $T$를 곱하는 생각을 했으나... 그러면, $a_kv_k$항에 대한 처리가 불가능

        • Mathematical Induction을 통해 알고 있는 사항 ⇒ $\left\{v_1,~v_2,~\cdots,v_{\alpha-1}\right\}$가 independent

        • 따라서, $\displaystyle\sum_{n=1}^{\alpha-1} a_nv_n=\mathit{0}$ 를 만족하기 위해서는 $a_1=a_2=\cdots=a_{\alpha-1}=0$

        • 아~ 그러면 $a_\alpha v_\alpha$ 항을 없애면 되겠구나~ 어떻게 없애지...?

        • $v_\alpha\in N\left(T-\lambda_\alpha I\right)$이므로 $v_{\alpha}\left(T-\lambda_{\alpha}I\right)=0$이다.

        • 따라서, 양변에 $T-\lambda_{\alpha}I$를 곱하자!

        • 바로 위에 값을 참고하면, $\displaystyle\sum_{n=1}^{\alpha-1}a_nv_n\left(\lambda_n-\lambda_{\alpha}\right)=0$

        • Independent성을 생각하고, $i\neq j~\Rightarrow~\lambda_i\neq\lambda_j$ 이므로 $\lambda_n-\lambda_\alpha\neq0$

        • $1\leq i<\alpha$에 대해 $a_i=0$

        • $\therefore~a_\alpha v_\alpha=0$이고 $v_\alpha\neq\mathit{0}$이므로 $a_\alpha=0$

    • Corollary
      • $T$는 $n-\mathrm{dimensional}$의 Linear Opeartor
      • 이 때, $\left\vert T\text{'s eigenvalue}\right\vert=n$일 시, $T$는 대각화가 가능하다.
      • Proof

        • Thm 5.5에 의해 $\beta:=\left\{v_1,~v_2,~\cdots,v_n\right\}$은 independent

        • Replacement Theorem에 의해 $\beta$는 basis of $T$

        • 따라서, $\left[T\right]_{\beta}=D$ ⇒ Q.E.D
  • Splits over

    • $f\left(t\right)\in \mathsf{P}\left(F\right)$ 라 하자

    • 이 때, $c,~a_1,~a_2,~\cdots,~a_n\in F$에 대해 $f\left(t\right)=c\left(t-a_1\right)\left(t-a_2\right)\cdots\left(t-a_n\right)$로 나타낼 수 있으면, $f\left(t\right)$는 splits over라 한다.

    • 이 때, $a_1,~a_2,~\cdots,~a_n$은 꼭 다를 필요가 없다!
  • Thm 5.6

    • 대각화 가능한 특성 다항식은 splits하다.

    • Proof

      • 일단, 대각화가 가능하므로 Linear Operator $T$에 대해 기저 $\beta$, 대각화 행렬 $D$가 존재하여 $\left[T\right]_\beta=D$

      • 따라서, $\det\left(T-t I_V \right)=\det\left(\left[T-tI_V\right]_\beta\right)=\det\left(D-tI\right)$

      • $\therefore~\det\left(D-tI\right)=\left(-1\right)^n\left(t-\lambda_1\right)\left(t-\lambda_2\right)\cdots\left(t-\lambda_n\right)~~\square$
  • Algebraic multiplicity

    • 특성 다항식 $f(t)$를 가지는 Linear Operator $T$에 대해 $\lambda$를 $T$의 eigenvalue라 하자.

    • 이 때, $f\left(t\right)=\left(t-\lambda\right)^kg\left(t\right)$로 표현이 가능할텐데, $k$를 $\lambda$의 Algebraic multiplicity(대수적 중복도)라 한다.
  • Eigenspace

    • $T$를 Linear Operator이라 하고, $\lambda$를 $T$의 eigenvalue라 하자.

    • 이 때, $E_\lambda:=\left\{x\in \mathsf{V} ~\vert~Tx=\lambda x\right\}$를 Eigenvalue $\lambda$에 대한 $T$의 Eigenspace라 정의한다.

    • 만약 Linear Operator가 아닌 Matrix라면?

    • Matrix $A$에 대해 Eigenspace를 정의하기 위해서는 $L_A$의 Eigenspace를 이용하면 된다.

• 03/10 & 03/12
  • Thm 5.7

    • $\mathsf{T}$를 Vector space $\mathsf{V}$ 위의 Linear Operator이라 하고, $\lambda$를 $\mathsf{T}$의 eigenvalue라 하자.

    • 이 때, $\lambda$의 Algebraic multiplicity가 $m$이라 하자.

    • 그러면, $1\leq\dim\left(\mathsf{E}_\lambda\right)\leq m$가 성립한다.

    • Proof

      • 우리의 목표는 $\dim\left(\mathsf{E}_\lambda\right)$에 대한 부등식이 성립함을 구하는 것

      • 일단 전개하자!

      • $\mathsf{E}_\lambda$의 기저 $\beta=\left\{v_1,~v_2,~\cdots,~v_k\right\}$라 하자.

      • $\mathsf{V}$의 dimension을 $n$이라 하고, $\beta$를 $\mathsf{E}_\lambda$ ⇒$\mathsf{V}$의 기저로 확장하자.

      • $\beta'=\left\{v_1,~v_2,~\cdots,~v_k,~v_{k+1},~v_{k+2},~\cdots,~v_n\right\}$으로 하고, 이가 $\mathsf{V}$의 기저라 하자.

      • 이 때, $\left[T\right]_{\beta'}$에 대해서 생각해보자.

      • $\begin{pmatrix} {\lambda I_k} & B \\ O & C \end{pmatrix}$가 될거고, characteristic polynomial을 구해보자

      • $f\left(t\right)=\det\left(\begin{pmatrix} {\left( \lambda -t\right )I_k} & B \\ O & C-tI_{n-k} \end{pmatrix}\right)$이고, 정리하면..

      • $\det\left(\left(\lambda-t\right)I_k\right)\det\left(C-tI_{n-k}\right)$

      • 이 때, $\det\left(\left(\lambda-t\right)I_k\right)=\left(\lambda-t\right)^k$이므로, $\lambda$에 대한 multiplicty가 적어도 $k$

      • 문제 조건에서 $\lambda$에 대한 multiplicity가 $m$이라 했으므로 $k\leq m$
  • Lemma & Theorem 5.8

    • Lemma
      • $\mathsf{T}$를 Linear Operator이라 하자.
      • $\lambda_1,~\lambda_2,~\cdots,~\lambda_k$는 distinct한 eigenvalue이다.
      • $\forall i\leq k~:~v_i\in \mathsf{E}_{\lambda_i}$라 하자.
      • 이 때, $\displaystyle\sum_{j=1}^k v_j=0$이면, $\forall~i\leq k~:~v_i=0$이다.
      • Proof

        • Remark) Thm 5.5
          • Eigenvector들은 서로 Independent
          • 따라서, Eigenvector들만 따로 가져왔을 때, 합이 $0$이 되려면 계수들이 $0$외 되어야함
          • 이를 이용하자.

        • 귀류를 사용하자.

        • 귀류 : $\displaystyle\exist~i\leq k~:~v_i\neq 0~\wedge~\sum_{j=1}^k v_j=0$

        • 반드시 $v_i\neq0$인 애가 존재하므로 이를 재배열해서 맨 뒤로 빼자.

        • 즉, $\exist~m~:~i\leq m~\Leftrightarrow~v_i=\mathit{0}$ 로 재배열하자.

        • 이 때, $i>m$에 대해 $v_i\neq\mathit{0}$ 이므로 이들은 누군가의 eigenvector가 되고, 따라서 Thm 5.5가 성립해야한다.

        • 하지만... 계수가 전부 $0$이 아니므로 이는 contradiction

    • Theorem 5.8
      • $\mathsf{T}$를 Linear Operator이라 하자.
      • $\lambda_1,~\lambda_2,~\cdots,~\lambda_k$는 distinct한 eigenvalue이다.
      • $\forall i\leq k~:~S_i\subseteq \mathsf{E}_{\lambda_i}$ (이 때, $\mathsf{E}_{\lambda_i}$는 $\lambda_i$에 대한 Eigenspace이다)
      • 또한, $S_i$는 linearly independent한 finite-dimensional set이다.
      • $S=S_1\cup S_2\cup\cdots\cup S_k$도 동일하게 Independent set이다.
      • Proof

        • Idea : Independent를 증명하는 가장 좋은 방법은 더해서 $\mathit{0}$ 이 되는 계수들이 모두 $0$이라는 것이다.

        • 결론적으로 모든 원소들을 배열할 필요가 있다

        • 그럼... 해야지! $S_i=\left\{v_{i1},~v_{i2},~\cdots,~v_{in_i}\right\}$라 하자.

        • Independent를 증명하기 위해, $\displaystyle\sum_{i=1}^k\sum_{j=1}^{n_i}a_{ij}v_{ij}=\mathit{0}$ 라 하자.

        • 이 때, Lemma를 사용하기 위해, $w_i:=\displaystyle\sum_{j=1}^{n_i}a_{ij}v_{ij}$라 하자.

        • Eigenspace의 정의에 따라 $w_i\in S_i$이다.

        • Lemma를 사용하면, 모든 $w_i=\mathit{0}$ 이다.

        • 이 때, $S_i$는 linearly independent하므로, 모든 계수들이 $0$이어야 한다. $\square$
  • Thm 5.9

    • Theorem 5.8은 각각의 eigenvector로 independent하게 모았을 경우, 이도 동일하게 independent임을 보여준다.

    • independent에서 확대하면 나올수 있는 결론은 "Basis"

    • 즉, 우리는 $\mathsf{T}$가 있는 $\mathsf{V}$에 대해 기저임을 보이는 정리를 증명할 것이다.

    • $\mathsf{T}$가 $\mathsf{V}$에서 정의된 linear operator이고, $\mathsf{T}$가 split하다고 하자.

    • $\lambda_1,~\lambda_2,~\cdots,~\lambda_k$는 distinct한 eigenvalue이다.

    • 이 때, 다음 두 가지가 성립한다.
      • $\mathsf{T}$가 대각화 가능하다$~\Leftrightarrow~$$\forall~i\leq k~:~$multiplicity of $\lambda_i=\dim\left(\mathsf{E}_{\lambda_i}\right)$
      • $\mathsf{T}$가 대각화 가능하고 각 $i$에 대해 $\mathsf{E}_{\lambda_i}$의 basis를 $\beta_i$라 하자. 이 때, $\beta=\beta_1\cup\beta_2\cup\cdots\cup\beta_k$는 $\mathsf{V}$의 basis이다.

    • Proof

      • Idea : Independent한 Set에서 basis를 보여주기 위해서는 set의 cardinality가 이미 basis가 확실한 것의 개수랑 같음을 증명하면 된다. (Replacement Theorem)

      • if and only if이므로 역방향과 정방향 모두 증명해야한다.

      • ($\Rightarrow$)
        • $\mathsf{T}$가 대각화가 가능하므로, 기저 $\beta$가 존재하여 $\left[\mathsf{T}\right]_\beta=D$를 만족한다.
        • 각 $\mathsf{E}_{\lambda_i}$에 대해 $\beta_i=\beta~\cap~\mathsf{E}_{\lambda_i}$로 정의하자.
        • 이 때, 우리가 증명하고싶은 것은 $\displaystyle\sum_{i=1}^k\dim\left(\mathsf{E}_{\lambda_i}\right)=n$다.
        • 편의를 위해 각 $i$에 대해 $\dim\left(\mathsf{E}_{\lambda_i}\right)=d_i$, $\left\vert\beta_i\right\vert$=$m_i$라 하자.
        • 5.7을 이용하면, $\displaystyle\sum_{i=1}^k\dim\left(\mathsf{E}_{\lambda_i}\right)\leq n$이다. ($\because~$$\lambda_i$의 모든 multiplicity를 합치면 $n$이 되기 때문이다)
        • 또한, $\beta_i\subseteq\mathsf{E}_{\lambda_i}$이므로 $\dim\left(\beta_i\right)\leq\dim\left(\mathsf{E}_{\lambda_i}\right)$이다.
        • $\beta=\beta_1\cup\beta_2\cup\cdots\cup\beta_k$임을 생각하자.,
        • $i=1,~2,~\cdots,~k$에 대해 양변 부등식을 다 더하면.... $n\leq\displaystyle\sum_{i=1}^k\dim\left(\mathsf{E}_{\lambda_i}\right)$이다.
        • 위의 결과랑 종합하면, $\displaystyle\sum_{i=1}^k\dim\left(\mathsf{E}_{\lambda_i}\right)=n$이고, 5.7의 결과를 종합하면 $\dim\left(\mathsf{E}_{\lambda_i}\right)=$multiplicity of $\lambda_i$이다. $\square$

      • ($\Leftarrow$)
        • 역방향을 증명할 때에는 두 번째도 자연스럽게 증명이 된다.
        • 두 번째 명제에서 만들어진 $\beta$를 이용하여 ➀ $\mathsf{T}$가 대각화가 가능하고, ➁ 이 때 만들어진 $\beta$가 $\mathsf{V}$의 기저이다. 를 증명할 것이다.
        • $\mathsf{T}$가 split하기 때문에 $\mathsf{T}$의 dimension은 $\lambda_i$의 multiplicity를 합친거와 동일하다.
        • 편의를 위해 각 $i$에 대해 $\dim\left(\mathsf{E}_{\lambda_i}\right)=d_i$, (multiplicity of $\lambda_i$)=$m_i$라 하자.
        • 가정에 의해 $\displaystyle\sum_{i=1}^kd_i=n$이다.
        • 즉, 우리는 $i\neq j~\Rightarrow~\beta_i\cap\beta_j=\emptyset$만 증명하면 되는데, 이는 자명하다. ($\lambda_i\neq\lambda_j$이기 때문이다)
        • 따라서, 두 번째 명제처럼 만든 $\beta$는 independent하고, cardinality는 $n$이다.
        • $\beta$는 eigenvector들로 이루어진 vector이고, 따라서 $\left[\mathsf{T}\right]_\beta=D$이다.
        • $\therefore~$$\mathsf{T}$는 대각화가 가능하고, $\beta$는 기저이다.

• 03/14 ~ 03/15
  • Sec 5.2 Exercise
  • 내 풀이를 올리고, 답지 풀이와 비교(는 알아서)하는 걸로..
  • 증명 및 T/F만 올림
  • Problem 1
    • (a) 하나의 eigenvalue에 여러 개의 eigenvector가 대응되면 diagonalizable하다. (F)
    • (b) Thm 5.7을 생각해보면 될 듯하다. (F)
    • (c) $\mathsf{E}_\lambda$엔 $\mathit{0}$ 도 존재한다. (F)
    • (d) $\lambda_1\neq\lambda_2$이면 두 eigenvector가 서로 dependent할 수가 없다. 따라서, $\mathsf{E}_{\lambda_1}$과 $\mathsf{E}_{\lambda_2}$의 교집합은 $\mathit{0}$ 을 제외하고 나올 수 없음. (T)
    • (e) ...? 너무 당연하다.. (굳이 증명도 가능하긴함)
    • (f) Characteristic polynomial이 split over하지 않으면 안 됨
    • (g) Diagonalizable하므로 성립
  • 여러 개 풀었음 아무튼..

Adjoint of Linear Operator

• 04/08
  • Thm 6.8

    • $\mathsf{V}$를 유한차원의 내적공간이라 하고, $\mathsf{g}~:~\mathsf{V}~\rightarrow ~\mathsf{F}$을 선형변환이라 하자.

    • 이 때, $\exist!~y\in\mathsf{V}\ :\ \mathsf{g}\left(x\right)=\left<x,~y\right>$

    • Proof

      • 해당 차원이 "유한"해야하고, orthonormal basis에 대해선 서로 다른 것들끼리 내적했을 시 값이 $0$이 됨을 이용한다.

      • $\mathsf{V}$의 orthonormal basis를 $\beta=\left\{v_1,~v_2,~\cdots,~v_n\right\}$ 이라 하자.

      • 이 때, $x\in\mathsf{V}$에 대해 $x=\displaystyle\sum_{k=1}^n a_kv_k$로 표현이 가능하다.

      • 이 때, 우리는 $\mathsf{g}\left(x\right)$의 값은 이미 정해져 있는 값이고, 우리가 찾고자하는 건 $y$의 값임을 알고 있어야 한다.

      • $\mathsf{g}$가 선형변환이므로 $\mathsf{g}\left(x\right)=\displaystyle\sum_{k=1}^n a_k\mathsf{g}\left(v_k\right)$로 적을 수 있다.

      • 이 때, $a_k\mathsf{g}\left(v_k\right)=a_k\mathsf{g}\left(v_k\right)\times\left\Vert{v_k}\right\Vert^2$으로 표현이 가능하다.

      • 또한, $y$가 뒷쪽에 있으므로 켤레를 씌운 것을 생각해보면...

      • $\displaystyle y=\sum_{k=1}^n \overline{\mathsf{g}\left(v_k\right)}v_k$로 작성하면, 우리가 원하는 결과를 냄을 알 수 있다!

      • 존재성은 증명했으므로, 유일성에 대해 증명하자.

      • $y$와 $y'$이 존재하여 다음 조건을 모두 만족시킨다 하자.

      • $\left<x,~y\right>=\left<x,~y'\right>$이므로 $\left<x,~y-y'\right>=0$이 성립하고, 따라서 $y-y'=\mathit{0}$ 임을 알 수 있다. 따라서 $y=y'$이고, 유일하다.

  • Thm 6.9

    • $\mathsf{V}$를 유한차원의 내적공간이라하고, $\mathsf{T}$가 $\mathsf{V}$ 위의 linear operator이라 하자.

    • 이 때, $\exist!~\mathsf{T}^*\ :\ \mathsf{V}~\rightarrow~\mathsf{V}$ such that $\left<\mathsf{T}\left(x\right),~y\right>=\left<x,~\mathsf{T}^*\left(y\right)\right>$

    • 또한, $\mathsf{T}^*$는 선형이다.

    • Proof

      • $y$가 모든 벡터에 대해 성립하므로, 임의의 $y$에 대해 $\mathsf{h}\left(x\right):=\left<\mathsf{T}\left(x\right),~y\right>$

      • 이 때, $\mathsf{h}$가 linear하다 (증명 skip)

      • 따라서 Thm 6.8에 의해 $\exist!~y'\in\mathsf{V}~:~\mathsf{h}\left(x\right)=\left<x,~y'\right>$

      • $y'$은 $y$에 의해 유일하게 결정되는 요소이므로, 이를 하나의 함수로 정의하자.

      • 즉, $y'=\mathsf{T}^*\left(y\right)$라 하자.

      • 이를 이용하여 선형성을 증명하자.

      • $\begin{aligned} \left<x,~\mathsf{T}^*\left(ay_1+y_2\right)\right> & = \left<\mathsf{T}\left(x\right),~ay_1+y_2\right> \\ & = \bar{a}\left<\mathsf{T}\left(x\right),~y_1\right>+\left<\mathsf{T}\left(x\right),~y_2\right> \\ & = \bar{a}\left<x,~\mathsf{T}^*\left(y_1\right)\right>+\left<x,~\mathsf{T}^*\left(y_2\right)\right> \\ & = \left<x,~a\mathsf{T}^*\left(y_1\right)+\mathsf{T}^*\left(y_2\right)\right>\\ \end{aligned}$

      • 마지막으로 유일성을 증명하자.

      • 동일하게 $\mathsf{U}$가 조건을 만족한다 하자.

      • 따라서 $\left<x,~\mathsf{T}^*\left(y\right)\right>=\left<x,~\mathsf{U}\left(y\right)\right>$이므로 $\mathsf{T}^*=\mathsf{U}$이다.

    • 우리는 $\mathsf{T}^*$을 $\mathsf{T}$의 adjoint operator이라고 부른다.

    • 또한, $\left<x,~\mathsf{T}\left(y\right)\right>=\overline{\left<\mathsf{T}\left(y\right),~x\right>}=\overline{\left<y,~\mathsf{T}^*\left(x\right)\right>}=\left<\mathsf{T}^*\left(x\right),~y\right>$로 표현가능

    • 추가적으로 $\left<x,~\mathsf{T}\left(y\right)\right>=\left<x,~\mathsf{T}^{**}\left(y\right)\right>$이므로 $\mathsf{T}=\mathsf{T}^{**}$
  • Thm 6.10 & Corollary

    • Thm 6.10
      • $\mathsf{V}$를 유한차원의 내적공간이라하고, $\mathsf{T}$가 $\mathsf{V}$ 위의 linear operator이라 하자.
      • $\left[\mathsf{T}^*\right]_\beta=\left[\mathsf{T}\right]_\beta^*$
      • Proof

        • 앞에서, 우리는 $\left[\mathsf{T}\right]_\beta=A$라 할 때, $\mathsf{T}\left(v_i\right)=\displaystyle\sum_{j=1}^n A_{ji}v_j$임을 증명했다.

        • 이를 이용하자. $A=\left[\mathsf{T}^*\right]_\beta$, $B=\left[\mathsf{T}\right]_\beta^*$라 하자.

        • 위의 사실에 의해

          $A_{ij}=\left<\mathsf{T}^*\left(v_j\right),~v_i\right>=\overline{\left<v_i,~\mathsf{T}^*\left(v_j\right)\right>}=\overline{\left<\mathsf{T}\left(v_i\right),~v_j\right>}=\overline{B_{ji}}=\left(B^*\right)_{ij}$

        • 따라서 $A=B$

    • Corollary
      • $A$를 $n\times n$짜리 행렬이라 하자. 이 때, $\mathsf{L}_{A^*}=\left(\mathsf{L}_A\right)^*$
      • Proof

        • standard basis $\beta$에 대해 $\left[\mathsf{L}_A\right]_\beta=A$가 성립함을 앞에서 증명했다.

        • 따라서 $\left(\mathsf{L}_A\right)^*=\left[\mathsf{L}_A^*\right]_\beta=\left[\mathsf{L}_A\right]_\beta^*=A^*=\left[\mathsf{L}_{A^*}\right]_\beta$

Uploaded by N2T