跳至主要內容

Chapter 7 内积空间上的算子

Youmans Yu原创线性代数学习笔记Linear Algebra大约 12 分钟

线性代数学习笔记第七章,参考教材为《Linear Algebra Done Right》。

7.A 自伴算子和正规算子

伴随

  • 定义
    设T∈L(V,W)T\in\mathcal L(V,W).TT的伴随是满足如下条件的函数T∗:W→VT^*:W\to V: ∀v∈V,w∈W, <Tv,w>=<v,T∗w>\forall v\in V,w\in W,\ \left<Tv,w\right>=\left<v,T^*w\right>
  • 伴随是线性映射
    若T∈L(V,W)T\in\mathcal L(V,W),则T∗∈L(W,V)T^*\in\mathcal L(W,V)
  • 伴随的性质
    • 对所有S,T∈L(V,W)S,T\in\mathcal L(V,W)均有(S+T)∗=S∗+T∗(S+T)^*=S^*+T^*
    • 对所有λ∈F, T∈L(V,W)\lambda\in\bf F,\ T\in\mathcal L(V,W)有(λT)∗=λˉT∗(\lambda T)^*=\bar\lambda T^*
    • 对所有T∈L(V,W)T\in\mathcal L(V,W),有(T∗)∗=T(T^*)^*=T
    • I∗=II^*=I,这里的II是VV上的恒等算子
    • 对所有T∈L(V,W), S∈L(W,U)T\in\mathcal L(V,W),\ S\in\mathcal L(W,U)均有(ST)∗=T∗S∗(ST)^*=T^*S^*(UU是F\bf F上的内积空间)
  • T∗T^*的零空间和值域
    设T∈L(V,W)T\in\mathcal L(V,W),则:
    • null T∗=(range T)⊥\text{null}\ T^*=(\text{range}\ T)^\perp
    • range T∗=(null T)⊥\text{range}\ T^*=(\text{null}\ T)^\perp
    • null T=(range T∗)⊥\text{null}\ T=(\text{range}\ T^*)^\perp
    • range T=(null T∗)⊥\text{range}\ T=(\text{null}\ T^*)^\perp
  • 共轭转置
    m×nm\times n矩阵的共轭转置是先互换行和列,然后再对每个元素取复共轭得到的n×mn\times m矩阵
  • T∗T^*的矩阵
    设T∈L(V,W)T\in\mathcal L(V,W).假设e1,...,ene_1,...,e_n是VV的规范正交基,f1,...,fmf_1,...,f_m是WW的规范正交基.则M(T∗,(f1,...,fm),(e1,...,en))\mathcal M(T^*,(f_1,...,f_m),(e_1,...,e_n))是M(T,(e1,...,en),(f1,...,fm))\mathcal M(T,(e_1,...,e_n),(f_1,...,f_m))的共轭转置.

自伴算子

  • 定义
    算子T∈L(V)T\in\mathcal L(V)称为自伴的,如果T=T∗T=T^*,也就是说,T∈L(V)T\in\mathcal L(V)是自伴的当且仅当∀v,w∈V, <Tv,w>=<v,Tw>\forall v,w\in V,\ \left<Tv,w\right>=\left<v,Tw\right>
  • 两个自伴算子的和是自伴的,实数和自伴算子的乘积是自伴的
  • 自伴算子的本征值是实的
  • 在C\bf C上只有00算子才能使得TvTv总正交于vv
  • 在C\bf C上,仅自伴算子才能使<Tv,v>\left<Tv,v\right>都是实数
  • 若T=T∗T=T^*且对所有vv均有<Tv,v>=0,\left<Tv,v\right>=0, 则T=0T=0.

正规算子

  • 定义
    内积空间上的算子称为正规的,如果它和它的伴随是交换的.也就是所,T∈L(V)T\in\mathcal L(V)是正规的,如果:TT∗=T∗TTT^*=T^*T
  • TT是正规的当且仅当对所有的vv,均有∣∣Tv∣∣=∣∣T∗v∣∣||Tv||=||T^*v||

T∗T=TT∗  ⟺  TT∗−T∗T=0  ⟺  ∀v∈V, <(T∗T−TT∗)v,v>=0  ⟺  ∀v∈V,<T∗Tv,v>=<TT∗v,v>  ⟺  ∀v∈V, ∣∣Tv∣∣2=∣∣T∗v∣∣2 \begin{aligned} T^*T=TT^*&\iff TT^*-T^*T=0\\&\iff \forall v\in V,\ \left<(T^*T-TT^*)v,v\right>=0\\&\iff \forall v\in V,\left<T^*Tv,v\right>=\left<TT^*v,v\right>\\&\iff\forall v\in V,\ ||Tv||^2=||T^*v||^2 \end{aligned}

其重要推论是null T=null T∗\text{null}\ T=\text{null}\ T^*

  • 若TT正规,则TT和T∗T^*有相同的本征向量
  • 正规算子的正交本征向量
    设T∈L(V)T\in\mathcal L(V)是正规的,则TT的相应于不同本征值的本征向量是正交的.

7.B 谱定理

复谱定理

设F=C\bf F=\bf C且T∈L(V)T\in\mathcal L(V)则以下条件等价:

  • a. TT是正规的
  • b. VV有一个由TT的本征向量组成的规范正交基
  • c. TT关于VV某个规范正交基具有对角矩阵

proof:
(b) ( c )显然等价,因此只需证明(a)( c )的等价性
首先假设( c )成立.
那么TT在VV的某个规范正交基上有对角矩阵,则T∗T^*在VV的某个规范正交基上有对角矩阵,由任意两个对角矩阵都是交换的可证TT正规.
然后假设(a)成立,则TT是正规的,由舒尔定理,VV有一个规范正交基e1,...,ene_1,...,e_n使得TT关于这个基具有上三角矩阵.于是:

M(T,(e1,...,en))=(a1,1⋯a1,n⋱⋮0an,n) \mathcal M(T,(e_1,...,e_n))=\begin{pmatrix}a_{1,1}&\cdots&a_{1,n}\\&\ddots&\vdots\\0&&a_{n,n}\end{pmatrix}

只需证明该矩阵为对角矩阵即可.

∣∣Te1∣∣2=∣a1,1∣2=∣∣T∗e1∣∣2=∣a1,1∣2+...+∣a1,n∣2 ||Te_1||^2=|a_{1,1}|^2=||T^*e_1||^2=|a_{1,1}|^2+...+|a_{1,n}|^2

由此∣a1,k∣=0, k=2,...,n|a_{1,k}|=0,\ k=2,...,n
以此类推直到最后一行,可以证得矩阵中所有非对角线元素全部为0,( c )成立.
Q.E.D.\text{Q.E.D.}

实谱定理

证明实谱定理之前需要几个引理:

  • 可逆的二次式
    设T∈L(V)T\in\mathcal L(V)是自伴的,并设b,c∈Rb,c\in\bf R使得b2<4cb^2<4c,则:

T2=bT=cI T^2=bT=cI

是可逆的.

  • 自伴算子都具有本征值
    设V≠{0}V\neq\{0\}且T∈L(V)T\in\mathcal L(V)是自伴算子,则TT有本征值

proof:
设VV是实向量空间.设n=dim Vn=\text{dim}\ V,取v∈V, v≠0v\in V,\ v\neq 0,则:v,Tv,T2v,...,Tnvv,Tv,T^2v,...,T^nv线性相关,于是有不全为00的实数a0,...,ana_0,...,a_n使得:

0=a0v+a1Tv+...+anTnv 0=a_0v+a_1Tv+...+a_nT^nv

取多项式a0+a1x+...+anxna_0+a_1x+...+a_nx_n,并将其分解:

a0+a1x+...+anxn=c(x2+b1x+c1)...(x2bMx+cM)(x−λ1)...(x−λm) a_0+a_1x+...+a_nx^n=c(x^2+b_1x+c_1)...(x^2b_Mx+c_M)(x-\lambda_1)...(x-\lambda_m)

其中cc是非零实数,bi,ci,λi∈Rb_i,c_i,\lambda_i\in\bf{R}, bj2<4cj, m+M≥1\ b_j^2<4c_j,\ m+M\geq 1,那么:

0=c(T2+b1T+c1I)...(T2+bMT+cMI)(T−λ1I)...(T−λmI)v 0=c(T^2+b_1T+c_1I)...(T^2+b_MT+c_MI)(T-\lambda_1I)...(T-\lambda_mI)v

由第一个引理,每个T2+bjT+cjT^2+b_jT+c_j都是可逆的,那么m>0m>0且:

0=(T−λ1I)...(T−λmI)v 0=(T-\lambda_1I)...(T-\lambda_m I)v

至少有一个jj使得T−λjIT-\lambda_jI不是单的,也就是说TT有本征值
Q.E.D\text{Q.E.D}

  • 自伴算子和不变子空间
    设T∈L(V)T\in\mathcal L(V)是自伴的,并设UU是VV的在TT下不变的子空间.则:
    • U⊥U^\perp在TT下是不变的
    • T∣U∈L(U)T|_U\in\mathcal L(U)是自伴的
    • T∣U⊥∈L(U⊥)T|_{U^\perp}\in\mathcal L(U^\perp)是自伴的
  • 实谱定理
    设F=R\bf F=\bf R且T∈L(V)T\in\mathcal L(V),则以下条件等价:
    • a. TT是自伴的
    • b. VV有一个由TT的本征向量组成的规范正交基
    • c. TT关于VV的某个规范正交基具有对角矩阵

proof:
首先假设( c )成立,显然(a)成立.
接下来假设(a)成立,使用归纳法证明(b)成立:
若dim V=1\text{dim}\ V=1,则(b)显然正确,下设dim V>1\text{dim}\ V>1且对于维数更小的向量空间,(b)成立.
首先假设uu是TT的本征向量且∣∣u∣∣=1||u||=1,设U=span(u)U=\text{span}(u),则UU是VV的一维不变子空间.
由引理3的( c ),TU⊥∈L(U⊥)T_{U^\perp}\in\mathcal L(U^\perp)是自伴的
由归纳假设,U⊥U^\perp有一个由T∣U⊥T|_{U^\perp}的本征向量组成的规范正交基,将uu添加进这个规范正交基,就得到了VV的一个由TT的本征向量组成的规范正交基.(b)成立.
最后假设(b)成立,显然(c)成立.
Q.E.D.\text{Q.E.D.}

7.C 正算子和等距同构

正算子

称算子T∈L(V)T\in\mathcal L(V)是正的,如果TT是自伴的并且对于所有的v∈Vv\in V均有<Tv,v>≥0\left<Tv,v\right>\geq 0
p.s.如果VV是复向量空间,则TT自伴的条件可以从上面的定义中去掉.

  • 定义:平方根
    算子RR称为算子TT的平方根,如果R2=TR^2=T.
  • 正算子的刻画
    设T∈L(V)T\in\mathcal L(V),则以下条件等价:
    • TT是正的
    • TT是自伴的并且TT的所有本征值非负
    • TT有正的平方根
    • TT有自伴的平方根
    • 存在算子R∈L(V)R\in\mathcal L(V)使得T=R∗RT=R^*R

这个定理可以与C\bf C中非负数的刻画相对应.复数zz非负当且仅当其具有非负平方根,与第三个条件对应;复数zz非负当且仅当它具有实的平方根,这对应于第四个条件;zz非负当且仅当有复数ww使得z=wˉwz=\bar w w,这对应于第五个条件

  • 每个正算子都有唯一的平方根
    VV上每个正算子都有唯一的平方根

proof:
假设T∈L(V)T\in\mathcal L(V)是正的,v∈Vv\in V是TT的一个本征向量.则有λ≥0\lambda\geq 0使得:Tv=λvTv=\lambda v
下面证明Rv=λvRv=\sqrt \lambda v.
根据谱定理,VV有一个由RR的本征向量构成的规范正交基e1,...,ene_1,...,e_n.因为RR是正算子,其本征值均是非负的,因此存在非负数λ1,...,λn\lambda_1,...,\lambda_n使得对于每一个j=1,...,nj=1,...,n均有

Rej=λjej Re_j=\sqrt\lambda_j e_j

因为e1,...,ene_1,...,e_n是VV的基,所以∃a1,...an∈F\exists a_1,...a_n\in\bf F使得

v=a1e1+...+anen v=a_1e_1+...+a_ne_n

于是

Rv=a1λ1e1+...+anλnen Rv=a_1\sqrt\lambda_1e_1+...+a_n\sqrt\lambda_n e_n

因此

R2v=a1λ1e1+...+anλnen R^2v=a_1\lambda_1 e_1+...+a_n\lambda_n e_n

又R2=T, Tv=λvR^2=T,\ Tv=\lambda v
因此:

a1λ1e1+...+anλnen=a1λe1+...+anλen a_1\lambda_1 e_1+...+a_n\lambda_n e_n=a_1\lambda e_1+...+a_n\lambda e_n

这意味着对于j=1,...,nj=1,...,n, aj(λ−λj)=0a_j(\lambda-\lambda_j)=0
所以

v=∑{j:λj=λ}ajej v=\sum_{\{j:\lambda_j=\lambda\}}a_je_j

也就是:

Rv=∑{j:λj=λ}ajλej=λv Rv=\sum_{\{j:\lambda_j=\lambda\}}a_j\sqrt\lambda e_j=\sqrt \lambda v

这就意味着RR在TT的本征向量上是唯一确定的,由谱定理,VV有一个由TT的本正向量构成的基,那么RR也就唯一确定了.
Q.E.D.\text{Q.E.D.}

等距同构

算子S∈L(V)S\in\mathcal L(V)称为等距同构,如果对于所有的v∈Vv\in V,均有∣∣Sv∣∣=∣∣v∣∣||Sv||=||v||,也就是说,算子是等距同构的当且仅当它保持范数.实内积空间上的等距同构通常称为正交算子,复内积空间上的等距同构通常称为酉算子.

  • 等距同构的刻画
    设S∈L(V)S\in\mathcal L(V),则以下条件等价:
    • SS等距同构
    • 对所有u,v∈Vu,v\in V均有<Su,Sv>=<u,v>\left<Su,Sv\right>=\left<u,v\right>
    • 对VV中的任意规范正交向量组e1,...,ene_1,...,e_n均有Se1,...,SenSe_1,...,Se_n是规范正交的
    • VV有规范正交基e1,...,ene_1,...,e_n使得Se1,...,SenSe_1,...,Se_n是规范正交的
    • S∗S=IS^*S=I
    • SS∗=ISS^*=I
    • S∗S^*等距同构
    • SS是可逆的并且S−1=S∗S^{-1}=S^*
  • F = C\bf F\ =\ C时等距同构的描述
    设VV是夫内积空间,S∈L(V)S\in\mathcal L(V),则以下条件等价:
    • SS等距同构
    • VV有一个由SS的本征向量组成的规范正交基,相应的本征值的绝对值均为11

极分解和奇异值分解

  • 类比:C\bf C和L(V)\mathcal L(V)(首先定义T\sqrt T是TT的唯一的正平方根)
C\bf CL(V)\mathcal L(V)
复数zz算子TT
zˉ\bar zT∗T^*
非负数正算子
单位元(zˉz=1\bar zz=1)全体等距同构T∗T=IT^*T=I
∀z∈C\forall z\in\bf C, z=(z∣z∣)∣z∣=(z∣z∣)zˉzz=(\frac{z}{|z|})|z|=(\frac{z}{|z|})\sqrt{\bar zz}∀T∈L(V), ∃S∈L(V), T=ST∗T\forall T\in\mathcal L(V),\ \exists S\in\mathcal L(V),\ T=S\sqrt{T^*T}, 其中SS为等距同构
  • 极分解
    设T∈L(V)T\in\mathcal L(V),则有一个等距同构S∈L(V)S\in\mathcal L(V)使得T=ST∗TT=S\sqrt{T^*T}

proof:
设v∈Vv\in V,则:

∣∣Tv∣∣2=<Tv,Tv>=<T∗Tv,v>=<T∗TT∗Tv,v>=<T∗Tv,T∗Tv>=∣∣T∗Tv∣∣2 \begin{aligned} ||Tv||^2=\left<Tv,Tv\right>&=\left<T^*Tv,v\right>\\ &=\left<\sqrt{T^*T}\sqrt{T^*T}v,v\right>\\ &=\left<\sqrt{T^*T}v,\sqrt{T^*T}v\right>\\ &=||\sqrt{T^*T}v||^2 \end{aligned}

于是对于所有v∈Vv\in V均有

∣∣Tv∣∣=∣∣T∗Tv∣∣(1) ||Tv||=||\sqrt{T^*T}v||\tag{1}

定义线性映射S1:rangeT∗T←rangeTS_1:\text{range}\sqrt{T^*T}\leftarrow\text{range} T为:

S1(T∗Tv)=Tv(2) S_1(\sqrt{T^*T}v)=Tv\tag{2}

证明的思路是将S1S_1扩张成一个等距同构映射S∈L(V)S\in\mathcal L(V)使得T=ST∗TT=S\sqrt{T^*T}
首先必须验证S1S_1的定义是合理的.为此假设v1,v2∈Vv_1,v_2\in V使得T∗Tv1=T∗Tv2\sqrt{T^*T}v_1=\sqrt{T^*T}v_2.为使S1S_1的定义有意义,必须有Tv1=Tv2Tv_1=Tv_2.

∣∣Tv1−Tv2∣∣=∣∣T(v1−v2)∣∣=∣∣T∗T(v1−v2)∣∣=∣∣T∗Tv1−T∗Tv2∣∣=0 \begin{aligned} ||Tv_1-Tv_2||&=||T(v_1-v_2)||\\ &=||\sqrt{T^*T}(v_1-v_2)||\\ &=||\sqrt{T^*T}v_1-\sqrt{T^*T}v_2||\\ &=0 \end{aligned}

因此Tv1=Tv2Tv_1=Tv_2.而S1S_1的线性是显然的.
有上述推导可知S1S_1将rangeT∗T\text{range}\sqrt{T^*T}映射到rangeT\text{range}T上,而由(1),(2)(1),(2), ∣∣S1u∣∣=∣∣u∣∣||S_1u||=||u||是显然的.
接下来要将S1S_1扩张成整个VV上的一个等距同构SS.由于S1S_1是单的(等距同构算子可逆),那么对其使用线性映射基本定理有:

dim rangeT∗T=dim rangeT \text{dim\ range}\sqrt{T^*T}=\text{dim\ range}T

这说明dim (rangeT∗T)⊥=dim (rangeT)⊥\text{dim\ }(\text{range}\sqrt{T^*T})^\perp=\text{dim\ }(\text{range}T)^\perp,分别取(range T∗T)⊥(\text{range\ }\sqrt{T^*T})^\perp和(range T)⊥(\text{range\ }T)^\perp的规范正交基e1,...,eme_1,...,e_m和f1,...,fmf_1,...,f_m定义线性映射S2:(range T∗T)⊥→(rangeT)⊥S_2:(\text{range\ }\sqrt{T^*T})^\perp\rightarrow(\text{range} T)^\perp:

S2(a1e2+...+amem)=a1f1+...+amfm S_2(a_1e_2+...+a_me_m)=a_1f_1+...+a_mf_m

那么对于所有w∈(range T∗T)⊥w\in(\text{range\ }\sqrt{T^*T})^\perp均有∣∣S2w∣∣=∣∣w∣∣||S_2w||=||w||
现在设SS是VV上的算子,在rangeT∗T\text{range}\sqrt{T^*T}上与S1S_1相等,在(rangeT∗T)⊥(\text{range}\sqrt{T^*T})^\perp上与S2S_2相等.由于每一个v∈Vv\in V可以唯一地写成:

v=u+w v=u+w

其中u∈rangeT∗T, w∈(rangeT∗T)⊥u\in\text{range}\sqrt{T^*T},\ w\in(\text{range}\sqrt{T^*T})^\perp,那么根据上述定义,对于v∈Vv\in V:

Sv=S1u+S2w Sv=S_1u+S_2w

其等距同构性由勾股定理显然可证.而∀v∈V\forall v\in V:

S(T∗Tv)=S1(T∗Tv)=Tv S(\sqrt{T^*T}v)=S_1(\sqrt{T^*T}v)=Tv

Q.E.D.\text{Q.E.D.}

特别地,考虑F=C\bf F=C的情形,设T=ST∗TT=S\sqrt{T^*T}是T∈L(V)T\in\mathcal L(V)的极分解,其中SS是等距同构则VV有一个规范正交基使得SS关于这个基有对角矩阵,并且VV还有一个规范正交基使得T∗T\sqrt{T^*T}关于这个基有对角矩阵.
注意:未必有规范正交基使得SS和T∗T\sqrt{T^*T}的矩阵同时具有这么好的对角形式

  • 奇异值分解

    • 奇异值
      设T∈L(V)T\in\mathcal L(V)则TT的奇异值就是T∗T\sqrt{T^*T}的本征值,而且每个本征值λ\lambda都要重复dimE(λ,T∗T)\text{dim}E(\lambda,\sqrt{T^*T})次.
      由于TT的奇异值都是正算子T∗T\sqrt{T^*T}的本征值,所以它们均非负.
      每个T∈L(V)T\in\mathcal L(V)都有dimV\text{dim}V个奇异值.
    • 奇异值分解
      设T∈L(V)T\in\mathcal L(V)有奇异值s1,...,sns_1,...,s_n.则VV有两个规范正交基e1,...,ene_1,...,e_n和f1,...,fnf_1,...,f_n使得对于每个v∈Vv\in V均有Tv=s1<v,e1>f1+...+sn<v,en>fnTv=s_1\left<v,e_1\right>f_1+...+s_n\left<v,e_n\right>f_n

    proof:
    对T∗T\sqrt{T^*T}应用谱定理可知,有VV的规范正交基e1,...ene_1,...e_n使得对j=1,...,nj=1,...,n均有T∗Tej=sjej\sqrt{T^*T}e_j=s_je_j
    而对于每一个v∈Vv\in V均有

    v=<v,e1>e1+...+<v,en>en(1) v=\left<v,e_1\right>e_1+...+\left<v,e_n\right>e_n\tag{1}

    将算子T∗T\sqrt{T^*T}作用在(1)(1)式的两端,则对于每个v∈Vv\in V均有:

    T∗Tv=s1<v,e1>e1+...+sn<v,en>en(2) \sqrt{T^*T}v=s_1\left<v,e_1\right>e_1+...+s_n\left<v,e_n\right>e_n\tag{2}

    由极分解定理,有等距同构S∈L(V)S\in\mathcal L(V)使得T=ST∗TT=S\sqrt{T^*T}.将SS作用到(2)(2)式两端,则对于每个v∈Vv\in V均有

    Tv=s1<v,e1>Se1+...+sn<v,en>Sen(3) Tv=s_1\left<v,e_1\right>Se_1+...+s_n\left<v,e_n\right>Se_n\tag{3}

    对每个j,令fj=Sejf_j=Se_j,由于SS是等距同构,因此f1,...,fnf_1,...,f_n是VV的规范正交基,那么(3)(3)式化为:

    Tv=s1<v,e1>f1+...+sn<v,en>fn Tv=s_1\left<v,e_1\right>f_1+...+s_n\left<v,e_n\right>f_n

    Q.E.D.\text{Q.E.D.}

    • 不对算子开平方描述其奇异值
      设T∈L(V)T\in\mathcal L(V),则TT的奇异值是T∗TT^*T的本征值的非负平方数,且每个本征值都要重复dimE(λ,T∗T)\text{dim}E(\lambda,T^*T)次.
上次编辑于:
贡献者: Youmans Yu