跳至主要內容

Chapter 7 内积空间上的算子

Youmans Yu原创线性代数学习笔记Linear Algebra大约 12 分钟

线性代数学习笔记第七章,参考教材为《Linear Algebra Done Right》。

7.A 自伴算子和正规算子

伴随

  • 定义
    TL(V,W)T\in\mathcal L(V,W).TT的伴随是满足如下条件的函数T:WVT^*:W\to V: vV,wW, <Tv,w>=<v,Tw>\forall v\in V,w\in W,\ \left<Tv,w\right>=\left<v,T^*w\right>
  • 伴随是线性映射
    TL(V,W)T\in\mathcal L(V,W),则TL(W,V)T^*\in\mathcal L(W,V)
  • 伴随的性质
    • 对所有S,TL(V,W)S,T\in\mathcal L(V,W)均有(S+T)=S+T(S+T)^*=S^*+T^*
    • 对所有λF, TL(V,W)\lambda\in\bf F,\ T\in\mathcal L(V,W)(λT)=λˉT(\lambda T)^*=\bar\lambda T^*
    • 对所有TL(V,W)T\in\mathcal L(V,W),有(T)=T(T^*)^*=T
    • I=II^*=I,这里的IIVV上的恒等算子
    • 对所有TL(V,W), SL(W,U)T\in\mathcal L(V,W),\ S\in\mathcal L(W,U)均有(ST)=TS(ST)^*=T^*S^*(UUF\bf F上的内积空间)
  • TT^*的零空间和值域
    TL(V,W)T\in\mathcal L(V,W),则:
    • null T=(range T)\text{null}\ T^*=(\text{range}\ T)^\perp
    • range T=(null T)\text{range}\ T^*=(\text{null}\ T)^\perp
    • null T=(range T)\text{null}\ T=(\text{range}\ T^*)^\perp
    • range T=(null T)\text{range}\ T=(\text{null}\ T^*)^\perp
  • 共轭转置
    m×nm\times n矩阵的共轭转置是先互换行和列,然后再对每个元素取复共轭得到的n×mn\times m矩阵
  • TT^*的矩阵
    TL(V,W)T\in\mathcal L(V,W).假设e1,...,ene_1,...,e_nVV的规范正交基,f1,...,fmf_1,...,f_mWW的规范正交基.则M(T,(f1,...,fm),(e1,...,en))\mathcal M(T^*,(f_1,...,f_m),(e_1,...,e_n))M(T,(e1,...,en),(f1,...,fm))\mathcal M(T,(e_1,...,e_n),(f_1,...,f_m))的共轭转置.

自伴算子

  • 定义
    算子TL(V)T\in\mathcal L(V)称为自伴的,如果T=TT=T^*,也就是说,TL(V)T\in\mathcal L(V)是自伴的当且仅当v,wV, <Tv,w>=<v,Tw>\forall v,w\in V,\ \left<Tv,w\right>=\left<v,Tw\right>
  • 两个自伴算子的和是自伴的,实数和自伴算子的乘积是自伴的
  • 自伴算子的本征值是实的
  • C\bf C上只有00算子才能使得TvTv总正交于vv
  • C\bf C上,仅自伴算子才能使<Tv,v>\left<Tv,v\right>都是实数
  • T=TT=T^*且对所有vv均有<Tv,v>=0,\left<Tv,v\right>=0,T=0T=0.

正规算子

  • 定义
    内积空间上的算子称为正规的,如果它和它的伴随是交换的.也就是所,TL(V)T\in\mathcal L(V)是正规的,如果:TT=TTTT^*=T^*T
  • TT是正规的当且仅当对所有的vv,均有Tv=Tv||Tv||=||T^*v||

TT=TT    TTTT=0    vV, <(TTTT)v,v>=0    vV,<TTv,v>=<TTv,v>    vV, Tv2=Tv2 \begin{aligned} T^*T=TT^*&\iff TT^*-T^*T=0\\&\iff \forall v\in V,\ \left<(T^*T-TT^*)v,v\right>=0\\&\iff \forall v\in V,\left<T^*Tv,v\right>=\left<TT^*v,v\right>\\&\iff\forall v\in V,\ ||Tv||^2=||T^*v||^2 \end{aligned}

其重要推论是null T=null T\text{null}\ T=\text{null}\ T^*

  • TT正规,则TTTT^*有相同的本征向量
  • 正规算子的正交本征向量
    TL(V)T\in\mathcal L(V)是正规的,则TT的相应于不同本征值的本征向量是正交的.

7.B 谱定理

复谱定理

F=C\bf F=\bf CTL(V)T\in\mathcal L(V)则以下条件等价:

  • a. TT是正规的
  • b. VV有一个由TT的本征向量组成的规范正交基
  • c. TT关于VV某个规范正交基具有对角矩阵

proof:
(b) ( c )显然等价,因此只需证明(a)( c )的等价性
首先假设( c )成立.
那么TTVV的某个规范正交基上有对角矩阵,则TT^*VV的某个规范正交基上有对角矩阵,由任意两个对角矩阵都是交换的可证TT正规.
然后假设(a)成立,则TT是正规的,由舒尔定理,VV有一个规范正交基e1,...,ene_1,...,e_n使得TT关于这个基具有上三角矩阵.于是:

M(T,(e1,...,en))=(a1,1a1,n0an,n) \mathcal M(T,(e_1,...,e_n))=\begin{pmatrix}a_{1,1}&\cdots&a_{1,n}\\&\ddots&\vdots\\0&&a_{n,n}\end{pmatrix}

只需证明该矩阵为对角矩阵即可.

Te12=a1,12=Te12=a1,12+...+a1,n2 ||Te_1||^2=|a_{1,1}|^2=||T^*e_1||^2=|a_{1,1}|^2+...+|a_{1,n}|^2

由此a1,k=0, k=2,...,n|a_{1,k}|=0,\ k=2,...,n
以此类推直到最后一行,可以证得矩阵中所有非对角线元素全部为0,( c )成立.
Q.E.D.\text{Q.E.D.}

实谱定理

证明实谱定理之前需要几个引理:

  • 可逆的二次式
    TL(V)T\in\mathcal L(V)是自伴的,并设b,cRb,c\in\bf R使得b2<4cb^2<4c,则:

T2=bT=cI T^2=bT=cI

是可逆的.

  • 自伴算子都具有本征值
    V{0}V\neq\{0\}TL(V)T\in\mathcal L(V)是自伴算子,则TT有本征值

proof:
VV是实向量空间.设n=dim Vn=\text{dim}\ V,取vV, v0v\in V,\ v\neq 0,则:v,Tv,T2v,...,Tnvv,Tv,T^2v,...,T^nv线性相关,于是有不全为00的实数a0,...,ana_0,...,a_n使得:

0=a0v+a1Tv+...+anTnv 0=a_0v+a_1Tv+...+a_nT^nv

取多项式a0+a1x+...+anxna_0+a_1x+...+a_nx_n,并将其分解:

a0+a1x+...+anxn=c(x2+b1x+c1)...(x2bMx+cM)(xλ1)...(xλm) a_0+a_1x+...+a_nx^n=c(x^2+b_1x+c_1)...(x^2b_Mx+c_M)(x-\lambda_1)...(x-\lambda_m)

其中cc是非零实数,bi,ci,λiRb_i,c_i,\lambda_i\in\bf{R}, bj2<4cj, m+M1\ b_j^2<4c_j,\ m+M\geq 1,那么:

0=c(T2+b1T+c1I)...(T2+bMT+cMI)(Tλ1I)...(TλmI)v 0=c(T^2+b_1T+c_1I)...(T^2+b_MT+c_MI)(T-\lambda_1I)...(T-\lambda_mI)v

由第一个引理,每个T2+bjT+cjT^2+b_jT+c_j都是可逆的,那么m>0m>0且:

0=(Tλ1I)...(TλmI)v 0=(T-\lambda_1I)...(T-\lambda_m I)v

至少有一个jj使得TλjIT-\lambda_jI不是单的,也就是说TT有本征值
Q.E.D\text{Q.E.D}

  • 自伴算子和不变子空间
    TL(V)T\in\mathcal L(V)是自伴的,并设UUVV的在TT下不变的子空间.则:
    • UU^\perpTT下是不变的
    • TUL(U)T|_U\in\mathcal L(U)是自伴的
    • TUL(U)T|_{U^\perp}\in\mathcal L(U^\perp)是自伴的
  • 实谱定理
    F=R\bf F=\bf RTL(V)T\in\mathcal L(V),则以下条件等价:
    • a. TT是自伴的
    • b. VV有一个由TT的本征向量组成的规范正交基
    • c. TT关于VV的某个规范正交基具有对角矩阵

proof:
首先假设( c )成立,显然(a)成立.
接下来假设(a)成立,使用归纳法证明(b)成立:
dim V=1\text{dim}\ V=1,则(b)显然正确,下设dim V>1\text{dim}\ V>1且对于维数更小的向量空间,(b)成立.
首先假设uuTT的本征向量且u=1||u||=1,设U=span(u)U=\text{span}(u),则UUVV的一维不变子空间.
由引理3的( c ),TUL(U)T_{U^\perp}\in\mathcal L(U^\perp)是自伴的
由归纳假设,UU^\perp有一个由TUT|_{U^\perp}的本征向量组成的规范正交基,将uu添加进这个规范正交基,就得到了VV的一个由TT的本征向量组成的规范正交基.(b)成立.
最后假设(b)成立,显然(c)成立.
Q.E.D.\text{Q.E.D.}

7.C 正算子和等距同构

正算子

称算子TL(V)T\in\mathcal L(V)是正的,如果TT是自伴的并且对于所有的vVv\in V均有<Tv,v>0\left<Tv,v\right>\geq 0
p.s.如果VV是复向量空间,则TT自伴的条件可以从上面的定义中去掉.

  • 定义:平方根
    算子RR称为算子TT的平方根,如果R2=TR^2=T.
  • 正算子的刻画
    TL(V)T\in\mathcal L(V),则以下条件等价:
    • TT是正的
    • TT是自伴的并且TT的所有本征值非负
    • TT有正的平方根
    • TT有自伴的平方根
    • 存在算子RL(V)R\in\mathcal L(V)使得T=RRT=R^*R

这个定理可以与C\bf C中非负数的刻画相对应.复数zz非负当且仅当其具有非负平方根,与第三个条件对应;复数zz非负当且仅当它具有实的平方根,这对应于第四个条件;zz非负当且仅当有复数ww使得z=wˉwz=\bar w w,这对应于第五个条件

  • 每个正算子都有唯一的平方根
    VV上每个正算子都有唯一的平方根

proof:
假设TL(V)T\in\mathcal L(V)是正的,vVv\in VTT的一个本征向量.则有λ0\lambda\geq 0使得:Tv=λvTv=\lambda v
下面证明Rv=λvRv=\sqrt \lambda v.
根据谱定理,VV有一个由RR的本征向量构成的规范正交基e1,...,ene_1,...,e_n.因为RR是正算子,其本征值均是非负的,因此存在非负数λ1,...,λn\lambda_1,...,\lambda_n使得对于每一个j=1,...,nj=1,...,n均有

Rej=λjej Re_j=\sqrt\lambda_j e_j

因为e1,...,ene_1,...,e_nVV的基,所以a1,...anF\exists a_1,...a_n\in\bf F使得

v=a1e1+...+anen v=a_1e_1+...+a_ne_n

于是

Rv=a1λ1e1+...+anλnen Rv=a_1\sqrt\lambda_1e_1+...+a_n\sqrt\lambda_n e_n

因此

R2v=a1λ1e1+...+anλnen R^2v=a_1\lambda_1 e_1+...+a_n\lambda_n e_n

R2=T, Tv=λvR^2=T,\ Tv=\lambda v
因此:

a1λ1e1+...+anλnen=a1λe1+...+anλen a_1\lambda_1 e_1+...+a_n\lambda_n e_n=a_1\lambda e_1+...+a_n\lambda e_n

这意味着对于j=1,...,nj=1,...,n, aj(λλj)=0a_j(\lambda-\lambda_j)=0
所以

v={j:λj=λ}ajej v=\sum_{\{j:\lambda_j=\lambda\}}a_je_j

也就是:

Rv={j:λj=λ}ajλej=λv Rv=\sum_{\{j:\lambda_j=\lambda\}}a_j\sqrt\lambda e_j=\sqrt \lambda v

这就意味着RRTT的本征向量上是唯一确定的,由谱定理,VV有一个由TT的本正向量构成的基,那么RR也就唯一确定了.
Q.E.D.\text{Q.E.D.}

等距同构

算子SL(V)S\in\mathcal L(V)称为等距同构,如果对于所有的vVv\in V,均有Sv=v||Sv||=||v||,也就是说,算子是等距同构的当且仅当它保持范数.实内积空间上的等距同构通常称为正交算子,复内积空间上的等距同构通常称为酉算子.

  • 等距同构的刻画
    SL(V)S\in\mathcal L(V),则以下条件等价:
    • SS等距同构
    • 对所有u,vVu,v\in V均有<Su,Sv>=<u,v>\left<Su,Sv\right>=\left<u,v\right>
    • VV中的任意规范正交向量组e1,...,ene_1,...,e_n均有Se1,...,SenSe_1,...,Se_n是规范正交的
    • VV有规范正交基e1,...,ene_1,...,e_n使得Se1,...,SenSe_1,...,Se_n是规范正交的
    • SS=IS^*S=I
    • SS=ISS^*=I
    • SS^*等距同构
    • SS是可逆的并且S1=SS^{-1}=S^*
  • F = C\bf F\ =\ C时等距同构的描述
    VV是夫内积空间,SL(V)S\in\mathcal L(V),则以下条件等价:
    • SS等距同构
    • VV有一个由SS的本征向量组成的规范正交基,相应的本征值的绝对值均为11

极分解和奇异值分解

  • 类比:C\bf CL(V)\mathcal L(V)(首先定义T\sqrt TTT的唯一的正平方根)
C\bf CL(V)\mathcal L(V)
复数zz算子TT
zˉ\bar zTT^*
非负数正算子
单位元(zˉz=1\bar zz=1)全体等距同构TT=IT^*T=I
zC\forall z\in\bf C, z=(zz)z=(zz)zˉzz=(\frac{z}{|z|})|z|=(\frac{z}{|z|})\sqrt{\bar zz}TL(V), SL(V), T=STT\forall T\in\mathcal L(V),\ \exists S\in\mathcal L(V),\ T=S\sqrt{T^*T}, 其中SS为等距同构
  • 极分解
    TL(V)T\in\mathcal L(V),则有一个等距同构SL(V)S\in\mathcal L(V)使得T=STTT=S\sqrt{T^*T}

proof:
vVv\in V,则:

Tv2=<Tv,Tv>=<TTv,v>=<TTTTv,v>=<TTv,TTv>=TTv2 \begin{aligned} ||Tv||^2=\left<Tv,Tv\right>&=\left<T^*Tv,v\right>\\ &=\left<\sqrt{T^*T}\sqrt{T^*T}v,v\right>\\ &=\left<\sqrt{T^*T}v,\sqrt{T^*T}v\right>\\ &=||\sqrt{T^*T}v||^2 \end{aligned}

于是对于所有vVv\in V均有

Tv=TTv(1) ||Tv||=||\sqrt{T^*T}v||\tag{1}

定义线性映射S1:rangeTTrangeTS_1:\text{range}\sqrt{T^*T}\leftarrow\text{range} T为:

S1(TTv)=Tv(2) S_1(\sqrt{T^*T}v)=Tv\tag{2}

证明的思路是将S1S_1扩张成一个等距同构映射SL(V)S\in\mathcal L(V)使得T=STTT=S\sqrt{T^*T}
首先必须验证S1S_1的定义是合理的.为此假设v1,v2Vv_1,v_2\in V使得TTv1=TTv2\sqrt{T^*T}v_1=\sqrt{T^*T}v_2.为使S1S_1的定义有意义,必须有Tv1=Tv2Tv_1=Tv_2.

Tv1Tv2=T(v1v2)=TT(v1v2)=TTv1TTv2=0 \begin{aligned} ||Tv_1-Tv_2||&=||T(v_1-v_2)||\\ &=||\sqrt{T^*T}(v_1-v_2)||\\ &=||\sqrt{T^*T}v_1-\sqrt{T^*T}v_2||\\ &=0 \end{aligned}

因此Tv1=Tv2Tv_1=Tv_2.而S1S_1的线性是显然的.
有上述推导可知S1S_1rangeTT\text{range}\sqrt{T^*T}映射到rangeT\text{range}T上,而由(1),(2)(1),(2), S1u=u||S_1u||=||u||是显然的.
接下来要将S1S_1扩张成整个VV上的一个等距同构SS.由于S1S_1是单的(等距同构算子可逆),那么对其使用线性映射基本定理有:

dim rangeTT=dim rangeT \text{dim\ range}\sqrt{T^*T}=\text{dim\ range}T

这说明dim (rangeTT)=dim (rangeT)\text{dim\ }(\text{range}\sqrt{T^*T})^\perp=\text{dim\ }(\text{range}T)^\perp,分别取(range TT)(\text{range\ }\sqrt{T^*T})^\perp(range T)(\text{range\ }T)^\perp的规范正交基e1,...,eme_1,...,e_mf1,...,fmf_1,...,f_m定义线性映射S2:(range TT)(rangeT)S_2:(\text{range\ }\sqrt{T^*T})^\perp\rightarrow(\text{range} T)^\perp:

S2(a1e2+...+amem)=a1f1+...+amfm S_2(a_1e_2+...+a_me_m)=a_1f_1+...+a_mf_m

那么对于所有w(range TT)w\in(\text{range\ }\sqrt{T^*T})^\perp均有S2w=w||S_2w||=||w||
现在设SSVV上的算子,在rangeTT\text{range}\sqrt{T^*T}上与S1S_1相等,在(rangeTT)(\text{range}\sqrt{T^*T})^\perp上与S2S_2相等.由于每一个vVv\in V可以唯一地写成:

v=u+w v=u+w

其中urangeTT, w(rangeTT)u\in\text{range}\sqrt{T^*T},\ w\in(\text{range}\sqrt{T^*T})^\perp,那么根据上述定义,对于vVv\in V:

Sv=S1u+S2w Sv=S_1u+S_2w

其等距同构性由勾股定理显然可证.而vV\forall v\in V:

S(TTv)=S1(TTv)=Tv S(\sqrt{T^*T}v)=S_1(\sqrt{T^*T}v)=Tv

Q.E.D.\text{Q.E.D.}

特别地,考虑F=C\bf F=C的情形,设T=STTT=S\sqrt{T^*T}TL(V)T\in\mathcal L(V)的极分解,其中SS是等距同构则VV有一个规范正交基使得SS关于这个基有对角矩阵,并且VV还有一个规范正交基使得TT\sqrt{T^*T}关于这个基有对角矩阵.
注意:未必有规范正交基使得SSTT\sqrt{T^*T}的矩阵同时具有这么好的对角形式

  • 奇异值分解

    • 奇异值
      TL(V)T\in\mathcal L(V)TT的奇异值就是TT\sqrt{T^*T}的本征值,而且每个本征值λ\lambda都要重复dimE(λ,TT)\text{dim}E(\lambda,\sqrt{T^*T})次.
      由于TT的奇异值都是正算子TT\sqrt{T^*T}的本征值,所以它们均非负.
      每个TL(V)T\in\mathcal L(V)都有dimV\text{dim}V个奇异值.
    • 奇异值分解
      TL(V)T\in\mathcal L(V)有奇异值s1,...,sns_1,...,s_n.则VV有两个规范正交基e1,...,ene_1,...,e_nf1,...,fnf_1,...,f_n使得对于每个vVv\in V均有Tv=s1<v,e1>f1+...+sn<v,en>fnTv=s_1\left<v,e_1\right>f_1+...+s_n\left<v,e_n\right>f_n

    proof:
    TT\sqrt{T^*T}应用谱定理可知,有VV的规范正交基e1,...ene_1,...e_n使得对j=1,...,nj=1,...,n均有TTej=sjej\sqrt{T^*T}e_j=s_je_j
    而对于每一个vVv\in V均有

    v=<v,e1>e1+...+<v,en>en(1) v=\left<v,e_1\right>e_1+...+\left<v,e_n\right>e_n\tag{1}

    将算子TT\sqrt{T^*T}作用在(1)(1)式的两端,则对于每个vVv\in V均有:

    TTv=s1<v,e1>e1+...+sn<v,en>en(2) \sqrt{T^*T}v=s_1\left<v,e_1\right>e_1+...+s_n\left<v,e_n\right>e_n\tag{2}

    由极分解定理,有等距同构SL(V)S\in\mathcal L(V)使得T=STTT=S\sqrt{T^*T}.将SS作用到(2)(2)式两端,则对于每个vVv\in V均有

    Tv=s1<v,e1>Se1+...+sn<v,en>Sen(3) Tv=s_1\left<v,e_1\right>Se_1+...+s_n\left<v,e_n\right>Se_n\tag{3}

    对每个j,令fj=Sejf_j=Se_j,由于SS是等距同构,因此f1,...,fnf_1,...,f_nVV的规范正交基,那么(3)(3)式化为:

    Tv=s1<v,e1>f1+...+sn<v,en>fn Tv=s_1\left<v,e_1\right>f_1+...+s_n\left<v,e_n\right>f_n

    Q.E.D.\text{Q.E.D.}

    • 不对算子开平方描述其奇异值
      TL(V)T\in\mathcal L(V),则TT的奇异值是TTT^*T的本征值的非负平方数,且每个本征值都要重复dimE(λ,TT)\text{dim}E(\lambda,T^*T)次.
上次编辑于:
贡献者: Youmans Yu