MIT线性代数笔记(中).doc
《MIT线性代数笔记(中).doc》由会员分享,可在线阅读,更多相关《MIT线性代数笔记(中).doc(39页珍藏版)》请在沃文网上搜索。
1、麻省理工大学公开课 MIT OpenCourseWare http:/ocw.mit.edu18.06 线性代数 Linear Algebra第二单元 最小二乘法、行列式和特征值Unit 2 the Least squares, Determinants & Eigenvalues第 14 讲 正交向量与正交子空间 第 15 讲 子空间投影第 16 讲 投影矩阵和最小二乘法第 17 讲 正交矩阵和施密特正交化 第 18 讲 行列式及其性质第 19 讲 行列式公式和代数余子式第 20 讲 克拉默法则、逆矩阵、体积 第 21 讲 特征值和特征向量第 22 讲 对角化和矩阵的幂 第 23 讲 微分方
2、程和 eAt第 24 讲 马尔可夫矩阵;傅里叶级数复习(二)第 14 讲 正交向量与正交子空间Orthogonal vectors & subspaces本讲我们讨论正交(orthogonal)概念对于向量、基和子空间的意义。A 的行空间A 的列空间dim C(AT)=rdim C(A)=rRn零空间dim N(A)=n-r正交 OrthogonalRm左零空间dim N(AT)=m-r图中绘制空间成 90 度角,这是表示这两个空间正交。这张图是 GS 最得意的作品之一,它反映了四个子空间的关系,在后面的课程中可以看到其两两形成正交补, 在 Rn 空间中的向量会向两个子空间射影,并向 Rm 空
3、间形成映射,反之亦然。正交向量 Orthogonal vectorsx+yxy正交就是垂直(perpendicular)的另一种说法。两向量正交的判据之一是其点积 xTy=yTx=0。当两个向量的夹角为 90 度时,按照勾股定理(毕达哥拉斯定理 Pythagorean theorem)x,y 满足:2222 1x+ y 2= x + y其中 x3=xT x222例如 x= 2 ,y= -1 ,则 x+y= 1 ,x =14,y =5,x + y=19。 3 03将勾股定理展开进行计算,则有 xTx+yTy=(x+y)T(x+y)=xTx+yTy+xTy+yTx。得到 2xTy=0。 零向量与所
4、有向量都正交。正交子空间 Orthogonal subspaces子空间 S 与子空间 T 正交,则 S 中的任意一个向量都和 T 中的任意向量正交。 黑板所在的平面和地板所在平面不是正交关系,沿两者的交线方向的向量同时属于 两个平面,但并不与自己正交。我们在平面内讨论正交子空间,平面的子空间包括只包含零向量的 0 空间、过 原点的直线以及整个平面。经过原点的直线不会和整个空间正交;0 空间和过原点 的直线正交;经过原点的两条直线若夹角为直角则互相正交。零空间与行空间正交 Nullspace is perpendicular to row space矩阵 A 的行空间和它的零空间正交。若 x
5、在零空间内,则有 Ax=0,将 A 表示 为行向量的格式: row1 row1 x 0 row2 x = row2 x = 0M MM rowm rowm x0x 与矩阵 A 的行向量点积都等于 0,则它和矩阵 A 行向量的线性组合进行点积也为 0,所以 x 与 A 的行空间正交。x 为零空间内的任意向量,所以零空间与行空 间正交。同理可以证明列空间与左零空间正交。行空间和零空间实际上把 Rn 空间分割成了两个正交的子空间。例如对于矩阵: 125A= 24 1011则其行空间是 1 维的,向量 2 是它的基向量,而其零空间是垂直于 2 并穿过原点的 2 维平面。 5 5行空间和零空间不仅仅是正
6、交,并且其维数之和等于 n,我们称行空间和零空 间为 Rn 空间内的正交补(orthogonal complements)。这表示零空间包含所有和 行空间正交的向量,反之亦然。想想我们之前提到的黑板和地板平面不是正交子空 间的例子,二者都在 3 维空间中,分别为 2 维空间,因此不可能正交。一个空间中 正交子空间的维数之和不可能超过原空间的维数。我们可以称目前讨论的这部分内容是线性代数基本定理的第二部分。第一部分 是给出四个子空间和它们的维数,第二部分说明它们是两两互为正交补,第三部分讨论子空间的正交基。这些内容都反映在了本讲座开始的那幅图上。矩阵 ATA下面讨论如何求解一个无解方程组 Ax=
7、b 的解。如果 A 是长方形矩阵,m 大 于 n。当左侧方程数特别多的时候,容易混入“坏”数据,方程变得无解。但是对 于数据的可信度我们无从判断,线性代数要做的就是在这种条件下求一个方程的“最 优解”。矩阵 ATA 会发挥重要作用,它是一个 nn 方阵,并且是对称阵(,ATA)T=ATA。本章的核心内容就是当 Ax=b 无解的时候,求解 ATAx=ATb 得到最优解。1111例:A= 12 ,则 ATA= 111 12 = 38 是可逆矩阵。15125 15830但是矩阵 ATA 并不总是可逆。131 3例:A= 13 ,则 ATA= 111 1 3 = 39 是不可逆矩阵。13333 1 3
8、927实际上 N(ATA)=N(A),并且矩阵 ATA 的秩等于 A 的秩。因此矩阵 ATA 可逆 要求 A 的零空间只有零向量,即 A 的列向量线性无关。douTintin14第 15 讲 子空间投影Projections onto subspaces投影(射影)Projectionsbe=b-ppa投影问题的几何解释就是:如何在向量 a 的方向上寻找与向量 b 距离最近的一 点。从图中可以看出,这个距离最近的点 p 就位于穿过 b 点并与向量 a 正交的直线 与向量 a 所在直线的交点上。这就是 b 在 a 上的投影。如果我们将向量 p 视为 b 的一种近似,则长度 e=b-p 就是这一近
9、似的误差。因为 p 在向量 a 的方向上,因此可以令 p=xa,而因为它和 e 正交,我们可以 得到方程:aT(b-xa)=0。解得:x=aTb ,p=ax=aaTa aTb 。aTa 如果 b 变为原来的 2 倍,则 p 也变为原来的 2 倍。而如果 a 变为原来的 2 倍,p 不发生变化。从几何上和计算中都会得到验证。 本单元前半部分的核心内容就是射影。上一单元我们最核心的内容是认识消元法对于线性方程组的意义,并用矩阵的数学语言实现了消元过程,在那里最核心的 策略就是利用矩阵乘法中的行操作来实现这一过程。这里面临类似的情况,我们有 一个明确的几何目标,要将向量投影到已知子空间,而这里的策略
10、就是误差向量和 已知子空间正交,即两者求点积为 0。投影矩阵 Projections matrix我们将投影问题用投影矩阵的方式进行描述,即为 p=P b,其中 P 为投影矩阵。p=ax=aaTb 。则有 P=aaT,其分子 aaT 是一个矩阵,而分母是一个数。aTa aTa 观察这个矩阵可知,矩阵 P 的列空间就是向量 a 所在的直线,矩阵的秩是 1。投影矩阵 P 是一个对称矩阵。另一方面,如果做两次投影则有 P 2b=P b,这是因为 第二次投影还在原来的位置。因此矩阵 P 有如下性质:P T=P,P 2=P。为什么要投影 Why Project如前所述,方程 Ax=b 有可能无解,我们需
11、要得到方程的“最优解”。这里的问题在于向量 Ax 一定在矩阵 A 的列空间之内,但是 b 不一定,因此我们希望将 b 投影到 A 的列空间得到 p,将问题转化为求解 Ax=p。在高维投影 Projection in higher dimensions在 R3 空间内,如何将向量 b 投影到它距离平面最近的一点 p?bp如果 a1 和 a2 构成了平面的一组基,则平面就是矩阵 A=a1a2的列空间。 已知向量 p 在平面内,则有 p= x1a1 + x2a2 = Ax 。而 e=b-p=b- Ax 与投影平面正交(重点),因此 e 与 a1 和 a2 均正交,因此可以得到:a1 (b- Ax )
12、=0 并且 a2 (b-TAx )=0。因为 a1 和 a2 分别为矩阵 A 的列向量,即 a1TT和 a2为矩阵 ATT的行向量,所以将两个方程式写成矩阵形式即为 AT(b- Ax )=0。这与一维投影的方程形式相同。 向量 e=b- Ax 存在于矩阵 AT 的零空间 N(AT)里,从上一讲讨论子空间的正交性可知,向量 e 与矩阵 A 的列空间正交,这也正是方程的意义。将方程 AT(b- Ax )=0 改写,可得 AT Ax =ATb。两侧左乘(ATA)-1,得到:x =(ATA)-1ATbp= Ax =A(ATA)-1ATbP=A(ATA)-1AT因为矩阵 A 不是方阵,无法简单的用(AT
13、A)-1=A-1(AT)-1 对投影矩阵公式进行化 简。若 A 是可逆方阵,则化简得到 P=I。此时 A 的列空间就是整个 Rn 空间,b 到 这个空间的投影就是其本身,投影矩阵等于单位阵。对 P=A(ATA)-1AT 用矩阵乘法的结合律和矩阵乘积的转置公式,可以证明投影 矩阵的性质:P T=P,P 2=P。最小二乘 Least Squares应用投影矩阵求方程组最优解的方法,最常用于“最小二乘法”拟合曲线。有三个数据点(1,1), (2,2), (3,2),求直线方程 b=C+Dt,要求直线尽量接近于 三个点。把三个点的数据代入方程则有:C+ D=111 C 1C+2D=2矩阵形式为 12=
14、 2DC+3D=2132这个的方程 Ax=b 是无解的,解决办法就是求其最优解,即方程 AT Ax =ATb 的解。第 16 讲 投影矩阵和最小二乘法Projection matrices and least squares投影 Projections上一讲介绍了投影矩阵 P=A(ATA)-1AT,当它作用于向量 b,相当于把 b 投影 到矩阵 A 的列空间。如果向量 b 本身就在 A 列空间之内,即存在 x 使得 Ax=b,则有:P b=A(ATA)-1ATb=A(ATA)-1ATAx=A((ATA)-1ATA)x=Ax=b如果向量 b 与 A 的列空间正交,即向量 b 在矩阵 A 的左零空
15、间 N(A)中,则有P b=A(ATA)-1ATb=A(ATA)-1(ATb)=A(ATA)-10=0。A 的列空间peA 的左零空间p+e=b,说明 b 由两部分组成:p=P b 为 A 的列空间中的部分;be=(I-P )b 为 A 的左零空间中的部分。I-P 为左零空间的投影矩阵,可以验证 (I-P )T=(I-P ),并且(I-P )2=(I-P )。最小二乘法 Least Squares应用投影矩阵求方程组最优解的方法,最常用于“最小二乘法”拟合曲线。三个点(1,1), (2,2), (3,2),求直线方程 b=C+Dt,要求直线尽量接近于三个点。C+ D=111 C 1C+2D=2
16、矩阵形式为 12= 2DC+3D=2132这个的方程 Ax=b 是无解的,解决办法就是求其最优解,最优解的含义即为误2差最小,这里误差就是每个方程误差值的平方和 e=Ax -b2,因此就是寻找具有最小误差平方和的解 x,这就是所谓的“最小二乘”问题。p3b2e2p2e3b3p1e1b122222e= Ax -b=e1 +e2 +e3误差即为数据点到直线距离的平方和。这部分工作可称为线性回归,在数据点中 没有“离群值”时,这是非常有用的方法。222从几何上讨论求解过程,就是试图寻找数据点到直线距离的平方和 e1 +e2 +e3最小的情况,此时得到的 C+Dt 分别为 p1,p2 和 p3,它们是
17、满足方程并最接近于 b 的结果。另一种看法是,对于 R3 空间上的向量 b,它投影到矩阵 A 的列空间中会 得到向量 p=p1 p2 p3T,投影到矩阵 A 的零空间中则为 e。C 现在求解 x = 和 p。D 111111 ATA x =ATb36536 C 5 122 = ,则有 = 123 1326 14 11得到解为 C =2/3, D =1/2。 还可以从误差最小的角度出发求解:6 14 D 11222222e1 +e2 +e3 =(C+D-1) +(C+2D-2) +(C+3D-2)对等号右边的表达式求偏导数,极值出现在偏导数为 0 的位置。求偏导最终会 得到相同的线性方程组和相同
18、的解。2展开结果为 e =3C2+14D2+9-10C-22D+12CD,求偏导为 12C-20+24D=0;28D-22+12C=0。与 ATA x =ATb 相同。得到直线表达式 y=2/3+t/2。将 t=1, 2, 3 分别代入可得:ipiei1237/6-1/65/31/313/6-1/6可以验证,向量 p 与 e 正交,并且 e 与矩阵 A 的列空间正交。矩阵 ATA证明:若 A 的列向量线性无关时,矩阵 ATA 为可逆矩阵。假设存在 x 使得 ATAx=0。则有 xTATAx=0=(Ax)T(Ax),因此 Ax=0。因为 A 的列向量线性无关,所以只有当 x=0 时有 Ax=0。
19、因此只有当 x=0 时有 ATAx=0。 即矩阵 ATA 为可逆矩阵。如果矩阵的列向量是互相垂直的单位向量,则它们一定是线性无关的。我们将 这种向量称之为标准正交(orthonormal)。100例如: 0 , 1 和 0 。还有 cosq 和 cosq 。 0 0 1sinq sinq 第 17 讲 正交矩阵和施密特正交化Orthogonal matrices & Gram-Schmidt本讲我们完成对“正交”的介绍。Gram-Schmidt 过程可以将原空间的一组基 转变为标准正交基。正交向量 Orthonormal vectors满足如下条件的向量 q1,q2qn 为标准正交:0q q=
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
10 积分
下载 | 加入VIP,下载更划算! |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- MIT 线性代数 笔记