投影分析
我们先来看看二维空间中向量的投影, 如下图

向量 \(\vec b\) 在向量 \(\vec a\) 上的投影为向量 \(\vec p\), \(\vec e \bot \vec a\)
\[ \because e \bot a ,\quad p = ax \\ a \cdot e = 0 \Rightarrow a^T(b - p) = 0\\ \Rightarrow a^T(b-ax) = 0 \\ \Rightarrow a^Tax = a^Tb\\ \Rightarrow \begin{cases}x = \frac{a^Tb}{a^Ta} \quad 参数\\ p = ax = \frac{aa^T}{a^Ta}b, \quad 投影\\ P = \frac{aa^T}{a^Ta} \quad 投影矩阵 \end{cases} \]
从 \(p = Pb\) 看出, 给了矩阵 A (这里是向量 a) 的投影矩阵 \(P\), 就能求出一个向量 \(b\) 在 A上的投影向量 \(p\).
\(\blacksquare\) 乘积
\[ A\bf x, \quad A 为矩阵, x 为列向量 \] 的结果总是在矩阵 A 的列空间中.投影矩阵 \(P\) 将向量 \(\vec b\) 投影到通过向量 \(\vec a\) 的一条直线上, 即以向量 \(\vec a\) 为基的列空间.
如果做两次投影, 其结果和做一次投影一样, 这应该是很容易想到的, 第一次投影将结果投影到 a 的列空间上了, 第二次投影结果时, 结果不会变.
为什么要做投影呢 ?
我们先来看看下面这个问题.
对于 \(m \times n (m > n)\space 矩阵A\), 方程
\[ A\bf x=b \]
或许没有解(即 b 不在 A 的列空间中).
\(\color {red} {那么如何 "求解" 一个没有解的方程的解?}\)
这时只能求解与不可解问题最接近的可解问题! \(A\bf x=b\) 无解, 即 b 不在 A 的列空间中, 那我们怎么微调 b 使得方程有解呢? 利用投影, 我们问题转化为
\[ A\bf x=b \\ \Downarrow \\ A \hat{ \bf x} = p \]
\(p\) 是 b 在 A 的列空间的投影.
若 b 在 A 的列空间中, 则投影 p = b
若 b 中包含误差向量 e, e = b - p, 则投影 p = b - e 我们知道投影 p 在矩阵 A 的列空间中, 那么可以便是为列空间的基的组合.
比如在二维空间 \(R^2\) 中,\[A = (a_1, a_2), \quad p = a_1x_1 + a_2x_2 = A \bf {\hat x}\]
问题转化为 寻找合适的列组合使得误差向量 \(e\) 垂直于列空间.
\(\blacksquare\) 线面垂直判定定理：如果一条直线与平面内两条相交直线都垂直，那么这条直线与这个平面垂直。对应于向量空间的话, 一向量 b 垂直于一向量空间, 判定定理为 b 与该向量空间的一组基都垂直即可.
\(p = A \bf {\hat x}\), 寻找 \(\hat {\bf x}\) 使得 \(e = b - A \bf {\hat x}\) 垂直 A 的列空间, 即 \(e \bot a_1, e \bot a_2\)
\[ \left . { a_1^T(b-A \hat{\bf x}) = 0 \\ a_2^T(b-A \bf {\hat x}) = 0} \right \} => A^T (b-A \bf {\hat x})= A^Te = 0 \]
\(A^Te = 0\) 可以看出 e 在 A 的左零空间中
\(A^T e = A^T (b-A \bf {\hat x}) = 0\) 可得这样一个形式\(A^TA \hat x = A^Tb\)(这是个很重要的形式), 进而得到
\[ \begin{cases} \hat x = (A^TA)^{-1}A^Tb, \quad 参数\\ p = A \hat x = A(A^TA)^{-1}A^Tb, \quad 投影 \\ P = A(A^TA)^{-1}A^T, \quad 投影矩阵 \end{cases} \]
如果 A 是可逆方阵的话, \(P = A(A^TA)^{-1}A^T = AA^{-1}{A^{T}}^{-1}A^T = I\), A 是可逆方阵, 那么 b 肯定在 A 的列空间中, 所以投影矩阵为单位矩阵(即恒等矩阵), b 的投影就是自身.
我们可以看到投影矩阵具有如下性质
\[ P^T = P \\ P^2 = P \]
下面我们来看一个重要的矩阵
\[A^TA\]
该矩阵具有如下性质
- 对称方阵
- rank(\(A^TA\)) = rank(A)
- \(A^TA\) 的零空间和 A 的零空间相同.
- \(A^TA\) 当且仅当 A 的各列线性无关.
我们把 \(A\bf x=b\) 转化为 \[A^TA\bf x=A^Tb\], 我们希望新方程有解.
最小二乘法
最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 如果有离群值(异常值), 则一般形式的最小二乘法的性能并不太好, 所以一下的讨论先不考虑离群值.
\(P = A(A^TA)^{-1}A^T,\) 投影矩阵 P 会将向量 b 投影到 A 的列空间中距离 b 最近的一点, 坐标原点到该点的向量即投影向量.
\[ p = Pb = b - e\\ e = b - pb = (I - P)b \]
从上面看出, 通过矩阵 \(I-P\), 可以得到 b 在左零空间的投影向量, \(I-P\) 称为正交投影矩阵.
\[\min _{b}\|Ab-y \|_{2}^2\]
设偏导为 0, 得 $A^TA\hat b = A^Ty $
来看一个线性回归曲线拟合简单例子, 已知 3 个点 \((1, 1), (1, 2), (1, 3)\), 求其拟合曲线 \(y=b_{0}+b_{1}x)\).

解: 将点代入曲线方程 \(y=b_{0}+b_{1}t)\)
\[ \begin{cases} b_0 + b_1 = 1 \\ b_0 + 2b_1 = 2 \\ b_0 + 3b_1 = 2 \\ \end{cases} \\ A b = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix} { b} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} = y \\ \because \quad A^TA {\hat b} = A^Ty\\ A^TA = \begin{bmatrix} 3 & 6 \\ 6 & 16 \end{bmatrix}, A^Ty=\begin{bmatrix} 5\\ 11 \end{bmatrix} \\ A^TA {\hat b} = \begin{bmatrix} 3 & 6 \\ 6 & 16 \end{bmatrix}\begin{bmatrix} b_0\\ b_1 \end{bmatrix} = \begin{bmatrix} 5\\ 11 \end{bmatrix} \\ b_0 = \frac23, b_1 =\frac12 \rightarrow y = \frac23 + \frac12 x \]
特征值与特征向量
矩阵 \(A\in \mathbb R^{m \times n}\), 我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。
特征基: 如果基向量是特征向量怎么样? => 对角矩阵
向量 \(x\) 不一定在矩阵 A 的列空间中, 但 \(Ax\) 总是在矩阵 A 的列空间中. 我们可以将矩阵 A 看成是一个线性变换函数, 将一个输入向量 \(x\) 映射成矩阵 A 的列空间中的向量 \(Ax\).
特别的, 在线性变换 \(Ax\) 中, 我们对变换前后方向一致的向量感兴趣? 满足这种条件的向量就是特征向量, 变换后向量长度和变化前的比值, 即变化尺度就是特征值. 显然, 特征向量必定在矩阵 A 的列空间中.
\(\square\) 设矩阵 A 为 n 阶实方阵， 如果存在某个数及某个 n 维 非零列向量，使得
\[ \begin{align*} \normalsize{\overbrace{A}^{变换矩阵} \vec {\color{blue}v} = \overbrace { \color{pink}\lambda }^{\color {pink}{特征值}} \vec{\color{blue} v}} \\ \normalsize{\quad\quad\quad\quad \nwarrow \quad\quad\quad\nearrow} \\ \quad\quad\quad\quad\quad\quad{\color {blue} {\normalsize 特征向量}} \end{align*} \]
则称 \(\lambda\) 是方阵 A 的一个特征值，\(x\) 是方阵 A 的属于特征值 \(\lambda\) 的一个特征向量。
投影矩阵
假设矩阵 P 的是矩阵 A 投影矩阵. 那么对于投影矩阵而言, 特征值 \(\lambda\) 和特征向量 \(x\) 是什么 ?
我们知道, 对于投影矩阵 \(P\) 而言, 任意矩阵 A 列空间的向量 \(x\), 有 \(Px = x\); 任意 A 的左零空间的向量, 有\(px = 0\). 故
\[ \begin{cases} px = x \Rightarrow \lambda = 1, x = \forall x \in C(A) \\ px = 0 \Rightarrow \lambda = 0, x = \forall x \in N(A^T) \\ \end{cases} \]
特征值性质
假设矩阵 A 的特征值为 \(\lambda_1, \lambda_2,\cdots,\lambda_n\)
- \(n\times n\) 方阵有 n 个特征值;
- tr(A) = \(\sum_{i=1}^n \lambda _i\)
- det(A) = \(\prod_{i =1}^n \lambda _i\)
- 矩阵 \(A + 3I\) 的特征值为 \(\lambda_i + 3, \space i =1,2, \cdots,n\)
\[(A + 3I)x = Ax + 3x = \lambda x + 3x = (\lambda +3)x\]
特征值和特征向量求解
值得一提的是, 特征向量 \(x\) 定义为非零向量. 对于方程 \(Ax= 0\) 而言, \(x\) 为非零值, 则 矩阵 A 的列线性相关, 当 A 为方阵, 等价于行列式 det(A) = 0.
\[ \begin{align*} \normalsize{ A {\color{red}x} = \lambda {\color{red} x} } \\ \normalsize{ A {\color{red}x} - \lambda I {\color{red}x} } = { 0} \\ \normalsize\left({A} - \lambda I \right){\color{red}x} = { 0} \\ \normalsize{|{A} - \lambda I |} = {0} \\ \end{align*} \]
来看一个例子, 对称矩阵矩阵 A
\[ \begin{align*} A &= \begin{bmatrix} 3&1\\1&3 \end{bmatrix} \\ |A-\lambda I| &= \begin{bmatrix} 3 - \lambda &1\\1&3-\lambda \end{bmatrix} \\ &=(3-\lambda)^2 -1 \\ & = (\lambda -2)(\lambda -4)\\ \Rightarrow \lambda _1 &= 2, \lambda _2 =4 \\ \Rightarrow x_1 &= \begin {bmatrix} 1\\1\end{bmatrix}, x_2 = \begin {bmatrix} 1 \\-1\end{bmatrix} \end{align*} \]
求出特征值之后, 将特征值代入矩阵 \(A-\lambda I\), 求 \((A-\lambda _i I)x = 0\) 的解就是特征值 \(\lambda _i\) 对应的特征向量 \(x_i\).
矩阵的对角化
假设矩阵 A 有 n 个线性无关的特征向量 \(x_1, x_2, \cdots, x_n\) (对应特征值为 \(\lambda_1, \lambda_2,\cdots,\lambda_n\)), 将它们按顺序组合成矩阵 \(S\),
\[S = [x_1, x_2, \cdots, x_n]\]
那么有
\[ \begin{eqnarray*} AS &=& A[x_1, x_2, \cdots, x_n] \\ &=& [\lambda_1 x_1, \lambda_2 x_2, \cdots,\lambda_n x_n] \\ &=& [x_1, x_2, \cdots, x_n] \begin{bmatrix} \lambda _1 &0&\cdots &0\\0&\lambda _2&\cdots &0\\\vdots &\vdots &\ddots&0\\0&0&\cdots&\lambda_n\end{bmatrix} \\ &=& S \Lambda\\ &\Rightarrow& \begin{cases} A = S \Lambda S^{-1} \\ \Lambda = S^{-1} \Lambda S\end{cases} \end{eqnarray*} \]
如何凑出 \(S \Lambda\) ? 矩阵乘以列向量是矩阵列的线性组合, 结果为列向量
来通过不同的方式看特征值的一个性质
\[ \begin{eqnarray*} ①\quad A^2x &=& A(Ax)=A(\lambda x) = \lambda (Ax) = \lambda ^2x \\ ②\quad \space \space A^2 &=& S \Lambda S^{-1}S \Lambda S^{-1} = S \Lambda ^2 S^{-1} \end{eqnarray*} \]
\(\blacksquare\) 若 $\forall |\lambda_i| < 1, 当 \space k\rightarrow +\infty,\quad A^2 \rightarrow0, $ 则该矩阵变换是稳定的.
\(\blacksquare\)定理: 如果矩阵 A 所有的特征值 \(\lambda_i\) 都不同, 则必有 A 必有 n 个线性无关的特征向量, 且可对角化.
非对称矩阵
逆时针旋转 \(90^\circ\) 的旋转矩阵
\[ \begin{eqnarray*} Q &= \begin{bmatrix} 0 & -1 \\ 1& 0 \end{bmatrix} \\ |Q- \lambda I| &= \lambda ^2 + 1 = 0 \\ \lambda _1 &= i, \space \lambda _2 = -i \end{eqnarray*} \]
其特征值为复数.
实矩阵可能有复数特征值(成对出现, 共轭), 这样不好处理, 所以我们希望能看看特征值是实数的矩阵有什么特征, 一般说矩阵越接近对称, 越有可能有实数的特征值.上面的矩阵 Q, \(Q^T = Q\), 说明这是个反对称矩阵, 是个不对称极端的例子.
如果矩阵 A 有重复的特征值, 则不一定有 n 个线性无关的特征向量, 这样的矩阵没法进行对角化处理.下面再来看一个性质不佳的矩阵:
三角矩阵的特征值就是对角线上的元素, 这从 $|A- \lambda I| $ 一眼就看出来.
\[ A = \begin{bmatrix} 3 & 1 \\ 0 & 3 \end{bmatrix} \\ \Rightarrow \lambda_1 = \lambda_2 =3 \]
这个三角矩阵有重复的特征值, 而 \(A - 3I = \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}\), A 的列秩为 1, 故零空间维度为 \(2 - 1 = 1\), 所以第二个特征值 3 没有与第一个特征值 3 线性无关的特征向量.
对称矩阵
\(\square\) 满足如下的矩阵称为对称矩阵.
\[A^T=A\]对称矩阵性质:
1. 实对称矩阵的特征值是实数
\[ 已知 \space Ax=\lambda x, A^T=A \\ \begin{align} \overline { A x} = \overline A \overline x =A\overline x = \overline {\lambda x}=\overline \lambda \overline x &\Rightarrow A\overline x =\overline \lambda \overline x \\ (A\overline x)^T = \overline x^TA^T = \overline x^TA = (\overline \lambda \overline x)^T = \overline \lambda \overline x^T &\Rightarrow \overline x^TA =\overline \lambda \overline x^T\\ \overline x^T \cdot 公式(1) &\Rightarrow \overline x^TA\overline x = \overline x^T(\lambda \overline x) = \lambda \overline x^T \overline x\\ 公式(2) \cdot \overline x &\Rightarrow \overline x^TA\overline x = (\overline \lambda \overline x^T) \overline x =\overline \lambda \overline x^T \overline x \\ &\Rightarrow \overline \lambda = \lambda\end{align} \]
故 \(\lambda\) 是实数.
2. 实对称矩阵不同特征值的特征向量相互正交
3. 实对称矩阵一定能对角化, 这点很重要.
\(\color {red} {奇妙的对称矩阵 A^TA}\)
\[R^T = R \\ (AB)^{T} = B^{T}A^{T}\\ \]
\(R^TR\) 总是对称矩阵, 因为 \((R^TR)^T = R^TR\)
且\(R^TR\) (半)正定矩阵
有 \(m\times n\) 矩阵 A, 则 \(n\times n\) \(A^TA\)
\[ x^T(A^TA)x = (Ax)^TAx = \|Ax\|^2 \ge 0, \space \forall x \not= 0 \]
该如何保证 \(\forall x \not= 0, \quad Ax \not= 0?\)
即矩阵 A 的列向量线性无关即可, 即列满秩 rank(A) = n
对称矩阵对角化
实对称矩阵不同特征值的特征向量相互正交, 且一定能对角化. 所以存在正交矩阵 Q, 使得以下对角化存在
$A = Q \Lambda Q^{T} \quad Q为正交矩阵, Q^{-1} = Q^T $
上式称为 谱定理.
\[ A = Q \Lambda Q^{T} = [q_1 \space q_2 \space \cdots \space q_n]\begin{bmatrix}\lambda_1&&\\&\lambda_2&\\& &\ddots\\ &&&\lambda_n\end{bmatrix} \begin{bmatrix}q_1^T\\q_2^T\\\vdots\\ q_n^T\end{bmatrix} \\ = \lambda_1q_1q_1^T + \lambda_2q_2q_2^T + \cdots + \lambda_nq_nq_n^T\\ \]
投影矩阵 \(P = \frac{q_iq_i^T}{q_i^Tq_i} = q_iq_i^T, \quad 其中\space q_i^Tq_i=1\)
故 每一个对称矩阵都是一些相互垂直的投影矩阵的线性组合.递推公式
\(\square\) 已知矩阵 \(A = [a_1, a_2,\cdots, a_n]\), 特征向量为 \(x_1, x_2,\cdots, x_n\), 给予向量
\[u_0 = c_1x_1+c_2x_2+ \cdots+c_nx_n\] 且有递推公式 \(u_{k+1} = A u_k\), 求 \(u_n\).\(\bigstar\) 遇到矩阵幂的问题, 我们总是先想到求助于对角化.
解:
\[ \begin{eqnarray*} 令 \quad S &=& [x_1, x_2,\cdots, x_n], \quad C = [c_1, c_2,\cdots, c_n], 已知 AS = S \Lambda \\ 则\quad u_0 &=& c_1x_1+c_2x_2+ \cdots+c_nx_n = SC^T\\ u_1 &=& Au_0 =c_1Ax_1+c_2Ax_2+ \cdots+c_nAx_n \\ &=& c_1\lambda_1x_1+c_2\lambda_2x_2+ \cdots+c_n\lambda_nx_n \\ &=& ASC^T = S \Lambda C^T\\ u_2 &=& A^2u_0 = c_1\lambda_1^2x_1+c_2\lambda_2^2x_2+ \cdots+c_n\lambda_n^2x_n =S \Lambda^2 C^T\\ \vdots \\ u_n &=& A^nu_0 = c_1A^nx_1+c_2A^nx_2+ \cdots+c_nA^nx_n\\ &=& c_1\lambda_1^nx_1+c_2\lambda_2^nx_2+ \cdots+c_n\lambda_n^nx_n \\ &=&S \Lambda^n C^T \end{eqnarray*} \]下面来看一个上面推导式应用的一个经典例子, \(Fabnacci\) 数列
\[0,1,1,2,3,5,8,13,21,\cdots\]
推到公式为
\[ Fn= \begin{cases} 0 , \quad \quad\quad \quad \quad \quad n =0 \\ 1, \quad \quad \quad \quad \quad \quad n =1 \\ F_{n-1} + F_{n-2} , \quad \forall n \ge2 \end{cases} \]
假设我们需要求 \(F_{100}\) , 该怎么做 ?
为了使用上面的递推公式, 这里用到一个小技巧, 令 \(u_{k} = {\begin{bmatrix}F_{k+1} \\ F_{k} \end{bmatrix}}, 则 u_0 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}\), 我们可以通过 \(u_{100}, 求出 F_{100}\)
\[ \begin{eqnarray*} u_{k+1} &=& {\begin{bmatrix}F_{k+2} \\ F_{k+1} \end{bmatrix}} = {\begin{bmatrix}F_{k+1} + F_{k} \\ F_{k+1} \end{bmatrix}} \\ &=& {\begin{bmatrix} 1&1 \\ 1&0 \end{bmatrix}}{\begin{bmatrix}F_{k+1} \\ F_{k} \end{bmatrix}} = Au_k \end{eqnarray*} \]
这里矩阵 A = \(\begin{bmatrix} 1&1 \\ 1&0 \end{bmatrix}\)
第一步 我们需要求出矩阵 A 的特征值和特征向量.
\[ |A-\lambda I| = \lambda ^2 - \lambda -1 = 0 \\ \lambda_1 = \frac{1+\sqrt{5}}{2} > 1, \space \lambda_2 = \frac{1-\sqrt{5}}{2} < 1 \\ x_1 = \begin{bmatrix} \lambda _1 \\ 1 \end{bmatrix}, x_2 =\begin{bmatrix} \lambda _2 \\ 1 \end{bmatrix} \]
第二步, 已知 \(u_0 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}\), 我们需要求出 \(u_0\) 使用特征向量 \(x_1, x_2\) 表示的系数.
\[ \begin{align*} u_0 &= c_1x_1 + c_2x_2 \\ &= c_1\begin{bmatrix} \lambda _1 \\ 1 \end{bmatrix} + \begin{bmatrix} \lambda _2\\ 1 \end{bmatrix} \\ &= \begin{bmatrix} c_1\lambda_1 + c_2\lambda_2 \\ c_1+c_2 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \\ \Rightarrow c_1 &= -c2 = \frac{1}{\sqrt5} \end{align*} \]已知 递推公式中
\[ \begin{align*} u_n &= c_1\lambda_1^nx_1+c_2\lambda_2^nx_2+ \cdots+c_n\lambda_n^nx_n \end{align*} \]
我们这里有
\[ \begin{align*} u_n = c_1\lambda_1^nx_1+c_2\lambda_2^nx_2 = \frac{1}{\sqrt5} \lambda_1^{n}\begin{bmatrix} \lambda _1 \\ 1 \end{bmatrix} - \frac{1}{\sqrt5} \lambda_2^{n}\begin{bmatrix} \lambda _2 \\ 1 \end{bmatrix} \\ \end{align*} \]
\[ u_{k} = {\begin{bmatrix}F_{k+1} \\ F_{k} \end{bmatrix}}, \\ \lambda 1 > 1, \lambda 2 < 1, {\lambda _2}^{100} \rightarrow 0 \\ F_{100} = \frac{1}{\sqrt5} \lambda_1^{100} = 3.5422485e+20 \]
奇异值分解
矩阵奇异值分解(Singularly Valuable Decomposition)简称 svd, 可以说是矩阵最好的一种分解方式. 很多工程应用中都有它的身影，比如数据降维, 推荐系统, 数据压缩等。 从线性变换的的角度来分析下 svd 的由来, 为了便于描述这里只讨论在实矩阵的情况.
行空间和列空间的正交基不同, 由于m x n 矩阵的维度不同.
\[A = U\Lambda V^T, \space \Lambda 为对角矩阵, U,V 分别为正交矩阵\]
对于实对称矩阵, 有
\[ A = Q \Lambda Q^T \]
\[ A[v_1,v_2,\cdots,v_r,v_{r+1},\cdots,v_n] = [u_1,u_2,\cdots,u_r,u_{r+1},\cdots,u_m]\begin{bmatrix}\sigma_1\\&\sigma_2\\&&\ddots\\&&&\sigma_r\\&&&&0\\&&&&&\ddots \\&&&&&&0\end{bmatrix} \\ AV = U \Lambda \Rightarrow A = U\Lambda V^{-1} = U\Lambda V^T \\ A^TA = ( U\Lambda V^T)^T U\Lambda V^T = V\Lambda ^2V^T \\ AA^T = U\Lambda V^T( U\Lambda V^T)^T = U\Lambda ^2U^T \\ \]
下面以二维空间为例, 通过求解一个列向量线性无关和列线性相关的矩阵的奇异值分解, 来看理解奇异值分解.
列满秩矩阵 A
\[ u_1, u_2 是列空间的标准正交基\\ v_1, v_2 是行空间的标准正交基 \\ \begin{align} \begin{cases} Av_1 = \sigma_1u_1 \\ Av_2 = \sigma_2u_2 \tag{3.1}\\ \end{cases}\\ \end{align} \\ A = \begin{bmatrix} 4 & 4 \\ -3 & 3 \end{bmatrix}, \space A^T = \begin{bmatrix} 4 & -3 \\ 4 & 3 \end{bmatrix} \\ A^TA = \begin{bmatrix} 25 & 7 \\ 7 & 25 \end{bmatrix},\space \lambda_1=32, v_1 = \pm\frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ 1 \end{bmatrix};\lambda_1=18, v_2 = \pm\frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ -1 \end{bmatrix}\\ AA^T=\begin{bmatrix} 32 & 0 \\ 0 & 18 \end{bmatrix}, \lambda_1=32, u_1 = \pm \begin{bmatrix} 1 \\ 0 \end{bmatrix};\lambda_2=18, u_2 = \pm \begin{bmatrix} 0 \\ 1 \end{bmatrix}; \\ 取 \sigma_1 = \sqrt{32}, \sigma_2 = \sqrt{18}, U = [u_1,u_2 ]= \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}, 由式(3.1) V = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & -1 \\ 1 & 1 \end{bmatrix}\\ A = \begin{bmatrix} 4 & 4 \\ -3 & 3 \end{bmatrix} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}\begin{bmatrix} \sqrt{32} & 0 \\ 0 & \sqrt{18}\end{bmatrix}\frac{1}{\sqrt{2}}\begin{bmatrix} 1 & -1 \\ 1 & 1 \end{bmatrix}^T \]
非列满秩矩阵 A
\[ A = \begin{bmatrix} 4 & 3 \\ 8 & 6 \end{bmatrix} \\ v_1 = \begin{bmatrix} 0.8 \\ 0.6 \end{bmatrix} 行空间标准正交基 \\ v_2 = \begin{bmatrix} 0.6 \\ -0.8 \end{bmatrix} 零空间标准正交基 \\ u_1 = \begin{bmatrix} \frac{1}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} \end{bmatrix} 列空间标准正交基\\ u_2 = \begin{bmatrix} \frac{2}{\sqrt{5}} \\ - \frac{1}{\sqrt{5}}\end{bmatrix} 左零空间标准正交基 \\ AA^T = \begin{bmatrix} 25 & 50 \\ 50 & 100 \end{bmatrix}, \lambda_1 = 125, \lambda_2 = 0, \\ A = \begin{bmatrix} 4 & 3 \\ 8 & 6 \end{bmatrix}=\frac{1}{\sqrt{5}}\begin{bmatrix} 1 & 2 \\ 2 & -1 \end{bmatrix} \begin{bmatrix} \sqrt{125} & 0 \\ 0 & 0 \end{bmatrix}\begin{bmatrix} 0.8 & 0.6 \\ 0.6 & -0.8 \end{bmatrix}^T \]