Sherman Morrison 公式
在线性代数中,Sherman-Morrison 公式以 Jack Sherman 和 Winifred J. Morrison 命名,用于计算 $A + uv^T$ 的逆,其中 $A$ 为可逆方阵,$u, v$ 为列向量,$uv^T$ 为向量外积(outer product)。Sherman-Morrison 公式是 Woodbury 公式的一类特殊情况。
问题陈述
定理1(Sherman-Morrison formula) 假设 $A \in \mathbb{R}^{n\times n}$ 是一个可逆方阵,并且 $u, v\in \mathbb{R}^n$ 是列向量。那么 $A + uv^T$ 是可逆的当且仅当 $1 + v^T A^{-1} u \neq 0$. 当 $A + uv^T$ 可逆时,满足如下等式:
$$
(A + uv^T)^{-1} = A^{-1} - \frac{A^{-1}uv^TA^{-1}}{1+v^TA^{-1}u} \tag{i}.
$$
这里,$uv^T$ 表示两个向量 $u,v$ 的外积。
外积(outer product)说明:假设
$$
u =
\begin{bmatrix}
u_1 \\
u_2 \\
u_3
\end{bmatrix},
v =
\begin{bmatrix}
v_1 \\
v_2 \\
v_3
\end{bmatrix},
$$
那么 $u,v$ 的外积定义为
$$
u \otimes v = uv^T =
\begin{bmatrix}
u_1 \\
u_2 \\
u_3
\end{bmatrix}
\begin{bmatrix}
v_1 & v_2 & v_3
\end{bmatrix}
\begin{bmatrix}
u_1 v_1 & u_1 v_2 & u_1 v_3 \\
u_2 v_1 & u_2 v_2 & u_2 v_3 \\
u_3 v_1 & u_3 v_2 & u_3 v_3
\end{bmatrix}.
$$
从上面的例子可以看到,向量的外积就是两个矩阵的乘积。只不过是对向量(矩阵)乘积的独特称谓。
在证明 定理1 之前,我们先证明下面的矩阵行列式引理
矩阵行列式引理(Matrix determinant lemma) 假设 $A$ 是一个可逆方阵,$u,v$ 为列向量。那么下面等式成立:
$$
\textbf{det}(A + uv^T) = (1 + v^TA^{-1}u)\textbf{det}(A) \tag{ii}.
$$
这里 $uv^T$ 表示两个向量 $u,v$ 的外积。容易得到公式 (ii) 有如下的邻接矩阵表示形式:
$$
\textbf{det}(A + uv^T) = \textbf{det}(A) + v^T \textbf{adj}(A)u \tag{iii}.
$$
证明:对于公式(ii),首先证明当 $A=I$ 时的情况,此时,公式(ii)变成如下等式:
$$
\textbf{det}(I+uv^T) = (1 + v^Tu) \tag{iv}.
$$
证明公式(iv)只需要验证如下等式成立:
$$
\begin{bmatrix}
I & 0 \\
v^T & 1
\end{bmatrix}
\begin{bmatrix}
I+uv^T & u \\
0 & 1
\end{bmatrix}
\begin{bmatrix}
I & 0 \\
-v^T & 1
\end{bmatrix}
\begin{bmatrix}
I & u \\
0 & 1 + v^Tu
\end{bmatrix}\tag{v}.
$$
对等式(v)两边同时取行列式,即可得到公式(iv),对于公式(ii)可以通过简单变换成公式(iv)
$$
\textbf{det}(A + uv^T) = \textbf{det}(A)\textbf{det}(I + (A^{-1}u)v^T) = \textbf{det}(A)(1+v^T(A^{-1}u)).
$$
公式(ii)的更多推广这里就不介绍了。下面证明定理1。
定理1证明
证明 (充分性 $\Rightarrow$)
充分性这里给出两种方法。第一种方法如下:
假设 $1 + v^TA^{-1}u=0$,根据矩阵行列式引理,
$$
\textbf{det}(A+uv^T)=(1+v^TA^{-1}u)\textbf{det}(A)=0.
$$
所以方阵 $(A+uv^T)$ 不可逆,矛盾。所以 $1 + v^T A^{-1} u \neq 0$.
第二种方法如下:
当 $u=0$ 时,显然有 $1+v^TA^{-1}u=1\neq0$. 当 $u\neq 0$ 时,假设 $1+v^TA^{-1}u=0$,那么
$$
(A+uv^T)A^{-1}u=u+u(v^TA^{-1}u)=(1+v^TA^{-1}u)u=0.
$$
因为 $A + uv^T$ 可逆,所以 $A^{-1}u=0$,又 $A^{-1}$ 可逆,所以 $u=0$,与假设矛盾。综上可知,充分性成立。
(必要性 $\Leftarrow$)
已知 $1+v^TA^{-1}u\neq0$,令 $X=A+uv^T,Y=(A^{-1}-\frac{A^{-1}uv^TA^{-1}}{1+v^TA^{-1}u})$,只需证明:$XY=YX=I$.
$$
\begin{align}
XY & = (A+uv^T)(A^{-1}-\frac{A^{-1}uv^TA^{-1}}{1+v^TA^{-1}u}) \\
& =AA^{-1}+uv^TA^{-1}-\frac{AA^{-1}uv^TA^{-1}+uv^TA^{-1}uv^TA^{-1}}{1+v^TA^{-1}u} \\
& =I+uv^TA^{-1}-\frac{uv^TA^{-1}+uv^TA^{-1}uv^TA^{-1}}{1+v^TA^{-1}u} \\
& =I+uv^TA^{-1}-\frac{u(1+v^TA^{-1}u)v^TA^{-1}}{1+v^TA^{-1}u} \\
& =I+uv^TA^{-1}-uv^TA^{-1} \\
& =I.
\end{align}
$$
同样方法能够证明 $YX=I$. 因此必要性成立。
简单应用
特别地,当 $A=I$ 时,Sherman-Morrison 公式变为如下,此时,只需要 $1+v^Tu\neq 0$ 即可
$$
(I+uv^T)^{-1}=I-\frac{uv^T}{1+v^Tu}.
$$
进一步,如果 $u=v$,此时 $\forall u$,$1+u^Tu\neq0$,都有如下公式成立
$$
(I+uu^T)^{-1} = I-\frac{uu^T}{1+u^Tu}.
$$