対称行列

直交行列実行列 $T$ が直交行列 であるとは，その転置行列が逆行列となること，すなわち

${}^tTT=E$

が成り立つことをいう．この条件は $T\,{}^tT=E$ と言っても同じことである．

直交行列の基本的性質については次講でみることにして，ここでは次のことに注意しておく：

$n$ 次正方行列 $(\,\mathbf{u}_1\ \mathbf{u}_2\ \cdots\ \mathbf{u}_n\,)$ が直交行列であるための必要十分条件は$\{\mathbf{u}_1,\mathbf{u}_2,\ldots, \mathbf{u}_n\}$ が $\mathbf{R}^n$ (内積はドット積)の正規直交基底となることである詳しく！．

対称行列の対角化実行列 $A$ が対称行列であるとは

${}^t\!A=A$

を満たすことをいう．例えば

$\left(\begin{array}{cc}2&1\\1&7\end{array}\right)$， $\left(\begin{array}{ccc}1&3&2\\3&-1&0\\2&0&5\end{array}\right)$

のような行列が対称行列である．

対称行列の性質としては次が特に重要である：

固有値はすべて実数である
直交行列により対角化できる．すなわち，対称行列 $A$ は適当な対角行列 $D$ と直交行列 $T$ により
$A=TD\,{}^tT\quad(=TDT^{-1})$
と表わすことができる．

この講ではまず具体的な計算の中でこれらの事実が確かに成り立っていることを観察することにして，一般的な議論としては後に複素数の枠組みの中で改めて振り返る．

練習1

対称行列の符号と平方根対称行列の固有値はすべて実数であるが，その固有値がすべて正のとき，その対称行列は正定値であるという．同様に，固有値がすべて非負，負，非正であるときは，それぞれ非負定値，負定値，非正定値であるという．また，これらいずれかに当てはまる行列のことを定値行列という．

正定値(非負定値)対称行列 $A$ を適当な直交行列 $T$ により

$A=T\left(\begin{array}{ccc}\alpha_1\!\!\!&&\\[-5pt]&\ddots&\\[-5pt]&&\!\!\!\alpha_n\end{array}\right){}^tT$

と対角化したとき，$\alpha_1,\ldots,\alpha_n$ は $A$ の固有値なのですべて正(非負)である．よって，

$\sqrt{A}=T\left(\begin{array}{ccc}\sqrt{\alpha_1}\!\!\!&&\\[-5pt]&\ddots&\\[-5pt]&&\!\!\!\sqrt{\alpha_n}\end{array}\right){}^tT$

とおくと，この $\sqrt{A} $も正定値(非負定値)対称行列であり ${\sqrt{A}}^2=A$ を満たす，これを $A$ の正の(非負の)平方根という．

正定値(非負定値)対称行列の正の(非負の)平方根は一意に定まる証明pdf．従って，計算の際，対角化は必ずしも直交行列を用いないくてもよい．例えば， $A=\left(\begin{array}{cc}5&2\\2&8\end{array}\right)$ は直交行列により
$A=\left(\begin{array}{cc}\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}\\-\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\end{array}\right)\left(\begin{array}{cc}4&0\\0&9\end{array}\right)\left(\begin{array}{cc}\frac{2}{\sqrt{5}}&-\frac{1}{\sqrt{5}}\\\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\end{array}\right)$
と対角化されるから，正の平方根は
$\sqrt{A}=\left(\begin{array}{cc}\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}\\-\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\end{array}\right)\left(\begin{array}{cc}2&0\\0&3\end{array}\right)\left(\begin{array}{cc}\frac{2}{\sqrt{5}}&-\frac{1}{\sqrt{5}}\\\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\end{array}\right)$
として計算すればよいが，直交行列を用いずに
$A=\left(\begin{array}{cc}2&1\\-1&2\end{array}\right)\left(\begin{array}{cc}4&0\\0&9\end{array}\right)\left(\begin{array}{cc}2&1\\-1&2\end{array}\right)^{-1}$
とも表せるから
$\sqrt{A}=\left(\begin{array}{cc}2&1\\-1&2\end{array}\right)\left(\begin{array}{cc}2&0\\0&3\end{array}\right)\left(\begin{array}{cc}2&1\\-1&2\end{array}\right)^{-1}$
として計算してもよい．後者は逆行列を計算する必要があるが，サイズが大きくなければ手間としては大差はない．どちらも結果は
$\sqrt{A}=\dfrac{1}{5}\left(\begin{array}{cc}11&2\\2&14\end{array}\right)$
となることを確かめられたい．
一般に，正定値(非負定値)対称行列 $A$ に対して $B^2＝A$ を満たす行列 $B$ は複数存在するので，そのような行列はすべて「$A$ の平方根」と呼ばれる資格があるが，正定値(非負定値)対称行列に限ればそのような行列は一意である．上で見た例でいうと
$B=\left(\begin{array}{cc}\frac{2}{\sqrt{5}}&\frac{1}{\sqrt{5}}\\-\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\end{array}\right)\left(\begin{array}{cc}-2&0\\0&3\end{array}\right)\left(\begin{array}{cc}\frac{2}{\sqrt{5}}&-\frac{1}{\sqrt{5}}\\\frac{1}{\sqrt{5}}&\frac{2}{\sqrt{5}}\end{array}\right)\\ \hspace{10pt}=\left(\begin{array}{cc}-1&2\\2&2\end{array}\right) $
としても $B^2＝A$ を満たし，この $B$ も $A$ の平方根と呼ぶことはできるが，もちろん $B$ は正定値ではなく，「正の平方根」と言えるのは上で見た $\sqrt{A}=\dfrac{1}{5}\left(\begin{array}{cc}11&2\\2&14\end{array}\right)$ のみである．あるいは，単位行列
$E=\left(\begin{array}{cc}1&0\\0&1\end{array}\right)$
も正定値対称行列であって，$B^2＝E$ を満たす行列 $B$ は無数に存在するが，「正の平方根」は
$\sqrt{E}=\left(\begin{array}{cc}1&0\\0&1\end{array}\right)\ (=E)$
のみである．

練習2

極値問題対称行列の符号が問題となる例として，実 $2$ 変数関数の極値問題について触れておく． $f(x,y)$ を実 $2$ 変数 $C^2$ 級関数とするとき， $f$ の勾配ベクトルは

$\nabla f(x,y)\stackrel{\mathrm{def}}{=}\left(\begin{array}{c}\frac{\partial f}{\partial x}(x,y)\\\frac{\partial f}{\partial y}(x,y)\end{array}\right)$

により定義され，$\nabla f(x,y)=\left(\begin{array}{c}0\\0\end{array}\right)$ となるような点を $f$ の停留点という．また，$f$ のHesse行列は

$\nabla^2 f(x,y)\stackrel{\mathrm{def}}{=}\left(\begin{array}{cc}\frac{\partial^2 f}{\partial x^2}(x,y)&\frac{\partial^2 f}{\partial y\partial x}(x,y)\\\frac{\partial^2 f}{\partial x\partial y}(x,y)&\frac{\partial^2 f}{\partial y^2}(x,y)\end{array}\right)$

により定義される． $C^2$ 級の仮定により $\frac{\partial^2 f}{\partial y\partial x}(x,y)=\frac{\partial^2 f}{\partial x\partial y}(x,y)$ が成り立つから，Hesse行列は対称行列であることに注意しよう． $(a,b)$ が $f$ の停留点であるとき，Hesse行列の符号によって，次の場合がある：

$\nabla^2f(a,b)$ が正定値ならば，$f$ は点 $(a,b)$ において極小値をとる．
$\nabla^2f(a,b)$ が負定値ならば，$f$ は点 $(a,b)$ において極大値をとる．
$\nabla^2f(a,b)$ が定値行列でないならば，$f$ は点 $(a,b)$ において極値をとらず，このような点は鞍点と呼ばれる．

上記のいずれにも当てはまらないとき，すなわち，$\nabla^2f(a,b)$ が $0$ を固有値にもつときは $f$ が点 $(a,b)$ において極値をとるかどうかはこれだけでは判断できない詳しく！．

　$f$ がTaylor展開可能な場合で様子を把握しておこう．$f$ の点 $(a,b)$ を中心としたTaylor展開は

$f(x,y)=f(a,b)+\nabla f(a,b)\cdot\left(\begin{array}{c}x-a\\y-b\end{array}\right)\\ \hspace{80pt}+\dfrac{1}{2}\nabla^2 f(a,b)\left(\begin{array}{c}x-a\\y-b\end{array}\right)\cdot\left(\begin{array}{c}x-a\\y-b\end{array}\right)+\cdots$

と書くことができる． $(a,b)$ が停留点，すなわち $\nabla f(a,b)=\left(\begin{array}{c}0\\0\end{array}\right)$ ならば

$f(x,y)=f(a,b)+\dfrac{1}{2}\nabla^2 f(a,b)\left(\begin{array}{c}x-a\\y-b\end{array}\right)\cdot\left(\begin{array}{c}x-a\\y-b\end{array}\right)+\cdots$

となる．「$\cdots$」の部分は $3$ 次以上の項であり，$(x,y)$ が $(a,b)$ に近いときはその影響は小さいので，$f(a,b)$ が極大値なのか極小値なのかは $2$ 次の項

$\nabla^2 f(a,b)\left(\begin{array}{c}x-a\\y-b\end{array}\right)\cdot\left(\begin{array}{c}x-a\\y-b\end{array}\right)$

の符号で決定される．ところで，一般に対称行列 $A$ について

$A$ が正定値 $\Leftrightarrow$ $A\mathbf{x}\cdot\mathbf{x} > 0,\quad\forall\mathbf{x}(\neq\mathbf{0})$

$A$ が負定値 $\Leftrightarrow$ $A\mathbf{x}\cdot\mathbf{x} < 0,\quad\forall\mathbf{x}(\neq\mathbf{0})$

ということが成り立つ証明pdfから，$\nabla^2 f(a,b)$ が正定値ならば $(a,b)$ の近くでは

$\nabla^2 f(a,b)\left(\begin{array}{c}x-a\\y-b\end{array}\right)\cdot\left(\begin{array}{c}x-a\\y-b\end{array}\right) > 0$，従って $f(x,y) > f(a,b)$

となり，これは $f(a,b)$ が極小値であることを意味する．同様に，$\nabla^2 f(a,b)$ が負定値ならば $(a,b)$ の近くでは

$\nabla^2 f(a,b)\left(\begin{array}{c}x-a\\y-b\end{array}\right)\cdot\left(\begin{array}{c}x-a\\y-b\end{array}\right) < 0$，従って $f(x,y) < f(a,b)$

となり，これは $f(a,b)$ が極大値であることを意味する．
　また，一般に対称行列 $A$ が定値行列でないときは $A\mathbf{x}\cdot\mathbf{x}$ は正にも負にもなり得る本当に？．従って，$\nabla^2 f(a,b)$ が定値行列でないならば，$(x,y)$ が $(a,b)$ にいくら近くても $f(x,y) > f(a,b)$ と $f(x,y) < f(a,b)$ がともに起こり得るので $f(a,b)$ は極値ではない．
　最後に，$\nabla^2 f(a,b)$ が $0$ を固有値にもつ場合だが，固有値 $0$ に属する固有ベクトル $\mathbf{v}$ に対して $\nabla^2 f(a,b)\mathbf{v}\cdot\mathbf{v}=0$ となるので，$\left(\begin{array}{c}x-a\\y-b\end{array}\right)$ がそのようなベクトルである場合は

$f(x,y)=f(a,b)+(\mbox{3次以上の項})$

となってしまい，「3次以上の項」の部分を調べなければ判断はできないことになる．

$f(x,y)=e^{x^2+2y^2}$ の停留点および極値を求めよう．
$\dfrac{\partial f}{\partial x}(x,y)=2xe^{x^2+2y^2}$

$\dfrac{\partial f}{\partial y}(x,y)=4ye^{x^2+2y^2}$
より勾配ベクトルは
$\nabla f(x,y)=e^{x^2+2y^2}\left(\begin{array}{c}2x\\4y\end{array}\right)$
である．$\nabla f(x,y)=\left(\begin{array}{c}0\\0\end{array}\right)$ を満たす $x,y$ は
$(x,y)=(0,0)$
であり，これが停留点である．さらに
$\dfrac{\partial^2 f}{\partial x^2}(x,y)=\dfrac{\partial }{\partial x}(2xe^{x^2+2y^2})=(4x^2+2)e^{x^2+2y^2}$

$\dfrac{\partial^2 f}{\partial y\partial x}(x,y)=\dfrac{\partial }{\partial y}(2xe^{x^2+2y^2})=8xye^{x^2+2y^2}$

$\dfrac{\partial^2 f}{\partial x\partial y}(x,y)=\dfrac{\partial }{\partial x}(4ye^{x^2+2y^2})=8xye^{x^2+2y^2}$

$\dfrac{\partial^2 f}{\partial y^2}(x,y)=\dfrac{\partial }{\partial y}(4ye^{x^2+2y^2})=(16y^2+4)e^{x^2+2y^2}$
よりHesse行列は
$\nabla^2 f(x,y)=e^{x^2+2y^2}\left(\begin{array}{cc}4x^2+2&8xy\\8xy&16y^2+4\end{array}\right)$
となる．停留点 $(0,0)$ における値は
$\nabla^2 f(0,0)=\left(\begin{array}{cc}2&0\\0&4\end{array}\right)$
であり，固有値は $2,4$ なので $\nabla^2 f(0,0)$ は正定値行列，従って，$f$ は $(0,0)$ において極小値 $f(0,0)=1$ をとる．関数の形からこれが最小値でもあることは明らかであろう．
$g(x,y)=xy(3-x-y)$ の停留点および極値を求めよう．
$\dfrac{\partial g}{\partial x}(x,y)=3y-2xy-y^2=y(3-2x-y)$

$\dfrac{\partial g}{\partial y}(x,y)=3x-x^2-2xy=x(3-x-2y)$
より勾配ベクトルは
$\nabla g(x,y)=\left(\begin{array}{c}y(3-2x-y)\\x(3-x-2y)\end{array}\right)$
であり，$\nabla g(x,y)=\left(\begin{array}{c}0\\0\end{array}\right)$ すなわち $\left\{\begin{array}{l}y(3-2x-y)=0\\x(3-x-2y)=0\end{array}\right.$ を満たす $x,y$ を求めると
$(x,y)=(0,0),\ (0,3),\ (3,0),\ (1,1)$
とわかる．この4点が停留点である．さらに
$\dfrac{\partial^2 g}{\partial x^2}(x,y)=\dfrac{\partial }{\partial x}(3y-2xy-y^2)=-2y$

$\dfrac{\partial^2 g}{\partial y\partial x}(x,y)=\dfrac{\partial }{\partial y}(3y-2xy-y^2)=3-2x-2y$

$\dfrac{\partial^2 g}{\partial x\partial y}(x,y)=\dfrac{\partial }{\partial x}(3x-x^2-2xy)=3-2x-2y$

$\dfrac{\partial^2 g}{\partial y^2}(x,y)=\dfrac{\partial }{\partial y}(3x-x^2-2xy)=-2x$
よりHesse行列は
$\nabla^2 g(x,y)=\left(\begin{array}{cc}-2y&3-2x-2y\\3-2x-2y&-2x\end{array}\right)$
となる．上で求めた各停留点における値と固有値を調べると
$\nabla^2 g(0,0)=\left(\begin{array}{cc}0&3\\3&0\end{array}\right)$，固有値は $3,-3$

$\nabla^2 g(0,3)=\left(\begin{array}{cc}-6&-3\\-3&0\end{array}\right)$，固有値は $-3\pm3\sqrt{2}$

$\nabla^2 g(3,0)=\left(\begin{array}{cc}0&-3\\-3&-6\end{array}\right)$，固有値は $-3\pm3\sqrt{2}$

$\nabla^2 g(1,1)=\left(\begin{array}{cc}-2&-1\\-1&-2\end{array}\right)$，固有値は $-1,-3$
とわかる．よって $\nabla^2 g(1,1)$ が負定値であり，他は定値行列ではない．従って，$g$ は $(1,1)$ において極大値 $g(1,1)=1$ をとり，$(0,0)$，$(0,3)$，$(3,0)$ は鞍点である．

練習3

第21講 対称行列

第21講　対称行列