主成分分析 (2)¶

$\def\bm{\boldsymbol}$2次元のデータの例で主成分分析の基本的な考え方を掴んだところで、多次元のデータに対する主成分分析を考えよう。

データの表現¶

$d$次元のベクトル$\bm{x} \in \mathbb{R}^d$からなる事例を$N$件集めたデータを行列$\bm{X} \in \mathbb{R}^{N \times d}$で表す。

\begin{align} \bm{X} = \begin{pmatrix}\bm{x}_1^\top \\ \bm{x}_2^\top \\ \dots \\ \bm{x}_N^\top \end{pmatrix} \end{align}

また、データの平均ベクトル$\bm{\bar{x}} \in \mathbb{R}^d$を次式で定義する。

\begin{align} \bm{\bar{x}} = \frac{1}{N} \sum_{i=1}^N \bm{x}_i \end{align}

射影したデータの分散¶

あるベクトル$\bm{u} \in \mathbb{R}^d$でデータ点を射影したとき、$\bm{u}$上に射影された点の分散$J$は、

:::{margin} データの中心化

主成分分析の説明の中には、データ点が中心化されている（データ点の平均が原点にある）ことを仮定するものがある。前章の例で用いたデータ点も中心化されていた。しかし、式{eq}eq:pca-ptojected-variance-derivationの定式化では、射影後の分散を求めるときに分散共分散行列を経由する（各データ点から平均を引く）ことになるため、事前にデータ点を中心化しておかなくてもよい。

:::

$$ \begin{align} J &= \frac{1}{N} \sum_{i=1}^N \left(\bm{u}^\top \bm{x}_i - \bm{u}^\top \bm{\bar{x}}\right)^2 \\ &= \frac{1}{N} \sum_{i=1}^N \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x}})\right\}^2 \\ &= \frac{1}{N} \sum_{i=1}^N \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x}})\right\} \cdot \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x}})\right\} \\ &= \frac{1}{N} \sum_{i=1}^N \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x}})\right\} \cdot \left\{(\bm{x}_i - \bm{\bar{x}})^\top \bm{u}\right\} \\ &= \bm{u}^\top \left[\frac{1}{N} \sum_{i=1}^N (\bm{x}_i - \bm{\bar{x}})(\bm{x}_i - \bm{\bar{x}})^\top\right] \bm{u} \\ &= \bm{u}^\top \bm{S} \bm{u} \end{align} $$

(eq:pca-ptojected-variance-derivation)

:::{margin} 二次形式

式{eq}eq:pca-projected-varianceは二次形式と呼ばれる。二次形式とは、二次の項のみで構成される多項式である。

例えば、

\begin{align*} \bm{S} = \begin{pmatrix} 1 & 1 \\ 1 & 3 \end{pmatrix} \end{align*}

を考えると、

\begin{align*} \bm{u}^\top\bm{S}\bm{u} &= \begin{pmatrix} u_1 & u_2 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & 3 \end{pmatrix} \begin{pmatrix} u_1 \\ u_2 \end{pmatrix} \\ &= \begin{pmatrix} u_1 + u_2 & u_1 + 3u_2 \end{pmatrix} \begin{pmatrix} u_1 \\ u_2 \end{pmatrix} \\ &= u_1^2 + 2 u_1 u_2 + 3u_2^2 \end{align*}

となる。これは、$u_1$と$u_2$の二次の項のみを含む多項式であることが確認できる。

:::

:::{admonition} 射影後の点の分散 :class: important

$N$個のデータ点$\bm{x}_1, \dots, \bm{x}_N \in \mathbb{R}^d$をベクトル$\bm{u} \in \mathbb{R}^d$で射影したとき、$\bm{u}$上に射影された点の分散は、

$$ \begin{align} \bm{u}^\top \bm{S} \bm{u} \end{align} $$

(eq:pca-projected-variance)

ここで、$\bm{S} \in \mathbb{R}^{d \times d}$はデータの分散共分散行列である。

$$ \begin{align} \bm{S} &= \frac{1}{N} \sum_{i=1}^N (\bm{x}_i - \bm{\bar{x}}) (\bm{x}_i - \bm{\bar{x}})^\top \\ \end{align} $$

(eq:variance-covariance-matrix)

:::

なお、分散共分散行列$\bm{S}$の各要素$S_{a,b}$は、行列$\bm{X}$を用いると、

\begin{gather} S_{a,b} = \frac{1}{N} \sum_{i=1}^N (X_{i,a} - \bar{x}_a) (X_{i,b} - \bar{x}_b) \\ \bar{x}_a = \frac{1}{N} \sum_{i=1}^N X_{i,a}, \; \bar{x}_b = \frac{1}{N} \sum_{i=1}^N X_{i,b} \end{gather}

と表される。$a$と$b$を入れ替えても同じ値が求まるので、分散共分散行列$\bm{S}$は$d \times d$の実対称行列である。

(sec:eigen-and-pca)=

固有値問題と主成分分析¶

第1主成分¶

主成分分析では、ある単位ベクトル$\bm{u} \in \mathbb{R}^d$でデータ点を射影したとき、射影された点の分散を最大化したい。前章で説明した通り、第1主成分$\bm{u}_1$は、$\|\bm{u}_1\|=1$の制約のもとで次式の目的関数を最大化する問題の解である。 \begin{align} J = \bm{u}_1^\top \bm{S} \bm{u}_1 \end{align}

これを制約なしの最大化問題に書き換えるため、ラグランジュの未定乗数法を用いる。ラグランジュ関数$\mathcal{L}$は、 \begin{align} \mathcal{L} = \bm{u}_1^\top \bm{S} \bm{u}_1 - \lambda_1 (\bm{u}_1^\top\bm{u}_1 - 1) \end{align} ここで、$\lambda_1$はラグランジュ乗数である。ラグランジュ関数$\mathcal{L}$を最大化するため、$\bm{u}_1$に関する偏微分を$0$とおくと、 \begin{align} \frac{\partial \mathcal{L}}{\partial \bm{u}_1} = 2\bm{S} \bm{u}_1 - 2\lambda_1 \bm{u}_1 &= 0 \\ \bm{S} \bm{u}_1 = \lambda_1 \bm{u}_1 \end{align}

ゆえに、第1主成分を求める問題は分散共分散行列$\bm{S}$の固有値問題に帰着する。なお、上式の両辺に左から$\bm{u}_1^\top$をかけると、左辺は最大化したい目的関数$J$となり、右辺は$\lambda_1$となる。

$$ \begin{align} J = \bm{u}_1^\top \bm{S} \bm{u}_1 = \bm{u}_1^\top (\bm{S} \bm{u}_1) = \bm{u}_1^\top (\lambda_1 \bm{u}_1) = \lambda_1 \bm{u}_1^\top \bm{u}_1 = \lambda_1 \end{align} $$

(eq:j-principal-component)

したがって、射影後の分散$J$を最大にする第1主成分ベクトル$\bm{u}_1$は、$\bm{S}$の固有値の中で最大のものを$\lambda_1$として、それに対応する固有ベクトルを長さ$1$になるように正規化したものである。また、データ$\bm{X}$を第1主成分ベクトル$\bm{u}_1$に射影したとき、その軸における分散は$\lambda_1$である。

これまでの議論をまとめる。

:::{admonition} 主成分分析の第1主成分 :class: important

$N$個の事例からなるデータ$\bm{X} = \begin{pmatrix}\bm{x}_1 & \bm{x}_2 & \dots & \bm{x}_N \end{pmatrix}^\top$が与えられ、その分散共分散行列を$\bm{S}$とする。主成分分析の第1主成分ベクトル$\bm{u}_1$は以下の固有値問題の解である。

$$ \begin{align} \bm{S} \bm{u}_1 = \lambda_1 \bm{u}_1 \end{align} $$

(eq:pca1-eigenvalue)

ここで、$\lambda_1$は$\bm{S}$の最大の固有値で、$\bm{u}_1$は$\lambda_1$に対応する固有ベクトルを正規化したものである。データの平均ベクトルを$\bar{\bm{x}}$と書くことにすると、データ$\bm{X}$に含まれるある事例$\bm{x}$の第1主成分得点は、

$$ \begin{align} \bm{u}_1^\top (\bm{x} - \bm{\bar{x}}) \end{align} $$

(eq:pca1-score)

データ点を第1主成分ベクトル$\bm{u}_1$に射影したとき、その軸におけるデータの分散は$\lambda_1$である。

:::

第2主成分以降¶

第2主成分以降を一般的に求めるため、第$k$主成分ベクトル$\bm{u}_1, \dots, \bm{u}_k$までを求めてあると仮定し、第$k+1$主成分ベクトルを求める（$1 \leq k < d$）。各主成分ベクトルの長さは$1$で、互いに直交するように選ぶので、主成分ベクトルは以下の制約を満たす（つまり、$\bm{u}_1, \dots, \bm{u}_k$は正規直交系である）。

$$ \begin{align} \bm{u}^\top_i \bm{u}_j = \begin{cases} 1 & (i = j) \\ 0 & (i \neq j) \end{cases} \end{align} $$

(eq:orthonormal)

第$k+1$主成分ベクトル$\bm{u}_{k+1}$は、$\|\bm{u}_{k+1}\|=1, \bm{u}_1^\top \bm{u}_{k+1} = \dots = \bm{u}_k^\top \bm{u}_{k+1} = 0$の制約のもとで次の目的関数を最大化する問題の解である。

\begin{align} J = \bm{u}_{k+1}^\top \bm{S} \bm{u}_{k+1} \end{align}

これを制約なしの最大化問題に書き換えるため、ラグランジュの未定乗数法を用いる。ラグランジュ関数$\mathcal{L}$は、

\begin{align} \mathcal{L} = \bm{u}_{k+1}^\top \bm{S} \bm{u}_{k+1} - \lambda_{k+1} (\bm{u}_{k+1}^\top\bm{u}_{k+1} - 1) - \sum_{i=1}^k \alpha_i \bm{u}_i^\top \bm{u}_{k+1} \end{align}

ただし、$\alpha_1, \dots, \alpha_k, \lambda_{k+1}$はラグランジュ乗数である。ラグランジュ関数$\mathcal{L}$を最大化するため、$\bm{u}_{k+1}$に関する偏微分を$0$とおくと、

$$ \begin{align} \frac{\partial \mathcal{L}}{\partial \bm{u}_{k+1}} = 2\bm{S} \bm{u}_{k+1} - 2\lambda_{k+1} \bm{u}_{k+1} - \sum_{i=1}^k \alpha_i \bm{u}_i &= 0 \end{align} $$

(eq:pca-lagrange)

ここで、上の等式において$\bm{u}_1^\top$を左からかけ、式{eq}eq:orthonormalに注意しながら展開すると、

\begin{align} 2\bm{u}_1^\top \bm{S} \bm{u}_{k+1} - 2\lambda_{k+1} \bm{u}_1^\top \bm{u}_{k+1} - \sum_{i=1}^k \alpha_i \bm{u}_1^\top \bm{u}_i &= 0 \\ 2\bm{u}_1^\top \bm{S} \bm{u}_{k+1} - \alpha_1 &= 0 \\ \alpha_1 &= 2\bm{u}_1^\top \bm{S} \bm{u}_{k+1} = 2\bm{u}_{k+1}^\top \bm{S} \bm{u}_1 = 2\bm{u}_{k+1}^\top \lambda_1 \bm{u}_1 = 0 \end{align}

同様に、全ての$j \in \{1, \dots, k\}$に対して、$\bm{u}_j^\top$を左からかけることで、$\alpha_j = 0$が示される。ゆえに、式{eq}eq:pca-lagrangeは、

\begin{align} \bm{S} \bm{u}_{k+1} = \lambda_{k+1} \bm{u}_{k+1} \end{align}

と整理される。したがって、第$k+1$主成分以降を求める問題も分散共分散行列$\bm{S}$の固有値問題に帰着する。これを$k=1$から$k=d-1$まで繰り返すことで、すべての主成分ベクトルを求めることができる。

固有値問題による主成分分析をまとめる。

:::{admonition} 主成分分析と固有値問題 :class: important

$N$個の事例からなるデータ$\bm{X} = \begin{pmatrix}\bm{x}_1 & \bm{x}_2 & \dots & \bm{x}_N \end{pmatrix}^\top$が与えられ、その分散共分散行列を$\bm{S}$とする。$\bm{S}$の$d$個の固有値を大きい順に並べ、

$$ \begin{align} \lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_d \geq 0 \end{align} $$

(eq:pca-lambdas)

とする。また、$\lambda_1, \lambda_2, \dots, \lambda_d$に対応する固有ベクトルを$\bm{u}_1, \bm{u}_1, \dots, \bm{u}_d$とする。ただし、固有ベクトルは、

\begin{align} \bm{u}^\top_i \bm{u}_j = \begin{cases} 1 & (i = j) \\ 0 & (i \neq j) \end{cases} \end{align}

を満たすように求める。すると、$\bm{u}_1, \bm{u}_1, \dots, \bm{u}_d$はそれぞれ、第1主成分、第2主成分、……、第$d$主成分に対応する。データの平均ベクトルを$\bar{\bm{x}}$と書くことにすると、データ$\bm{X}$に含まれるある事例$\bm{x}$の第$i$主成分得点は（$i \in \{1, \dots, d\}$）、

$$ \begin{align} \bm{u}_i^\top (\bm{x} - \bm{\bar{x}}) \end{align} $$

(eq:pcak-score)

データ$\bm{X}$を各主成分に射影したとき、各軸におけるデータの分散はそれぞれ、$\lambda_1, \lambda_2, \dots, \lambda_d$である。

:::

なお、式{eq}eq:pca-lambdasにおいて、$\bm{S}$の固有値が実数で、かつ全て非負であることは後ほど説明する。

スペクトル分解と主成分分析¶

主成分分析への理解を深めるため、スペクトル分解との関連を説明する。

スペクトル分解¶

まず、スペクトル分解を復習する。一般に、実対象行列は以下の性質を持つ。

:::{admonition} 実対称行列のすべての固有値は実数である :class: note, dropdown

実対称行列$\bm{S} \in \mathbb{R}^{d \times d}$のある固有値を$\lambda \in \mathbb{C}$とする（この時点では複素数の可能性を排除していない）。また、この固有値に対応する固有ベクトルを$\bm{q} \in \mathbb{C}^d$と書く。

\begin{align*} \bm{S} \bm{q} = \lambda \bm{q} \end{align*}

両辺の複素共役をとると（$\bm{S}$は実行列なので$\bm{\bar{S}} = \bm{S}$）、

\begin{align*} \bm{S} \bm{\bar{q}} = \bar{\lambda} \bm{\bar{q}} \end{align*}

上の2つの等式、および$\bm{S}^\top = \bm{S}$に注意しながら$\bm{q}^\top \bm{S} \bm{\bar{q}}$を二通りの方法で変形する。

\begin{align*} \bm{q}^\top \bm{S} \bm{\bar{q}} &= \bm{q}^\top \bm{S}^\top \bm{\bar{q}} = (\bm{S} \bm{q})^\top \bm{\bar{q}} = (\lambda \bm{q})^\top \bm{\bar{q}} = \lambda (\bm{q}^\top \bm{\bar{q}}) \\ \bm{q}^\top \bm{S} \bm{\bar{q}} &= \bm{q}^\top (\bm{S} \bm{\bar{q}}) = \bm{q}^\top (\bar{\lambda} \bm{\bar{q}}) = \bar{\lambda} (\bm{q}^\top \bm{\bar{q}}) \end{align*}

上の二つの等式の右辺は等しいので、次の等式が成り立つ。

\begin{align*} \lambda (\bm{q}^\top \bm{\bar{q}}) - \bar{\lambda} (\bm{q}^\top \bm{\bar{q}}) = (\lambda - \bar{\lambda}) \bm{q}^\top \bm{\bar{q}} = 0 \qquad \dots \mbox{ (a)} \end{align*}

一般に、複素数$(a + ib)$とその複素共役$(a - ib)$の積は$(a + ib)(a - ib) = a^2 + b^2 = |a + ib|^2$であるので、

\begin{align*} \bm{q}^\top \bm{\bar{q}} = \sum_{i=1}^d q_i \bar{q_i} = \sum_{i=1}^d |q_i|^2 > 0 \end{align*}

したがって、式(a)が成り立つことから$\lambda = \bar{\lambda}$。すなわち、$\lambda$は実数である。

:::

:::{admonition} 実対称行列の固有ベクトルは正規直交系を構成する :class: note, dropdown

実対称行列$\bm{S} \in \mathbb{R}^{d \times d}$の異なる二つの固有値を$\lambda, \mu$、これらに対応する固有ベクトル$\bm{u}, \bm{v}$とする。

\begin{align*} \bm{S} \bm{u} = \lambda \bm{u}, \; \bm{S} \bm{v} = \mu \bm{v} \end{align*}

$\bm{u}$と$\bm{v}$を定数倍しても上の等式は成り立つので、$\|\bm{u}\|=\|\bm{v}\|=1$となるように正規化しておく。上の2つの等式、および$\bm{S}^\top = \bm{S}$に注意しながら$\bm{u}^\top \bm{S} \bm{v}$を二通りの方法で変形する。

\begin{align*} \bm{u}^\top \bm{S} \bm{v} &= \bm{u}^\top \bm{S}^\top \bm{v} = (\bm{S} \bm{u})^\top \bm{v} = (\lambda \bm{u})^\top \bm{v} = \lambda(\bm{u}^\top \bm{v}) \\ \bm{u}^\top \bm{S} \bm{v} &= \bm{u}^\top (\bm{S} \bm{v}) = \bm{u}^\top \mu \bm{v} = \mu (\bm{u}^\top \bm{v}) \end{align*}

上の二つの等式の右辺は等しいので、次の等式が成り立つ。

\begin{align*} \lambda(\bm{u}^\top \bm{v}) - \mu (\bm{u}^\top \bm{v}) = (\lambda - \mu) (\bm{u}^\top \bm{v}) = 0 \end{align*}

もし、二つの固有値$\lambda$と$\mu$が異なるとき、$\lambda - \mu \neq 0$であるから、$\bm{u}^\top \bm{v} = 0$である。

もし、二つの固有値$\lambda$と$\mu$が等しいとき、すなわち実対称行列が重複する固有値を持つ場合は、対応する固有ベクトルをグラム・シュミットの直交化法により直交化すればよい。

:::

ある実対称行列$\bm{S} \in \mathbb{R}^{d \times d}$の固有値を$\lambda_1, \lambda_2, \dots, \lambda_d$とし、対応する固有ベクトルを$\bm{q}_1, \bm{q}_2, \dots, \bm{q}_d \in \mathbb{R}^d$とする。

$$ \begin{align} \bm{S} \bm{q}_1 = \lambda_1 \bm{q}_1, \; \bm{S} \bm{q}_2 = \lambda_2 \bm{q}_2, \; \dots, \; \bm{S} \bm{q}_d = \lambda_d \bm{q}_d \end{align} $$

(eq:eigen-equations)

なお、固有ベクトルを正規直交系を構成するように選ぶことができるので、$i, j \in \{1, \dots, d\}$に関して、

$$ \begin{align} \bm{q}_i^\top\bm{q}_j = \begin{cases} 1 & (i = j) \\ 0 & (i \neq j) \end{cases} \end{align} $$

(eq:q-is-orthogonal)

等式{eq}eq:eigen-equationsをベクトルとして横に並べると、次のように整理できる。

$$ \begin{align} \begin{pmatrix} \bm{S} \bm{q}_1 & \bm{S} \bm{q}_2 & \dots & \bm{S} \bm{q}_d \end{pmatrix} &= \begin{pmatrix} \lambda_1 \bm{q}_1 & \lambda_2 \bm{q}_2 & \dots & \lambda_d \bm{q}_d \end{pmatrix} \\ \bm{S} \begin{pmatrix} \bm{q}_1 & \bm{q}_2 & \dots & \bm{q}_d \end{pmatrix} &= \begin{pmatrix} \bm{q}_1 & \bm{q}_2 & \dots & \bm{q}_d \end{pmatrix} \begin{pmatrix} \lambda_1 & 0 & \dots & 0 \\ 0 & \lambda_2 & \dots & 0 \\ 0 & 0 & \dots & 0 \\ 0 & 0 & \dots & \lambda_d \\ \end{pmatrix} \\ \bm{S} \bm{Q} &= \bm{Q} \bm{\Lambda} \end{align} $$

(eq:eigen-equation)

ここで、$\bm{\Lambda} \in \mathbb{R}^{d \times d}$は固有値を要素とする対角行列である。

\begin{align} \bm{\Lambda} = {\rm diag}(\lambda_1, \lambda_2, \dots, \lambda_d) = \begin{pmatrix} \lambda_1 & 0 & \ldots & 0 \\ 0 & \lambda_2 & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \lambda_d \\ \end{pmatrix} \end{align}

また、行列$\bm{Q} \in \mathbb{R}^{d \times d}$は列ベクトルである固有ベクトルを横方向に配置したものである。

\begin{align} \bm{Q} = \begin{pmatrix} \bm{q}_1 & \bm{q}_2 & \dots & \bm{q}_d \end{pmatrix} \end{align}

:::{margin} 直交行列

ある行列$\bm{A}$が直交行列であるとは、

\begin{align*} \bm{A}^\top \bm{A} = \bm{A}\bm{A}^\top = \bm{I} \end{align*}

:::

以下に示すように、$\bm{Q}^\top \bm{Q} = \bm{I}$であるから、$\bm{Q}$は直交行列である。

$$ \begin{align} \bm{Q}^\top \bm{Q} = \begin{pmatrix} \bm{q}_1^\top \\ \bm{q}_2^\top \\ \dots \\ \bm{q}_d^\top \end{pmatrix} \begin{pmatrix} \bm{q}_1 & \bm{q}_2 & \dots & \bm{q}_d \end{pmatrix} = \begin{pmatrix} \bm{q}_1^\top\bm{q}_1 & \bm{q}_1^\top\bm{q}_2 & \ldots & \bm{q}_1^\top\bm{q}_d \\ \bm{q}_2^\top\bm{q}_1 & \bm{q}_2^\top\bm{q}_2 & \ldots & \bm{q}_2^\top\bm{q}_d \\ \vdots & \vdots & \ddots & \vdots \\ \bm{q}_d^\top\bm{q}_1 & \bm{q}_d^\top\bm{q}_2 & \ldots & \bm{q}_d^\top\bm{q}_d \\ \end{pmatrix} = \begin{pmatrix} 1 & 0 & \ldots & 0 \\ 0 & 1 & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & 1 \\ \end{pmatrix} = \bm{I} \end{align} $$

(eq:q-is-orthogonal-matrix)

:::{margin} 実対称行列の対角化

式{eq}eq:eigen-equationの左から$\bm{Q}^\top$をかけると、$\bm{S}$は$\bm{Q}$によって対角化可能であることを示すことができる。 \begin{align*} \bm{Q}^\top \bm{S} \bm{Q} = \bm{\Lambda} \end{align*}

:::

式{eq}eq:eigen-equationの右から$\bm{Q}^\top$をかけ、左辺において$\bm{Q}\bm{Q}^\top = \bm{I}$であることに注意すると、スペクトル分解（spectral decomposition）が得られる。

:::{admonition} スペクトル分解 :class: important

実対称行列$\bm{S} \in \mathbb{R}^{d \times d}$は、直交行列$\bm{Q} \in \mathbb{R}^{d \times d}$、対角行列$\bm{\Lambda} \in \mathbb{R}^{d \times d}$、直交行列$\bm{Q}^\top$の積に分解できる。

\begin{align} \bm{S} &= \bm{Q} \bm{\Lambda} \bm{Q}^\top \\ &= \begin{pmatrix} \vert & \vert & \ldots & \vert \\ \bm{q}_1 & \bm{q}_2 & \ldots & \bm{q}_d \\ \vert & \vert & \ldots & \vert \\ \end{pmatrix} \begin{pmatrix} \lambda_1 & 0 & \ldots & 0 \\ 0 & \lambda_2 & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \lambda_d \\ \end{pmatrix} \begin{pmatrix} \text{―} & \bm{q}_1^\top & \text{―} \\ \text{―} & \bm{q}_2^\top & \text{―} \\ \vdots & \vdots & \vdots \\ \text{―} & \bm{q}_d^\top & \text{―} \end{pmatrix} \\ &= \lambda_1 \begin{pmatrix} \vert \\ \bm{q}_1 \\ \vert \\ \end{pmatrix} \begin{pmatrix} \text{―} \; \bm{q}_1^\top \; \text{―} \end{pmatrix} + \lambda_2 \begin{pmatrix} \vert \\ \bm{q}_2 \\ \vert \\ \end{pmatrix} \begin{pmatrix} \text{―} \; \bm{q}_2^\top \; \text{―} \end{pmatrix} + \dots + \lambda_d \begin{pmatrix} \vert \\ \bm{q}_d \\ \vert \\ \end{pmatrix} \begin{pmatrix} \text{―} \; \bm{q}_d^\top \; \text{―} \end{pmatrix} \\ &= \sum_{i = 1}^{d} \lambda_i \bm{q}_i \bm{q}_i^\top \end{align}

なお、

• $\bm{\Lambda}$の対角要素$\lambda_1, \lambda_2, \dots, \lambda_d$は$\bm{S}$の固有値を並べたものである。
• $\bm{Q}$の列ベクトル$\bm{q}_1, \dots, \bm{q}_d \in \mathbb{R}^d$は$\lambda_1, \lambda_2, \dots, \lambda_d$に対応する固有ベクトルであり、正規直交系をなす。

:::

(sec:pca-by-spectral-decomposition)=

主成分分析の導出¶

スペクトル分解に基づいて主成分分析を導出してみよう。主成分分析では、データ行列$\bm{X} \in \mathbb{R}^{N \times d}$に対して式{eq}eq:variance-covariance-matrixで計算される分散共分散行列$\bm{S} \in \mathbb{R}^{d \times d}$が出発点である。以下の二つの性質により、分散共分散行列$\bm{S}$の固有値は非負である。

:::{admonition} 分散共分散行列は半正定値対称行列である :class: note, dropdown

行列$\bm{X} \in \mathbb{R}^{N \times d}$の分散共分散行列を$\bm{S} \in \mathbb{R}^{d \times d}$とする。分散共分散行列は対称行列であるので、半正定値行列であることを示せばよい。任意のベクトル$\bm{u}$に対して、

\begin{align} \bm{u}^\top \bm{S} \bm{u} &= \bm{u}^\top \left[\frac{1}{N} \sum_{i=1}^N (\bm{x}_i - \bm{\bar{x})}(\bm{x}_i - \bm{\bar{x}})^\top\right] \bm{u} \\ &= \frac{1}{N} \sum_{i=1}^N \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x})}\right\} \cdot \left\{(\bm{x}_i - \bm{\bar{x}})^\top \bm{u}\right\} \\ &= \frac{1}{N} \sum_{i=1}^N \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x})}\right\} \cdot \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x}})\right\}^\top \\ &= \frac{1}{N} \sum_{i=1}^N \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x})}\right\} \cdot \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x}})\right\} \\ &= \frac{1}{N} \sum_{i=1}^N \left\{\bm{u}^\top (\bm{x}_i - \bm{\bar{x})}\right\}^2 \\ &\geq 0 \end{align}

が成り立つので、分散共分散行列$\bm{S}$は半正定値行列である。なお、この証明は式{eq}eq:pca-objectiveを逆向きに辿っていると考えればよい。

:::

:::{admonition} 半正定値対称行列の固有値はすべて非負である :class: note, dropdown

半正定値対称行列を$\bm{S}$とする。その行列のある固有値を$\lambda$、対応する固有ベクトルを$\bm{u}$とする。すなわち、

\begin{align} \bm{S} \bm{u} = \lambda \bm{u} \end{align}

ここで、$\bm{S}$の二次形式を計算すると、

\begin{align} \bm{u}^\top \bm{S} \bm{u} = \bm{u}^\top \lambda \bm{u} = \lambda \bm{u}^\top \bm{u} \end{align}

分散共分散行列は半正定値対称行列であるから、左辺は非負であることが分かっている。右辺が非負となるためには、$\lambda \geq 0$が成り立たなければならない。

:::

分散共分散行列$\bm{S}$は実対称行列であるから、直交行列$\bm{Q} \in \mathbb{R}^{d \times d}$と対角行列$\bm{\Lambda} = {\rm diag}(\lambda_1, \dots, \lambda_d) \in \mathbb{R}^{d \times d}$によるスペクトル分解が存在する。

\begin{align} \bm{S} = \bm{Q} \bm{\Lambda} \bm{Q}^\top \end{align}

さらに、分散共分散行列$\bm{S}$は半正定値対称行列であり、その固有値はすべて非負である。そこで、$\bm{S}$の固有値を大きい順に並べておく。

$$ \begin{align} \lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_d \geq 0 \end{align} $$

(eq:eigenvalue-order)

また、これらの固有値に対応するように固有ベクトル$\bm{Q} = \begin{pmatrix}\bm{q}_1 & \bm{q}_2 & \dots & \bm{q}_d\end{pmatrix}$を並び替えておく。

さて、式{eq}eq:pca-objectiveで示したように、主成分分析における第1主成分$\bm{u}_1 \in \mathbb{R}^d$は以下の最大化問題で求まる。

\begin{align} \bm{u}_1 = \mathop{\rm argmax}\limits_{\|\bm{u}\| = 1} \bm{u}^\top \bm{S} \bm{u} = \mathop{\rm argmax}\limits_{\|\bm{u}\| \neq 0} \frac{\bm{u}^\top \bm{S} \bm{u}}{\bm{u}^\top \bm{u}} \end{align}

ここで、${\rm argmax}$の中身、

\begin{align} \frac{\bm{u}^\top \bm{S} \bm{u}}{\bm{u}^\top \bm{u}} \end{align}

はレイリー商（Rayleigh quotient）と呼ばる。以下で示すように、このレイリー商は$\bm{u} = \pm \bm{q}_1$のとき最大値$\lambda_1$をとる。すなわち、データ$\bm{X}$を第1主成分ベクトルに射影するとき、その分散の最大値は$\lambda_1$であり、その最大値を与える第1主成分ベクトルは$\bm{u}_1 = \pm \bm{q}_1$である。

:::{margin} レイリー商の最小値

同様に、レイリー商の最小値は$\lambda_d$であることを示すことができる。 :::

:::{admonition} レイリー商による最大値 :class: note

\begin{align} \frac{\bm{u}^\top \bm{S} \bm{u}}{\bm{u}^\top \bm{u}} &= \frac{\bm{u}^\top (\bm{Q}\bm{\Lambda}\bm{Q}^\top) \bm{u}}{\bm{u}^\top \bm{u}} && (\because \bm{S} = \bm{Q}\bm{\Lambda}\bm{Q}^\top) \\ &= \frac{\bm{u}^\top \bm{Q}\bm{\Lambda}\bm{Q}^\top \bm{u}}{\bm{u}^\top\bm{Q} \bm{Q}^\top\bm{u}} && (\because \bm{Q} \bm{Q}^\top = \bm{I}) \\ &= \frac{(\bm{Q}^\top \bm{u})^\top\bm{\Lambda}\bm{Q}^\top \bm{u}}{(\bm{Q}^\top \bm{u})^\top \bm{Q}^\top\bm{u}} && (\because \bm{Q} \bm{Q}^\top = \bm{I}) \\ &= \frac{\bm{z}^\top \bm{\Lambda}\bm{z}}{\bm{z}^\top\bm{z}} && (\bm{z} := \bm{Q}^\top \bm{u}) \\ &= \frac{\lambda_1 z_1^2 + \lambda_2 z_2^2 + \dots + \lambda_d z_d^2}{z_1^2 + z_2^2 + \dots + z_d^2} && (\because \bm{\Lambda} = {\rm diag}(\lambda_1, \lambda_2, \dots, \lambda_d)) \end{align}

上式は$\lambda_1, \lambda_2, \dots, \lambda_d$の$z_1^2, z_2^2, \dots, z_d^2$による重み付き平均である。したがって、その最大値は、 \begin{align} \max_{\|\bm{u}\| \neq 0} \frac{\bm{u}^\top \bm{S} \bm{u}}{\bm{u}^\top \bm{u}} = \max_{\|\bm{z}\| \neq 0} \frac{\lambda_1 z_1^2 + \lambda_2 z_2^2 + \dots + \lambda_d z_d^2}{z_1^2 + z_2^2 + \dots + z_d^2} \leq \lambda_1 \\ \end{align} 等号が成立するのは、$z_1^2 = 1, z_2^2 = z_3^2 = \dots = z_d^2 = 0$、すなわち$\bm{u} = \pm \bm{q}_1$のときである。

:::

続いて、主成分分析で第$k$主成分までデータ$\bm{X}$を射影する場合を考える（$1 \leq k \leq d$）。$k$個の直交基底ベクトルで射影した後のデータの分散の和の最大値は$\lambda_1 + \dots + \lambda_k$であること、その最大値は$\bm{q}_1, \dots, \bm{q}_k$で射影した場合であることを示す {cite}Dasgupta:08。

$k$個の直交基底ベクトルを$\bm{u}_1, \dots, \bm{u}_k$とおく。式{eq}eq:pca-projected-varianceより、これらのベクトルでデータを射影した後の分散の和$J_k$は、分散共分散行列$\bm{S}$のスペクトル分解$\bm{Q}\bm{\Lambda}\bm{Q}^\top$を用いて、次のように展開できる。

$$ \begin{align} J_k &= \sum_{i=1}^k \bm{u}_i^\top \bm{S} \bm{u}_i \\ &= \sum_{i=1}^k \bm{u}_i^\top (\bm{Q} \bm{\Lambda} \bm{Q}^\top) \bm{u}_i && (\because \bm{S} = \bm{Q}\bm{\Lambda}\bm{Q}^\top) \\ &= \sum_{i=1}^k \bm{u}_i^\top \left( \sum_{j = 1}^{d} \lambda_j \bm{q}_j \bm{q}_j^\top \right) \bm{u}_i && (\mbox{スペクトル分解の別の形}) \\ &= \sum_{j = 1}^{d} \lambda_j \sum_{i=1}^k (\bm{u}_i^\top\bm{q}_j)^2 && (\because \bm{u}_i^\top\bm{q}_j = \bm{q}_j^\top\bm{u}_i) \\ &= \sum_{j = 1}^{d} \lambda_j z_j && (z_j := \sum_{i=1}^k (\bm{u}_i^\top\bm{q}_j)^2) \\ \end{align} $$

(eq:pca-objective)

ゆえに、分散の和$J_k$は$d$個の固有値$\lambda_1, \dots, \lambda_d$の$z_1, \dots, z_d$による重み付き和として表される。そこで、$j \in \{1, 2, \dots, d\}$に関して$z_j$の性質を調べる。まず、ベッセルの不等式より、 \begin{align} z_j = \sum_{i=1}^k (\bm{u}_i^\top\bm{q}_j)^2 \leq \|\bm{q}_j\|^2 = 1 \end{align}

さらに、$z_j$の和は、 \begin{align} \sum_{j = 1}^{d} z_j = \sum_{j = 1}^{d} \sum_{i=1}^k (\bm{u}_i^\top\bm{q}_j)^2 = \sum_{i=1}^k \sum_{j = 1}^{d} \bm{u}_i^\top\bm{q}_j \bm{q}_j^\top\bm{u}_i = \sum_{i=1}^k \bm{u}_i^\top\bm{Q} \bm{Q}^\top\bm{u}_i = \sum_{i=1}^k \bm{u}_i^\top\bm{u}_i = k \end{align}

したがって、式{eq}eq:pca-objectiveは$0 \leq z_j \leq 1$かつ、$\sum_{j = 1}^{d} z_j = k$による固有値$\lambda_1, \dots, \lambda_d$の重み付き和である。式{eq}eq:eigenvalue-orderのように、分散共分散行列$\bm{S}$の固有値を大きい順に並べてある場合、式{eq}eq:pca-objectiveが最大となるのは、$z_1 = \dots = z_k = 1, z_{k+1} = \dots = z_d = 0$と選んだときである。$1 \leq j \leq k$に対して、$z_j = 1$を満たすには、$\bm{u}_j = \bm{q}_j$とすればよい。

まとめると、$k$個の直交基底ベクトルでデータ$\bm{X}$を射影した後の分散の和$J_k$の最大値は、

$$ \begin{align} \max J_k = \sum_{i=1}^k \lambda_i \end{align} $$

(eq:pca-maximum-variance)

この最大値は、データを$\bm{q}_1, \dots, \bm{q}_k$で射影した時に得られる。

{ref}sec:eigen-and-pcaでは、データの分散共分散行列$\bm{S}$の固有値を大きい順に並べ、対応する固有ベクトルを主成分ベクトルとして一つずつ選んでいた。式{eq}eq:pca-maximum-varianceは、$k$個の直交基底ベクトルでデータを射影するとき、$\bm{q}_1, \bm{q}_2, \dots, \bm{q}_k$を射影ベクトルに選ぶことで、射影後のデータの分散の和が最大となること、その分散の和の最大値が$\lambda_1 + \lambda_2 + \dots + \lambda_k$であることを保証している。

主成分分析と次元圧縮¶

:::{margin} 行列のトレース 行列$\bm{A}$の対角成分の和をトレースと呼び、$\mathrm{tr}(\bm{A})$で表す。 :::

データ$\bm{X}$の共分散行列$\bm{S}$の対角成分の和は、データ$\bm{X}$の分散の和である。$\bm{S} = \bm{Q} \bm{\Lambda} \bm{Q}^\top$のスペクトル分解を用いると、$\bm{S}$の対角成分の和は、

\begin{align} \mathrm{tr}(\bm{S}) &= \mathrm{tr}(\bm{Q} \bm{\Lambda} \bm{Q}^\top) \\ &= \mathrm{tr}(\lambda_1 \bm{q}_1 \bm{q}_1^\top + \lambda_2 \bm{q}_2 \bm{q}_2^\top + \dots + \lambda_d \bm{q}_d \bm{q}_d^\top) \\ &= \lambda_1 \bm{q}_1^\top \bm{q}_1 + \lambda_2 \bm{q}_2^\top \bm{q}_2 + \dots + \lambda_d \bm{q}_d^\top \bm{q}_d \\ &= \lambda_1 + \lambda_2 + \dots + \lambda_d \\ \end{align}

つまり、データ$\bm{X}$の分散の和は分散共分散行列$\bm{S}$の固有値の和に等しい

第$k$主成分に対応する固有値$\lambda_k$は、元のデータ$X$を第$k$主成分の軸に射影したときの分散を表す。全ての主成分における分散の総和に対し、第$k$主成分の分散が占める割合を第$k$主成分の寄与率と呼ぶ。

:::{admonition} 寄与率 :class: important

\begin{align} \frac{\lambda_k}{\sum_{i=1}^d \lambda_i} = \frac{\lambda_k}{\lambda_1 + \lambda_2 + \dots + \lambda_d} \end{align}

:::

また、第$k$主成分までに表現された分散の総和が、データ全体の分散の総和に占める割合を第$k$主成分までの累積寄与率と呼ぶ。

:::{admonition} 累積寄与率 :class: important

\begin{align} \frac{\sum_{i=1}^k \lambda_i}{\sum_{i=1}^d \lambda_i} = \frac{\lambda_1 + \lambda_2 \dots + \lambda_k}{\lambda_1 + \lambda_2 + \dots + \lambda_d} \end{align}

:::

累積寄与率は、元々$d$次元のベクトルで表されていたデータ点を主成分分析で$k$次元に圧縮したとき、元データの分散をどの程度表現できているかを表す指標である。

応用例 (1): 麺類の支出額¶

前章の冒頭で紹介した教育用標準データセット（SSDSE: Standardized Statistical Data Set for Education）の「C. 都道府県庁所在市別、家計消費データ」から麺類だけを抜き出したデータを2次元平面上で可視化してみよう。まず、データを読み込んで表示する。

7種類の麺類の品目に関して、47都道府県庁所在市別の年間支出金額が収録されたデータである。したがって、データ$\bm{X}$は$47 \times 7$の行列で表される。

$\bm{X}$の各事例に対応する都道府県名を変数Cに保存しておく。

$\bm{X}$の品目名を変数Fに保存しておく。

データの傾向を掴むために、散布図行列を描画してみる。対角部分はヒストグラム、非対角部分は2つの変数間に着目した場合の散布図が示される。

sklearn.decomposition.PCAを用いて主成分分析を実行する。

7個の主成分ベクトル（PC1からPC7）を表示する。第1主成分ベクトルの係数が概ね正であるので、第1主成分得点は麺類の消費の多さを反映すると考えられる。第2主成分ベクトルの係数は、「うどん・そば」では正、「中華麺」や「カップ麺」では負であるので、うどん・そばの消費の多さを反映すると考えられる。

主成分分析により、各データ点を第1から第7主成分に射影したときの主成分得点を表形式で表示する。

用いる主成分の数$k$を横軸、累積寄与率を縦軸としてグラフを描画する。第2主成分までで元データの分散の約70%、第3主成分までで元データの分散の約90%を説明できることが分かる。

第1主成分得点を横軸、第2主成分得点を縦軸として、各都道府県庁所在地の麺類の支出金額を2次元平面上にプロットしてみる。これだけでも、地理的に近い都道府県庁所在地が近くにプロットされるのが興味深い。第1主成分得点が最も高いのは山形市（山形県）であり、周辺に他の都道府県庁所在地がプロットされていないことから、麺類の支出金額が特徴的であることが分かる。ただ、他の都道府県を全く寄せ付けない圧倒的な存在感を示すのは、第1主成分得点と第2主成分得点のいずれも高い高松市（香川県）である。

各都道府県庁所在地がどの品目に支出するのかを表すため、各品目を2,000円消費したときの点を原点からの矢印で表示した。高松市（香川県）は「生うどん・そば」に対する支出が特徴的であること、青森市（青森県）はカップ麺に対する支出が特徴的であること、山形市（山形県）は麺類全般に対して支出していることが示唆される。

応用例 (2): 手書き文字¶

scikit-learnのsklearn.datasets.load_digitsを使い、手書き文字認識のデータセットを読み込む。

読み込まれたデータは$1797$事例からなり、各事例は$64$（$8 \times 8$ピクセル）次元。

データ中の先頭の事例の画像をプロットする。

入力データは$64$次元の特徴空間で表現されていたが、主成分分析を用いて特徴空間を$2$次元に圧縮する。

各事例の特徴空間の次元が$2$次元になった。

先ほどの画像の特徴ベクトルを$2$次元に圧縮したものを表示する。

各事例の特徴ベクトルが$2$次元に圧縮されたので、それらを$2$次元平面上にプロットする。そのとき、画像の数字の正解で色分けを行うと、同じ数字の画像が近くにまとまっていることが確認できる。

第１主成分ベクトルと第２主成分ベクトルを２次元画像として可視化する。入力画像とこれらの主成分ベクトルとの内積で主成分得点（射影後の値）が計算される。

横軸を主成分の数、縦軸を累積寄与率としてグラフを書いてみると、おおよそ10数個の主成分ベクトルでデータ全体の分散の80%以上をカバーできることが分かる。

応用例 (3): 固有顔¶

固有顔（Eigenface）と呼ばれる手法を体験してみよう。固有顔は顔画像のデータに対して主成分分析を行い、主成分ベクトルを求めたもので、顔認識の特徴量抽出（の次元圧縮）に用いられる。今回は、sklearn.datasets.fetch_lfw_peopleを用いて、顔画像のデータを読み込む。

読み込まれたデータは$1348$件で、それぞれ、縦が$62$ピクセル、横が$47$ピクセルの画像になっている。

読み込まれた画像を、その人物名と一緒に表示する。

顔画像データに主成分分析をかけて、150個の主成分ベクトルを求める。

sklearn.decomposition.PCAは、主成分分析を行う前に、データの事例ベクトルの平均を自動的に取り除く。その平均を２次元で可視化することで、先ほどのデータセットの顔画像の「平均」を見ることができる（彫りが深い…）。

第1主成分から順に、第16主成分まで可視化してみる。

横軸を主成分の数、縦軸を累積寄与率としてグラフを書いてみると、だいたい30個弱の主成分ベクトルでデータ全体の分散の80%以上をカバーできることが分かる。

画像データを$150$次元の空間に射影してから、元の画像の空間に戻してみると、元画像を少ない情報量に圧縮した画像を得ることができる。以下の可視化では、上段が元画像、下段が圧縮後の画像である。