对pca的总结
| 不同PCA | 原数据矩阵 | 变换后矩阵 | 惩罚项 | 算法/原理 |
|---|---|---|---|---|
| PCA | 不作要求 | 1. 列向量线性无关； 2. 维度减少。 |
无 | $\mathbf{P}$对$\mathbf{X}$进行转换，使$\mathbf{Y}$的协方差矩阵是个对角矩阵。 必要的话丢弃小的方差。 $\mathbf{X}^T\mathbf{X}$的特征向量组成的的确就是我们SVD中的$\mathbf{V}$矩阵,也就是PCA中的$\mathbf{Y}$。 |
| NNMF | 非负 | 1. 列向量线性无关； 2. 维度减少； 3. 分解出的两个矩阵只要有一个所有值非负。 |
有 | $\begin{split}& (W_{n \times k}^*, H_{k \times m}^*) \\ & = \underset{W_{n \times k}, H_{k \times m}}{\operatorname{arg\,min\,}} d_{\mathrm{Fro}}(X_{n \times m}, W_{n \times k}H_{k \times m}) \\ & + \alpha \rho \|W_{n \times k}\|_1 + \alpha \rho \|H_{k \times m}\|_1 \\ & + \frac{\alpha(1-\rho)}{2} \|W_{n \times k}\|_{\mathrm{Fro}} ^ 2 \\ & + \frac{\alpha(1-\rho)}{2} \|H_{k \times m}\|_{\mathrm{Fro}} ^ 2\end{split}$ |
| Sparse PCA | 不作要求 | 1. 列向量线性无关； 2. 维度减少； 3. 稀疏。 |
有 | $\begin{split}& (W_{n \times k}^*, H_{k \times m}^*) \\ & = \underset{W_{n \times k}, H_{k \times m}}{\operatorname{arg\,min\,}} \frac{1}{2}\|X_{n \times m}-W_{n \times k}H_{k \times m}\|_2^2 \\ & +\alpha\|H_{k \times m}\|_1 \\ & \text{subject to }\|W_i\|_2 = 1 \\ & \text{for all }0 \leq i \leq k \leq m\end{split}$ |
| Kernel PCA | 不做要求 | 1. 列向量线性无关； 2. 维度减少。 |
无 | 将核方法应用于PCA，可以发现原数据矩阵的隐含模式。 |
矩阵Frobenius范数不同于矩阵2范数，具体阅读范数博文。