主成分分析与因素分析之区分

主成分分析与因素分析之区分

因素分析FA分为探索性因素分析EFA与验证性因素分析CFA。因素分析与主成分分析PCA的关系,尤其是探索性因素分析与主成分分析之关系，参考一些资料之后，我将两者的主要分别总结如下。
1.PCA分析所有的变异，包括所有指标的变异与误差的变异，也包括只为一个指标所拥有的变异，用于对数据的所有变异做一个整体的概括，不丢失任何信息。FA分析共享的变异，不包括误差的变异，也不包括只为一个指标所拥有的变异
2.PCA不需要理论的指导，所分析出来的成份没有实际中的意义，更不应该为它附上一个标签。EFA要为分析出来的因素起一个实际有意义的名称，CFA则需要在进行分析之前有以验证假设为目的，在理论基础之上进行。
3.PCA成份之间彼此正交，即不相关。FA的因素之间则一般是斜交的，在EFA重要看因素旋转的结果，在CFA中看理论假设的模型与调整的结果。
4.PCA的目的是为了提取信息，对样本量的要求并不高。FA则要求样本量不少于100，至少保证指标与因素的比为5：1。
5.在PCA中，指标是自变量，成份是因变量；在FA中，指标是因变量，因素是自变量。在这里值得注意的是，SPSS中PCA和EFA未加以区分，所以特别容易混淆，一个简单的区别就是，在PCA进行之后，自变量和因变量已经悄然发生了转换，“主成分”从因变量变成了自变量，经过旋转之后，变成了有意义的“因素”。
6.在实际的应用中，PCA是为EFA决定提取的因子数的一个方法。事实上，还有其他的方法可以用来选择公因子的数目，包括公因子法，最小平方法，最大似然法，等等。在PCA后，根据特征值或者碎石图来进行因子数目的选择。特别值得注意的是，碎石图是PCA的专利，FA是没有碎石图的。

下面我用公式做出了PCA和FA的一个区分我们可以从公式里看到主成分（因素）在方程中未知的变化
Z_1=b_{11}x_1+b_{12}x_2+...+b_{1m}x_m
Z_2=b_{21}x_1+b_{22}x_2+...+b_{2m}x_m
...
Z_m=b_{m1}x_1+b_{m2}x_2+...+b_{mm}x_m
注意，这里的系数矩阵就是我们在svd中分析出来的$u和$v

区别
x_1=\lambda_{11}\xi_1+\lambda_{12}\xi_2+...+\lambda_{1m}\xi_m
x_2=\lambda_{21}\xi_1+\lambda_{22}\xi_2+...+\lambda_{2m}\xi_m
...
x_m=\lambda_{m1}\xi_1+\lambda_{m2}\xi_2+...+\lambda_{mm}\xi_m

参考资料：
侯杰泰，温忠麟:《结构方程模型及其应用》
Tabachnick&Fidell:《Using multivariate Statistics》
陈善林《因素分析的理论与方法》