统计学习导论-无监督学习

主成分分析

用较少的变量代表较多的变量，方便可视化与理解数据
第一主成分\(Z_1 = \phi_{11} X_1 + \phi_{21}X_2 + ... + \phi_{p1} X_p\) 方差最大，正则化后有\(\sum_{j = 1}^p \phi_{j1}^2 = 1\)，则\(\phi\)为变量在第一主成分上的载荷
求解上第一主成分最大化\(\frac{1}{n} \sum_{i = 1}^{n} z_{i1}^2\) 求解载荷值，\(z_{ni}\)是第一个样本在第一个主成分上的得分
载荷表示变量重要程度，得分表示样本重要程度
第二主成分与第一主成分正交求解
biplot 同时表示载荷与得分，载荷向量接近表示有相关性，方向不一表示相关性弱，变量在主成分得分差异表示其状态
第一个主成分表示在p维空间里距离n个观察最近的超平面，因此具备代表性
取M个主成分可代表所有数据\(x_{ij} \approx \sum_{m = 1}^M z_{im} \phi_{jm}\)
变量单位要统一，已经统一就不要标准化了
主成分是唯一的，符号可能有变化，载荷与得分值也唯一
主成分的重要性通过方差解释比例(PVE)来衡量，用碎石图来可视化\[\frac{\sum_{i = 1}^n (\sum_{j =1}^p \phi_{jm} x_{ij})^2}{\sum_{j =1}^p x_{ij}^2}\]
寻找碎石图的肘部来确定选取主成分的个数，方法不固定
可用来进行M小于p的主成分回归

子类中方差小，子类间方差大
事先指定子类个数
最小化所有K个平均欧式距离\(W(C_k) = \frac{1}{|C_k|} \sum_{i,i' \in C_k} \sum_{j = 1}^{p} (x_{ij} - x_{i'j})^2\)
先对所有样本随机分类，然后每种分类取中心，选取里中心距离最近的点重新分类，重新计算中心，迭代得到聚类结果