跳至主要內容

主成分分析

Jianghu原创大约 7 分钟数学建模数学建模

数据维度和降维

数据维度指的是数据集中的特征数量或变量数量。每个特征都可以看作一个维度，因此如果一个数据集有 nn 个特征，那么这个数据集可以被认为是处于 nn 维空间中。例如，在一个包含三个特征（如高度、体重和年龄）的数据集里，每个数据点可以表示为三维空间中的一个点。

降维（Dimensionality Reduction）是将高维数据映射到低维空间的过程，同时尽可能保留原始数据的重要信息。降维的主要目的是：

  1. 减少计算复杂度：高维数据在处理时往往需要更多的计算资源，通过降维可以减少计算时间和存储空间。

  2. 消除噪声：高维数据中可能包含一些对最终分析没有贡献的特征，通过降维可以去除这些无关或噪声特征。

  3. 提高模型性能：某些情况下，模型在低维数据上表现得更好，因为降维后数据的结构可能更加简单明了。

  4. 可视化：降维能将数据映射到2D或3D空间，便于数据的可视化和直观理解。

常见的降维方法有：

  • 主成分分析 (PCA)：通过将数据投影到主成分方向上，保留最大方差的维度。
  • 线性判别分析 (LDA)：通过最大化类间方差与类内方差之比来寻找最优投影方向。
  • t-SNE：一种非线性降维技术，常用于将高维数据降到2D或3D，以便于可视化。
  • UMAP：一种快速且强大的非线性降维方法，特别适合大型数据集的可视化。

降维在数据分析、机器学习、图像处理等多个领域都有广泛应用。

主成分分析

主成分分析（Principal Component Analysis，PCA）是一种广泛使用的降维技术，用于从高维数据中提取重要信息，同时减少数据的维度。PCA 通过线性变换将原始特征转换为一组新的不相关特征（称为主成分），这些主成分能够解释数据中尽可能多的方差。

PCA 的基本步骤

  1. 标准化数据：

    • 因为不同特征的量纲可能不同，因此需要对每个特征进行标准化处理（如减去均值后除以标准差），使得所有特征具有相同的量级。

  2. 计算协方差矩阵：

    • 协方差矩阵描述了数据集不同特征之间的关系。它的计算公式为：

      Σ=1n−1XTX \Sigma = \frac{1}{n-1} X^T X

      其中 XX 是标准化后的数据矩阵，nn 是样本数量。

  3. 计算协方差矩阵的特征值和特征向量：

    • 特征值和特征向量分别表示数据的方差及其在特征空间中的方向。特征值越大，表示对应的特征向量方向上数据的方差越大。

  4. 选择主成分：

    • 根据特征值的大小，对应的特征向量被称为主成分。通常选择前几个特征值最大的主成分作为新特征空间的基底。选择多少主成分取决于你希望保留的数据方差比例。

  5. 转换数据：

    • 最后，将原始数据投影到选择的主成分上，从而获得降维后的数据。

PCA 的特点和应用

  • 无监督学习：PCA 是一种无监督学习算法，因为它不依赖于任何标签信息，仅基于数据的特征结构进行降维。

  • 解释性：PCA 使得我们能够理解数据的结构，例如哪个主成分在多大程度上解释了数据的变化。

  • 可视化：PCA 常用于高维数据的可视化，通过将数据映射到2D或3D空间，使数据结构更加直观。

示例

假设你有一个数据集，包含 mm 个样本和 nn 个特征。应用 PCA 后，你可能发现前两个主成分解释了数据总方差的80%，因此你可以选择这两个主成分来减少维度，并将数据从 nn 维空间投影到2D空间进行可视化。

使用 Python 进行 PCA

在 Python 中，你可以使用 scikit-learn 库中的 PCA 类来执行主成分分析。以下是一个简单的示例代码：

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
import numpy as np

# 假设 X 是你的数据矩阵，大小为 (m, n)
X = np.array([[...], [...], ...])

# 1. 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 2. 创建 PCA 对象并拟合数据
pca = PCA(n_components=2)  # 保留前两个主成分
X_pca = pca.fit_transform(X_scaled)

# 3. 查看主成分解释的方差比例
explained_variance = pca.explained_variance_ratio_
print(f'Explained variance ratio: {explained_variance}')

优缺点

优点：

  • 能够有效地降低数据维度，减少计算复杂度。
  • 通过最大化方差保留数据的最重要信息。
  • 可以消除特征之间的相关性，生成的主成分是互不相关的。

缺点：

  • PCA 是一种线性方法，对非线性关系无法很好地处理。
  • 主成分可能难以解释，因为它们是原始特征的线性组合。
  • 数据的方差可能集中在一个维度中，从而可能会忽略其他潜在重要的信息。

PCA 是一种强大的工具，适用于各种数据分析场景，尤其是在处理高维数据时。

python实现主成分数据降维

为了实现PCA数据降维，并动态模拟降维过程，你可以使用Python中的scikit-learn和matplotlib库。以下是一个完整的示例代码，它包括了PCA降维的实现以及动态模拟降维过程的可视化。

1. 导入必要的库

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import make_blobs
from mpl_toolkits.mplot3d import Axes3D
import matplotlib.animation as animation

2. 生成示例数据

这里我们生成一个三维的样本数据集，这样可以更直观地看到降维过程。

# 生成样本数据
X, _ = make_blobs(n_samples=100, n_features=3, centers=1, random_state=42)

# 绘制原始3D数据
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.scatter(X[:, 0], X[:, 1], X[:, 2])
ax.set_title('Original 3D Data')
plt.show()

3. 实现PCA并逐步降维

在这个步骤中，我们将逐步计算主成分并可视化数据在降维过程中的变化。

# 标准化数据
X_mean = np.mean(X, axis=0)
X_centered = X - X_mean

# 计算协方差矩阵
cov_matrix = np.cov(X_centered.T)

# 计算协方差矩阵的特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eig(cov_matrix)

# 对特征值排序并选择前两个主成分
sorted_indices = np.argsort(eigenvalues)[::-1]
sorted_eigenvectors = eigenvectors[:, sorted_indices]
pca_components = sorted_eigenvectors[:, :2]

# 动态模拟降维过程
fig, ax = plt.subplots()
ax.set_xlim(-10, 10)
ax.set_ylim(-10, 10)

sc = ax.scatter(X[:, 0], X[:, 1])

def update(frame):
    # 在第 frame 步时，计算投影到第 frame 个主成分的结果
    projected_data = X_centered @ sorted_eigenvectors[:, :frame+1]
    sc.set_offsets(projected_data)
    ax.set_title(f'Dimension: {frame+1}')
    return sc,

ani = animation.FuncAnimation(fig, update, frames=2, repeat=False)
plt.show()

4. 可视化完整的降维过程

最后，将数据投影到前两个主成分上，并可视化最终结果。

# 投影到前两个主成分
X_pca = X_centered @ pca_components

# 可视化最终降维结果
plt.scatter(X_pca[:, 0], X_pca[:, 1])
plt.title('2D Projection using PCA')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.grid(True)
plt.show()

解释代码

  • make_blobs：用于生成具有簇状结构的3D数据集。
  • cov_matrix：计算样本数据的协方差矩阵，反映特征之间的相关性。
  • eigenvalues, eigenvectors：通过特征值分解获得特征值和特征向量，特征向量代表主成分的方向。
  • FuncAnimation：用于动态更新散点图，从而模拟降维的过程。

通过上面的代码，你可以动态地模拟PCA降维的过程，并看到数据从3D逐步被投影到2D空间中的变化。

scikit-learn数据降维

Jianghu`s Blog. Power by Vuepress.
Copyright © 2024 Jianghu