别光看理论了用Python手写一个感知机5分钟搞懂它的‘学习’过程在人工智能的入门旅程中感知机Perceptron就像是一把打开神经网络大门的钥匙。许多教材会告诉你它的数学原理但真正理解它如何学习莫过于亲手实现一个。今天我们不谈复杂的公式推导而是用Python从零开始构建一个感知机通过代码和可视化让你亲眼见证权重如何自动调整、模型如何从错误中学习。我们将使用NumPy库实现核心逻辑并在经典的与/或门数据集上进行训练。过程中你会看到权重向量如何随着每次错误预测而更新学习率如何影响收敛速度决策边界如何逐步移动到正确位置1. 环境准备与基础概念在开始编码前确保你的Python环境已安装以下库pip install numpy matplotlib感知机的核心是一个线性分类器它的决策规则非常简单def predict(inputs, weights): summation np.dot(inputs, weights[1:]) weights[0] # 计算加权和 return 1 if summation 0 else 0 # 阶跃函数激活这里有几个关键组件权重weights包括偏置项weights[0]和特征权重weights[1:]激活函数使用最简单的阶跃函数step function学习规则当预测错误时按以下方式更新权重weights[1:] learning_rate * (label - prediction) * inputs weights[0] learning_rate * (label - prediction)2. 实现感知机训练过程让我们用Python类封装整个感知机import numpy as np class Perceptron: def __init__(self, learning_rate0.01, n_iters100): self.lr learning_rate self.n_iters n_iters self.weights None self.bias None self.errors_history [] # 记录每次迭代的错误数 def fit(self, X, y): n_samples, n_features X.shape # 初始化权重包含偏置项 self.weights np.zeros(n_features) self.bias 0 for _ in range(self.n_iters): errors 0 for idx, x_i in enumerate(X): linear_output np.dot(x_i, self.weights) self.bias y_predicted self._activation(linear_output) # 权重更新 update self.lr * (y[idx] - y_predicted) self.weights update * x_i self.bias update errors int(update ! 0.0) self.errors_history.append(errors) if errors 0: # 提前终止 break def predict(self, X): linear_output np.dot(X, self.weights) self.bias return self._activation(linear_output) def _activation(self, x): return np.where(x 0, 1, 0)这个实现包含了感知机的所有核心要素fit()方法实现了训练过程每次迭代记录错误数量可用于可视化学习进度支持提前终止当错误数为0时3. 在逻辑门数据集上测试让我们用经典的AND门和OR门数据测试我们的实现# AND门数据集 X_and np.array([[0,0], [0,1], [1,0], [1,1]]) y_and np.array([0, 0, 0, 1]) # OR门数据集 X_or np.array([[0,0], [0,1], [1,0], [1,1]]) y_or np.array([0, 1, 1, 1]) # 训练AND门分类器 p_and Perceptron(learning_rate0.1, n_iters10) p_and.fit(X_and, y_and) # 训练OR门分类器 p_or Perceptron(learning_rate0.1, n_iters10) p_or.fit(X_or, y_or)训练完成后我们可以检查模型的预测能力print(AND门测试:) for x, y in zip(X_and, y_and): print(f输入: {x}, 预测: {p_and.predict(x)}, 真实: {y}) print(\nOR门测试:) for x, y in zip(X_or, y_or): print(f输入: {x}, 预测: {p_or.predict(x)}, 真实: {y})4. 可视化学习过程理解感知机如何学习的最好方式就是观察权重变化和决策边界的移动。我们可以用Matplotlib实现这一可视化import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap def plot_decision_regions(X, y, classifier, title): # 设置网格范围 x1_min, x1_max X[:, 0].min() - 0.5, X[:, 0].max() 0.5 x2_min, x2_max X[:, 1].min() - 0.5, X[:, 1].max() 0.5 # 生成网格点 xx1, xx2 np.meshgrid(np.arange(x1_min, x1_max, 0.02), np.arange(x2_min, x2_max, 0.02)) # 预测每个网格点 Z classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T) Z Z.reshape(xx1.shape) # 绘制决策区域 plt.contourf(xx1, xx2, Z, alpha0.4, cmapListedColormap((#FFAAAA, #AAAAFF))) plt.scatter(X[:, 0], X[:, 1], cy, cmapListedColormap((#FF0000, #0000FF))) plt.xlabel(Input 1) plt.ylabel(Input 2) plt.title(title) plt.show() # 绘制AND门的决策边界 plot_decision_regions(X_and, y_and, p_and, AND门决策区域) # 绘制OR门的决策边界 plot_decision_regions(X_or, y_or, p_or, OR门决策区域)通过可视化你可以清晰地看到决策边界一条直线如何逐步调整位置最终边界如何完美分离两类数据点对于AND门只有当两个输入都为1时才输出1对于OR门只要有一个输入为1就输出15. 调试技巧与常见问题在实际实现中你可能会遇到以下问题及解决方案问题1模型无法收敛可能原因学习率设置不当解决方案尝试不同的学习率通常0.01-0.1# 尝试不同学习率 learning_rates [0.001, 0.01, 0.1, 0.5] for lr in learning_rates: p Perceptron(learning_ratelr) p.fit(X, y) print(f学习率 {lr}: 最终错误数 {p.errors_history[-1]})问题2权重震荡可能原因学习率太大导致权重在最优值附近来回跳动解决方案实现学习率衰减# 在fit方法中添加学习率衰减 current_lr self.lr * (1. / (1. 0.01 * iteration))问题3特征尺度不一致可能原因不同特征的值范围差异很大解决方案标准化特征from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X)6. 扩展到多类别分类虽然标准感知机是二分类器但我们可以通过一对多策略实现多类别分类class MulticlassPerceptron: def __init__(self, n_classes, learning_rate0.01, n_iters100): self.classifiers [Perceptron(learning_rate, n_iters) for _ in range(n_classes)] def fit(self, X, y): for i, clf in enumerate(self.classifiers): # 将当前类标记为1其他类标记为0 binary_y np.where(y i, 1, 0) clf.fit(X, binary_y) def predict(self, X): # 收集所有分类器的预测分数 scores np.array([clf.predict(X) for clf in self.classifiers]) return np.argmax(scores, axis0)使用示例# 创建一个简单的三类别数据集 X_multi np.array([[1,1], [1,2], [2,1], [5,5], [5,6], [6,5], [10,1], [10,2], [11,1]]) y_multi np.array([0,0,0,1,1,1,2,2,2]) mp MulticlassPerceptron(n_classes3) mp.fit(X_multi, y_multi) # 测试预测 test_points np.array([[1.5,1.5], [5.5,5.5], [10.5,1.5]]) print(多类别预测:, mp.predict(test_points))7. 感知机的局限性与发展通过实践我们已经验证了感知机可以完美解决AND、OR等线性可分问题。但它有一个著名的局限性——无法解决异或XOR问题# XOR数据集 X_xor np.array([[0,0], [0,1], [1,0], [1,1]]) y_xor np.array([0, 1, 1, 0]) p_xor Perceptron(learning_rate0.1, n_iters100) p_xor.fit(X_xor, y_xor) print(\nXOR测试:) for x, y in zip(X_xor, y_xor): print(f输入: {x}, 预测: {p_xor.predict(x)}, 真实: {y})你会发现无论训练多少次感知机都无法正确分类XOR问题。这引出了神经网络发展的关键一步——多层感知机MLP通过引入隐藏层和非线性激活函数神经网络获得了解决非线性问题的能力。
别光看理论了！用Python手写一个感知机，5分钟搞懂它的‘学习’过程
别光看理论了用Python手写一个感知机5分钟搞懂它的‘学习’过程在人工智能的入门旅程中感知机Perceptron就像是一把打开神经网络大门的钥匙。许多教材会告诉你它的数学原理但真正理解它如何学习莫过于亲手实现一个。今天我们不谈复杂的公式推导而是用Python从零开始构建一个感知机通过代码和可视化让你亲眼见证权重如何自动调整、模型如何从错误中学习。我们将使用NumPy库实现核心逻辑并在经典的与/或门数据集上进行训练。过程中你会看到权重向量如何随着每次错误预测而更新学习率如何影响收敛速度决策边界如何逐步移动到正确位置1. 环境准备与基础概念在开始编码前确保你的Python环境已安装以下库pip install numpy matplotlib感知机的核心是一个线性分类器它的决策规则非常简单def predict(inputs, weights): summation np.dot(inputs, weights[1:]) weights[0] # 计算加权和 return 1 if summation 0 else 0 # 阶跃函数激活这里有几个关键组件权重weights包括偏置项weights[0]和特征权重weights[1:]激活函数使用最简单的阶跃函数step function学习规则当预测错误时按以下方式更新权重weights[1:] learning_rate * (label - prediction) * inputs weights[0] learning_rate * (label - prediction)2. 实现感知机训练过程让我们用Python类封装整个感知机import numpy as np class Perceptron: def __init__(self, learning_rate0.01, n_iters100): self.lr learning_rate self.n_iters n_iters self.weights None self.bias None self.errors_history [] # 记录每次迭代的错误数 def fit(self, X, y): n_samples, n_features X.shape # 初始化权重包含偏置项 self.weights np.zeros(n_features) self.bias 0 for _ in range(self.n_iters): errors 0 for idx, x_i in enumerate(X): linear_output np.dot(x_i, self.weights) self.bias y_predicted self._activation(linear_output) # 权重更新 update self.lr * (y[idx] - y_predicted) self.weights update * x_i self.bias update errors int(update ! 0.0) self.errors_history.append(errors) if errors 0: # 提前终止 break def predict(self, X): linear_output np.dot(X, self.weights) self.bias return self._activation(linear_output) def _activation(self, x): return np.where(x 0, 1, 0)这个实现包含了感知机的所有核心要素fit()方法实现了训练过程每次迭代记录错误数量可用于可视化学习进度支持提前终止当错误数为0时3. 在逻辑门数据集上测试让我们用经典的AND门和OR门数据测试我们的实现# AND门数据集 X_and np.array([[0,0], [0,1], [1,0], [1,1]]) y_and np.array([0, 0, 0, 1]) # OR门数据集 X_or np.array([[0,0], [0,1], [1,0], [1,1]]) y_or np.array([0, 1, 1, 1]) # 训练AND门分类器 p_and Perceptron(learning_rate0.1, n_iters10) p_and.fit(X_and, y_and) # 训练OR门分类器 p_or Perceptron(learning_rate0.1, n_iters10) p_or.fit(X_or, y_or)训练完成后我们可以检查模型的预测能力print(AND门测试:) for x, y in zip(X_and, y_and): print(f输入: {x}, 预测: {p_and.predict(x)}, 真实: {y}) print(\nOR门测试:) for x, y in zip(X_or, y_or): print(f输入: {x}, 预测: {p_or.predict(x)}, 真实: {y})4. 可视化学习过程理解感知机如何学习的最好方式就是观察权重变化和决策边界的移动。我们可以用Matplotlib实现这一可视化import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap def plot_decision_regions(X, y, classifier, title): # 设置网格范围 x1_min, x1_max X[:, 0].min() - 0.5, X[:, 0].max() 0.5 x2_min, x2_max X[:, 1].min() - 0.5, X[:, 1].max() 0.5 # 生成网格点 xx1, xx2 np.meshgrid(np.arange(x1_min, x1_max, 0.02), np.arange(x2_min, x2_max, 0.02)) # 预测每个网格点 Z classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T) Z Z.reshape(xx1.shape) # 绘制决策区域 plt.contourf(xx1, xx2, Z, alpha0.4, cmapListedColormap((#FFAAAA, #AAAAFF))) plt.scatter(X[:, 0], X[:, 1], cy, cmapListedColormap((#FF0000, #0000FF))) plt.xlabel(Input 1) plt.ylabel(Input 2) plt.title(title) plt.show() # 绘制AND门的决策边界 plot_decision_regions(X_and, y_and, p_and, AND门决策区域) # 绘制OR门的决策边界 plot_decision_regions(X_or, y_or, p_or, OR门决策区域)通过可视化你可以清晰地看到决策边界一条直线如何逐步调整位置最终边界如何完美分离两类数据点对于AND门只有当两个输入都为1时才输出1对于OR门只要有一个输入为1就输出15. 调试技巧与常见问题在实际实现中你可能会遇到以下问题及解决方案问题1模型无法收敛可能原因学习率设置不当解决方案尝试不同的学习率通常0.01-0.1# 尝试不同学习率 learning_rates [0.001, 0.01, 0.1, 0.5] for lr in learning_rates: p Perceptron(learning_ratelr) p.fit(X, y) print(f学习率 {lr}: 最终错误数 {p.errors_history[-1]})问题2权重震荡可能原因学习率太大导致权重在最优值附近来回跳动解决方案实现学习率衰减# 在fit方法中添加学习率衰减 current_lr self.lr * (1. / (1. 0.01 * iteration))问题3特征尺度不一致可能原因不同特征的值范围差异很大解决方案标准化特征from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X)6. 扩展到多类别分类虽然标准感知机是二分类器但我们可以通过一对多策略实现多类别分类class MulticlassPerceptron: def __init__(self, n_classes, learning_rate0.01, n_iters100): self.classifiers [Perceptron(learning_rate, n_iters) for _ in range(n_classes)] def fit(self, X, y): for i, clf in enumerate(self.classifiers): # 将当前类标记为1其他类标记为0 binary_y np.where(y i, 1, 0) clf.fit(X, binary_y) def predict(self, X): # 收集所有分类器的预测分数 scores np.array([clf.predict(X) for clf in self.classifiers]) return np.argmax(scores, axis0)使用示例# 创建一个简单的三类别数据集 X_multi np.array([[1,1], [1,2], [2,1], [5,5], [5,6], [6,5], [10,1], [10,2], [11,1]]) y_multi np.array([0,0,0,1,1,1,2,2,2]) mp MulticlassPerceptron(n_classes3) mp.fit(X_multi, y_multi) # 测试预测 test_points np.array([[1.5,1.5], [5.5,5.5], [10.5,1.5]]) print(多类别预测:, mp.predict(test_points))7. 感知机的局限性与发展通过实践我们已经验证了感知机可以完美解决AND、OR等线性可分问题。但它有一个著名的局限性——无法解决异或XOR问题# XOR数据集 X_xor np.array([[0,0], [0,1], [1,0], [1,1]]) y_xor np.array([0, 1, 1, 0]) p_xor Perceptron(learning_rate0.1, n_iters100) p_xor.fit(X_xor, y_xor) print(\nXOR测试:) for x, y in zip(X_xor, y_xor): print(f输入: {x}, 预测: {p_xor.predict(x)}, 真实: {y})你会发现无论训练多少次感知机都无法正确分类XOR问题。这引出了神经网络发展的关键一步——多层感知机MLP通过引入隐藏层和非线性激活函数神经网络获得了解决非线性问题的能力。
