Perceptron算法及其在Python中的实现

Perceptron算法是一种分类机器学习算法,用于将给定数据分为两部分进行线性分类。它可以是2D中的线或3D中的平面。它最早是在1950年代引入的,从那以后它是最受欢迎的二进制分类算法之一。从数学上讲,这是最简单的算法,并且在深度学习中也有应用。

感知器算法1

该图显示数据可以按行分为两类。因此,这是可用于分类的线性可分离感知器算法。在机器学习语言中,这条线称为决策边界。定义为:f(θ.x+ θ0)= 0

该算法基于此决策边界,因为它将平面分为两个区域,从而:

F(θ⋅X +θ₀)> 0,对于阳性标记数据和
F(θ⋅X +θ₀)<0 ,为负标记的数据点。

如果给定的数据集是线性可分离的,则必须存在一个线性分类器,使得y⁽ⁱ(θ⋅x⁽ⁱ+θ₀)> 0满足所有数据点x (i),其中y⁽ⁱ是标签。

感知器算法2

图2显示了数据不可线性分离并且不存在线性分类器θ.x+ θ0 = 0使得y (i)(θ⋅x (i) +θ₀)> 0满足所有数据点的情况x (i),其中y (i) 是标签。Perceptron算法只能用于二进制分类,这是最简单的算法。

注意:如果该分类器通过原点,即,没有偏移,则该值θ 0 = 0
f(θ.x)= 0

算法:

Initialization