你想要的机器学习课程笔记在这：主要讨论监督学习和无监督学习

　　机器学习定义：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E(一个程序从经验E中学习解决任务T进行某一任务量度P，通过P测量在T的表现而提高经验E(另一种定义：机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。)

　　不同类型的机器学习算法：主要讨论监督学习和无监督学习

　　监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的 过程，也称为监督训练或有教师学习。(样本有明确的标签和定义，数据间有明确的逻辑关系。通过已有的数据来预测未知的数据。)，主要涉及回归问题和分类问题。

　　无监督学习：根据没有标记的数据样本识别各种问题。典型例子是聚类算法。

　　1.线性回归问题

　　设计一个函数，使它尽量满足我们所给出的数据(训练集，可能有很多个特征，这里简化假设只有一个特征也就是只有一个变量x，我们假设给出m组数据*)，并可以对数据做出可信的预测。

　　如果我们的假设函数设为

　　hθ(x)=θ0+θ1x，此处的θ为模型参数，选择不同的θ0和θ1能够得到不同的函数图像。现在如何得到最能够拟合数据的一组θ0和θ1呢?

　　这个“最能拟合数据”可以理解为对每一个x，其预测值与真实值，也即

　　|hθ(xi)-yi| 最小，我们引入一个代价函数 J(θ0，θ1)：

　　J(θ0，θ1)=1/2m∑(hθ(xi)-yi)^2

　　可以看出，我们的目的就是找出最适合的θ0和θ1，使代价函数J(θ0，θ1)的值最小。

　　要找出这个最小值，我们可以采用一种梯度下降的方法，在此之前，先得更深层次地理解代价函数。

　　我们先忽视θ0，那么代价函数是关于θ1的函数，要找出其最小值，通过图像可以看到：

　　θ1取中间那一点就是我们所求值。我们可以从其他的点不断”逼近“最低点，具体操作为：

　　不断更新θ1：

　　θ1：=θ1-α/θ1*J(θ1)

　　后面那一项是J在θ1这一点的偏导数。可以理解为将θ1向其斜率方向偏移一点点，由于J(θ1)不断减小，偏移量也不断减小。这样随着不断更新，我们可以得到最终结果。

　　现在如果我们在引入θ0，那么代价函数是关于两个变量的函数，所成的图像是一个曲面，同样要找到”最低点“，应对两变量同时进行上面的更新。

　　同样的，如果特征量非常多，J是有关n个变量的函数，同样沿用上面的方法。

　　梯度下降的几个注意点：

　　更新式子的α可以理解为下降的”“步幅”，但α过小会导致回归速度很慢，需要更新多次。而α过大会导致无法达到最低点，在更新一次后可能越过最低点。

　　α(称为学习率)的选取可以观察(更新次数)~J的图像。

　　蓝色的曲线表示所取的α较合适，下面的绿色表示α过小，上面的绿色表示α过大。

　　对于θ的更新，式子可以展开简化为

　　*θi=θi-1/m∑(hθ(xi)-yi)xi

　　(i=0，1，2，3···n)其中x0=1;

　　特征缩放。对于有多个特征的数据，如果各个特征的范围比较接近，梯度下降法可以更快的收敛。

　　执行时更一般地将特征约束到-1到1之间。可以用这个式子：

　　xi=(xi-μi)/si其中μ为特征x的平均值，s为特征x的范围。

　　正则化问题。实际问题中一个结果可能和多个特征有关，如果特征过多，而训练数据较少，为了强行满足所有的数据，会出现“过拟合”现象：

　　解决方法是尽量去掉不必要的特征量，或者进行正则化，将所有特征量减小(一般不包括x0)。

　　J(θ)=1/2m[∑(hθ(x)-y)2+λ∑θ 2](后面加的称为惩罚项)要让这个式子尽量小，那么θ就要尽量小，以此达到减小θ的目的。

　　将这个修改后的代价函数带入更新式。

　　θ=θ(1-αλ/m)-a/m∑(h(x)-y)x

　　这会使曲线相对平滑。正则化参数要设的大一点，但如果太大的话所有θ相当于不存在，曲线就会成一条水平直线。

　2,分类问题

　　在分类问题中，我们简化模型为只有两个分类0和1.但数据的范围远在0至1之外，所以我们可以用logistic函数做处理：

　　h(x)=1/(1+e-fθ(x))

　　z为0时g(z)取0.5，g(z)在0到1之间

　　这样就可以将正负改为与0.5的大小区别，实际上h(x)=P(y=1|x;θ)

　　即得到的结果可以代表y为1的概率

　　这样当h(x)>0.5时我们可以认为对应的xi分类为使y为1，h(x)<0.5认为对应的xi使y为0。

　　如图的h(x)将数据分为两部分，这条线叫做决策边界。在线内外的数据位置分别对应着与零的大小，概率表现在h(x)上。当然决策边界可以是不同形式的函数。