监督式学习

指目标给定标签来进行分类等例如聚类，分类问题等

无监督式学习

指目标没有指定的标签，通过已有样本的特点来进行预测拟合，如回归分析

构成

  1. 代价函数(一般为平方差等，表示拟合量与实际值的偏差)通过寻找代价函数与目标函数参数关系寻找到最小值来进行回归。

  2. 梯度下降法，通过遍历寻找在当前点梯度最大方向进行遍历，类似于贪心的思想，来降低代价函数值寻找局部最小值(注意，这里并不是全局的最小值)，越大的学习系数每一步的步长越长，需要注意的是每次要做到每个系数的同步跟新。
    通过画出代价函数变化函数来确定是否收敛，一般在学习速率够小时，代价函数都会随着迭代而减小，但过小会导致收敛速度慢的问题

  3. 反向传播：包含两个阶段，激励传播与权重更新

    • 激励传播：包含两步，第一步前向传播阶段，将输入送入网络获得激励响应；第二部，求出代价函数，一般为方差获得输出层和隐藏层的误差
    • 权重更新：根据代价函数对于不同权重敏感程度以及各个激活值距离正确值的大小来决定，例如在有两个神经元一个激活值为0.2其期望值是1，一个是0.3其期望值是0，那么需要优先调整距离期望较大的神经元