多层感知机
激活函数的作用是将非线性引入神经元的输出。bais的作用是为每一个节点挺可训练的常量值。
前馈神经网络
- 输入节点：输入层，不进行任何计算，仅向隐藏节点传递信息
- 隐藏节点：隐含层，这些节点进行计算，并将信息从输入几点传递到输出节点，可以没有也可以有多个隐藏层
- 输出节点：输出层
在前馈网络中，信息只单向移动。
感知机
- 单层感知机：只能学习线性函数
- 多层感知机：可以学习非线性函数
反向传播算法
简单说，就是从错误中学习。最初，所有的边权重都是随机分配的，对于所有训练数据集的输入，人工神经网络都被激活，并且观察期输出。这些输出会和我们一致的、期望的输出进行比较，误差会传播到上一层。该误差会被标注，权重也会被相应的吊证。该流程重复，直到输出误差低于指定的标准。
在分类任务中，我们通常在感知器的输出才能好总使用softmax函数作为激活函数，以保证输出的是概率并且相加等于1.
- 向前传播：将训练样本作为输入，计算出输出层两个输出的概率值
- 反向传播和权重更新：计算出节点的总误差，并将这些误差用反向传播算法传播回网络中，以计算梯度。接下来使用类似梯度下降的算法来调整网络中的所有权重，目的是减少输出层的误差。