多层感知机
激活函数的作用是将非线性引入神经元的输出。bais的作用是为每一个节点挺可训练的常量值。
前馈神经网络
- 输入节点:输入层,不进行任何计算,仅向隐藏节点传递信息
- 隐藏节点:隐含层,这些节点进行计算,并将信息从输入几点传递到输出节点,可以没有也可以有多个隐藏层
- 输出节点:输出层
在前馈网络中,信息只单向移动。
感知机
- 单层感知机:只能学习线性函数
- 多层感知机:可以学习非线性函数
反向传播算法
简单说,就是从错误中学习。最初,所有的边权重都是随机分配的,对于所有训练数据集的输入,人工神经网络都被激活,并且观察期输出。这些输出会和我们一致的、期望的输出进行比较,误差会传播到上一层。该误差会被标注,权重也会被相应的吊证。该流程重复,直到输出误差低于指定的标准。
在分类任务中,我们通常在感知器的输出才能好总使用softmax函数作为激活函数,以保证输出的是概率并且相加等于1.
- 向前传播:将训练样本作为输入,计算出输出层两个输出的概率值
- 反向传播和权重更新:计算出节点的总误差,并将这些误差用反向传播算法传播回网络中,以计算梯度。接下来使用类似梯度下降的算法来调整网络中的所有权重,目的是减少输出层的误差。