常⽤的神经⽹络损失函数这⾥介绍较为常见的两种损失函数，分别是平⽅损失函数和交叉熵损失函数
1、平⽅损失函数
⼀、对输出层w的修正
假若神经⽹络的前向传播过程如下所⽰：
正则化损失函数
C表⽰为损失函数，那么以如下图形为例
根据反向传播链式法则过程，可以得到（y_=out1）:
统⼀将上式中的sigmoid函数进⾏替换，那么上式可以简化的表⽰为如下：
以上的激活函数是以sigmoid为例，其中y为实际的⽬标值，y_为经过模型计算的⽬标值；
那么对w1的修正为：w1=w1-δ1x1
⼆、对隐藏层w的修正
隐藏层的神经⽹络图表⽰如下：
那么对w5的修正可以表⽰为如下：
正如输出层中将
进⾏表⽰，那么上式也同样能简化的表⽰为如下：
笔者再次以如下图形，往后类推w9的修正：
通过⽐较上⾯3个不同情况下的权重修正结果（输出层、隐藏层、隐藏层），那么则可以发现反向传播的基本规律，通过循环即可获取各个参数修正。
2、交叉熵损失函数

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。