# -*- coding: utf-8 -*- # --- # jupyter: # jupytext_format_version: '1.2' # kernelspec: # display_name: Python 3 # language: python # name: python3 # language_info: # codemirror_mode: # name: ipython # version: 3 # file_extension: .py # mimetype: text/x-python # name: python # nbconvert_exporter: python # pygments_lexer: ipython3 # version: 3.5.2 # --- # # Softmax & 交叉熵代价函数 # # softmax经常被添加在分类任务的神经网络中的输出层,神经网络的反向传播中关键的步骤就是求导,从这个过程也可以更深刻地理解反向传播的过程,还可以对梯度传播的问题有更多的思考。 # # ## softmax 函数 # # softmax(柔性最大值)函数,一般在神经网络中, softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率,比如我有一个分类任务,要分为三个类,softmax函数可以根据它们相对的大小,输出三个类别选取的概率,并且概率和为1。 # # softmax函数的公式是这种形式: # # $$ # S_i = \frac{e^{z_i}}{\sum_k e^{z_k}} # $$ # # * $S_i$是经过softmax的类别概率输出 # * $z_k$是神经元的输出 # # # 更形象的如下图表示: # # ![softmax_demo](images/softmax_demo.png) # # softmax直白来说就是将原来输出是$[3,1,-3]$通过softmax函数一作用,就映射成为(0,1)的值,而这些值的累和为1(满足概率的性质),那么我们就可以将它理解成概率,在最后选取输出结点的时候,我们就可以选取概率最大(也就是值对应最大的)结点,作为我们的预测目标! # # # # 首先是神经元的输出,一个神经元如下图: # # ![softmax_neuron](images/softmax_neuron.png) # # 神经元的输出设为: # # $$ # z_i = \sum_{j} w_{ij} x_{j} + b # $$ # # 其中$W_{ij}$是第$i$个神经元的第$j$个权重,$b$是偏置。$z_i$表示该网络的第$i$个输出。 # # 给这个输出加上一个softmax函数,那就变成了这样: # # $$ # a_i = \frac{e^{z_i}}{\sum_k e^{z_k}} # $$ # # $a_i$代表softmax的第$i$个输出值,右侧套用了softmax函数。 # # # ### 损失函数 loss function # # 在神经网络反向传播中,要求一个损失函数,这个损失函数其实表示的是真实值与网络的估计值的误差,知道误差了,才能知道怎样去修改网络中的权重。 # # 损失函数可以有很多形式,这里用的是交叉熵函数,主要是由于这个求导结果比较简单,易于计算,并且交叉熵解决某些损失函数学习缓慢的问题。**[交叉熵函数](https://blog.csdn.net/u014313009/article/details/51043064)**是这样的: # # $$ # C = - \sum_i y_i ln a_i # $$ # # 其中$y_i$表示真实的分类结果。 # # # ## 推导过程 # # 首先,我们要明确一下我们要求什么,我们要求的是我们的$loss$对于神经元输出($z_i$)的梯度,即: # # $$ # \frac{\partial C}{\partial z_i} # $$ # # 根据复合函数求导法则: # # $$ # \frac{\partial C}{\partial z_i} = \frac{\partial C}{\partial a_j} \frac{\partial a_j}{\partial z_i} # $$ # # 有个人可能有疑问了,这里为什么是$a_j$而不是$a_i$,这里要看一下$softmax$的公式了,因为$softmax$公式的特性,它的分母包含了所有神经元的输出,所以,对于不等于i的其他输出里面,也包含着$z_i$,所有的$a$都要纳入到计算范围中,并且后面的计算可以看到需要分为$i = j$和$i \ne j$两种情况求导。 # # ### 针对$a_j$的偏导 # # $$ # \frac{\partial C}{\partial a_j} = \frac{(\partial -\sum_j y_j ln a_j)}{\partial a_j} = -\sum_j y_j \frac{1}{a_j} # $$ # # ### 针对$z_i$的偏导 # # 如果 $i=j$ : # # \begin{eqnarray} # \frac{\partial a_i}{\partial z_i} & = & \frac{\partial (\frac{e^{z_i}}{\sum_k e^{z_k}})}{\partial z_i} \\ # & = & \frac{\sum_k e^{z_k} e^{z_i} - (e^{z_i})^2}{\sum_k (e^{z_k})^2} \\ # & = & (\frac{e^{z_i}}{\sum_k e^{z_k}} ) (1 - \frac{e^{z_i}}{\sum_k e^{z_k}} ) \\ # & = & a_i (1 - a_i) # \end{eqnarray} # # 如果 $i \ne j$: # \begin{eqnarray} # \frac{\partial a_j}{\partial z_i} & = & \frac{\partial (\frac{e^{z_j}}{\sum_k e^{z_k}})}{\partial z_i} \\ # & = & \frac{0 \cdot \sum_k e^{z_k} - e^{z_j} \cdot e^{z_i} }{(\sum_k e^{z_k})^2} \\ # & = & - \frac{e^{z_j}}{\sum_k e^{z_k}} \cdot \frac{e^{z_i}}{\sum_k e^{z_k}} \\ # & = & -a_j a_i # \end{eqnarray} # # 当u,v都是变量的函数时的导数推导公式: # $$ # (\frac{u}{v})' = \frac{u'v - uv'}{v^2} # $$ # # ### 整体的推导 # # \begin{eqnarray} # \frac{\partial C}{\partial z_i} & = & (-\sum_j y_j \frac{1}{a_j} ) \frac{\partial a_j}{\partial z_i} \\ # & = & - \frac{y_i}{a_i} a_i ( 1 - a_i) + \sum_{j \ne i} \frac{y_j}{a_j} a_i a_j \\ # & = & -y_i + y_i a_i + \sum_{j \ne i} y_j a_i \\ # & = & -y_i + a_i \sum_{j} y_j # \end{eqnarray} # ## 问题 # 如何将本节所讲的softmax,交叉熵代价函数应用到上节所讲的方法中? # ## References # # * Softmax & 交叉熵 # * [交叉熵代价函数(作用及公式推导)](https://blog.csdn.net/u014313009/article/details/51043064) # * [手打例子一步一步带你看懂softmax函数以及相关求导过程](https://www.jianshu.com/p/ffa51250ba2e) # * [简单易懂的softmax交叉熵损失函数求导](https://www.jianshu.com/p/c02a1fbffad6)