Sigmiod and Softmax
设计模型执行分类任务（如对胸部X光检查到的疾病或手写数字进行分类）时，有时需要同时选择多个答案（如同时选择肺炎和脓肿），有时只能选择一个答案（如数字“8”）。本文将讨论如何应用Sigmoid函数或Softmax函数处理分类器的原始输出值。
Sigmoid:
Sigmoid =多标签分类问题=多个正确答案=非独占输出（例如胸部X光检查、住院）
构建分类器，解决有多个正确答案的问题时，用Sigmoid函数分别处理各个原始输出值。
Sigmoid函数如下所示（注意e）：
原始输出值为[-0.5,1.2，-0.1,2.4]，则$z_1$ = -0.5，$z_2$ = 1.2，$z_3$ = -0.1，$z_4$ = 2.4。
$z_1,z_2,z_3$的计算同上。
由于Sigmoid函数分别应用于每个原始输出值，因此可能出现的输出情况包括：所有类别概率都很低（如“此胸部X光检查没有异常”），一种类别的概率很高但是其他类别的概率很低（如“胸部X光检查仅发现肺炎”），多个或所有类别的概率都很高（如“胸部X光检查发现肺炎和脓肿”）。
下图为Sigmoid函数曲线:
Softmax:
Softmax =多类别分类问题=只有一个正确答案=互斥输出（例如手写数字，鸢尾花）
构建分类器，解决只有唯一正确答案的问题时，用Softmax函数处理各个原始输出值。
Softmax函数的分母综合了原始输出值的所有因素，这意味着，Softmax函数得到的不同概率之间相互关联。
Softmax函数表述如下：
应用图示：
