损失函数

损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。

神经网络中损失函数后一般会加一个额外的正则项L1或L2,也成为L1范数和L2范数。正则项可以看做是损失函数的惩罚项，用来对损失函数中的系数做一些限制。

在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？本文我们就对DNN损失函数和激活函数的选择做一个总结。

GAN网络中存在两个不同的网络，训练方式采用的是对抗训练方式，其中G的梯度更新信息来自于判别器D，而不是来自数据样本。GAN不适合处理离散形式的数据，比如文本。

机器学习中的所有算法都依赖于函数的最小化或最大化，我们称之为“目标函数”。一组最小化的函数称为“损失函数”。损失函数是衡量预测模型在预测预期结果方面做得有多好。求函数最小值的一种常用方法是“梯度下降法”。把损失函数想象成起伏的山，而梯度下降就像从山上滑下来到达最低点。

稳定可控的神经网络纹理合成和采用直方图损失函数的风格转移
Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses

摘要

最近，出现了用卷积神经网络做纹理合成和风格转移的方法。这些方法令人激动，它们可以生成最新最好的质量。然而，我们发现这些方法在纹理质量，稳定性，参数调整，无需用户控制上面都有一些限制。本文提供了卷积神经网络的多尺度合成方法可以改善这些问题。我们对之前很多方法的不稳定的来源做了数学解释。我们使用直方图损失函数合成纹理改善这些不稳定性，更好地统计概率上匹配这些实例。我们还展示了如何在我们的多尺度框架中整合定位后的风格损失。这些损失函数可改善大特征的质量，增强内容和风格的分离，提供了艺术性控制，比如绘画。我们还展示了我们的方法对质量进行改进，在很少迭代中收敛，优化过程中更稳定。