交叉熵的计算公式：相对熵的计算公式：可以发现两者在计算方式上类似，但表示的含义却不同：交叉熵表示了用非真实分布对真实分布进行编码所需的平均码长；相对熵则是用真实分布进行编码所需的平均编码长度和交叉熵之间的差值。可以看出在形式上同交叉熵的计算公式基本类似。为什么交叉熵cross-entropy可以用于计算代价？交叉熵在机器学习中时一种的衡量损失的函数，即衡量预测值和目标值之间的差距，常常作为分类问题最小化的指标。那么为什么这里会用交叉熵呢？这里先从机器学习是如何发挥作用的说起。我们都知道机器学习是通过数据来...
更新时间：2022-04-02标签： JS散度Wasserstein交叉距离 全文阅读