https://xuquant.com/tags/cross-entropy/Recent content in Cross-Entropy on Xu'Bloghttps://xuquant.com/og-default.pnghttps://xuquant.com/og-default.pngHugo -- 0.152.2zhThu, 28 May 2026 08:00:00 +0800https://xuquant.com/posts/mathematics/probability/kl-divergence-four-views/Thu, 28 May 2026 08:00:00 +0800https://xuquant.com/posts/mathematics/probability/kl-divergence-four-views/KL 散度在 ML 里到处出现——cross-entropy / ELBO / Information Bottleneck / RLHF / SAC——但它的'为什么是这一坨'容易卡在公式层面。本文从 coding length、似然比、信息几何（Bregman）、mode-seeking vs mass-covering 四个互补视角拆 KL，每个视角解释它的一个性质。最后把这四个视角挂回 cross-entropy / ELBO / IB / SAC / RLHF 几个具体应用，看每个用了哪个视角的语言。https://xuquant.com/posts/mathematics/probability/entropy-and-information/Mon, 25 May 2026 20:00:00 +0800https://xuquant.com/posts/mathematics/probability/entropy-and-information/从公理化角度推出 -log p 的必然性，依次过熵、互信息、KL 散度、最大熵原理，再回到深度学习里反复出现的几种形态——交叉熵损失、ELBO、信息瓶颈、最大熵强化学习。