https://xuquant.com/tags/information-geometry/Recent content in Information-Geometry on Xu'Bloghttps://xuquant.com/og-default.pnghttps://xuquant.com/og-default.pngHugo -- 0.152.2zhThu, 28 May 2026 08:00:00 +0800https://xuquant.com/posts/mathematics/probability/kl-divergence-four-views/Thu, 28 May 2026 08:00:00 +0800https://xuquant.com/posts/mathematics/probability/kl-divergence-four-views/KL 散度在 ML 里到处出现——cross-entropy / ELBO / Information Bottleneck / RLHF / SAC——但它的'为什么是这一坨'容易卡在公式层面。本文从 coding length、似然比、信息几何（Bregman）、mode-seeking vs mass-covering 四个互补视角拆 KL，每个视角解释它的一个性质。最后把这四个视角挂回 cross-entropy / ELBO / IB / SAC / RLHF 几个具体应用，看每个用了哪个视角的语言。