https://xuquant.com/tags/svd/Recent content in SVD on Xu'Bloghttps://xuquant.com/og-default.pnghttps://xuquant.com/og-default.pngHugo -- 0.152.2zhSat, 11 Apr 2026 09:00:00 +0800https://xuquant.com/posts/mathematics/position-encoding/mla-from-rope/Sat, 11 Apr 2026 09:00:00 +0800https://xuquant.com/posts/mathematics/position-encoding/mla-from-rope/RoPE 与低秩压缩的不兼容性是 MLA 设计的核心驱动力——从旋转矩阵破坏低秩结构的数学证明，到解耦 RoPE 设计的工程解法。https://xuquant.com/posts/mathematics/matrix/muon-optimizer/Sat, 14 Mar 2026 09:00:00 +0800https://xuquant.com/posts/mathematics/matrix/muon-optimizer/从动量法到矩阵动量的正交化，推导 Newton-Schulz 迭代的收敛性，解释流式幂迭代的工程折衷，以及 Muon 在 Kimi K2 训练中的 2x 加速。https://xuquant.com/posts/mathematics/matrix/spectral-norm/Sat, 07 Mar 2026 09:00:00 +0800https://xuquant.com/posts/mathematics/matrix/spectral-norm/谱范数是矩阵的最大拉伸因子，条件数决定梯度下降的收敛速度——从优化景观的几何到谱归一化的实践。https://xuquant.com/posts/mathematics/matrix/svd-low-rank/Sat, 28 Feb 2026 09:00:00 +0800https://xuquant.com/posts/mathematics/matrix/svd-low-rank/从 SVD 的几何直觉出发，推导 Eckart-Young 低秩近似定理，解释 LoRA 微调背后的矩阵论原理——为什么一个 rank 远小于 d 的分解仍然有效。