MAESTRO：用马尔可夫链指挥 MoE 模型的专家裁军
一个尴尬的现实
2025 年是大模型”混合专家”（Mixture-of-Experts, MoE）的爆发年。DeepSeek-V3 用了 6710 亿参数，但每个 token 只激活 370 亿——相当于总兵力 671 亿的军队，每次作战只派 3.7 亿人上场。Qwen3-30B、GPT-OSS-20B 纷纷跟进，MoE 成了”大参数、低计算”的标准配方。
但这里有个尴尬的现实：虽然每次推理只激活 5% 的专家，但 100% 的专家都得驻扎在显存里。
想象一个军事指挥部有 100 位将军，每次战役只派 5 位上前线，但剩下 95 位的工资得照发、营房得照建、补给得照供。MoE 模型也是一样——那些”睡觉”的专家虽然不参与计算，但它们的权重仍然占据着 GPU 显存。一个 6710 亿参数的模型，哪怕每次只激活 370 亿，你也得准备能装下 6710 亿参数的显存。
这就是 MoE 部署的核心瓶颈：计算便宜，但空间昂贵。
怎么解决？最直接的办法就是剪枝（Pruning）——把那些”不太有用”的专家直接裁掉。但问题来了：怎么判断哪些专家”不太有用”？
2026 年 7 月，来自印度理工学院德里分校（IIT Delhi）和 NVIDIA 的研究团队给出了一个新答案：用马尔可夫链来指挥这场裁军。这个方法叫 MAESTRO（Markov-chain Approximated Expert Sparsification via Transition-based Routing）。
现有方法的盲区
在 MAESTRO 之前，MoE 剪枝的主流方法是从稠密模型（dense transformer）的剪枝技术直接搬过来的。它们的核心思路是：统计每个专家被调用的频率，频率低的就裁掉。
这听起来合理，但忽略了一个关键问题：MoE 的路由是跨层联动的。
想象一个 MoE 模型有 32 层，每层 64 个专家，每次激活 6 个。一个 token 从第 1 层走到第 32 层，它在每一层选择的专家不是独立的——第 1 层选了专家 A，可能会影响第 2 层选什么。这种跨层依赖形成了一条”路由路径”。
传统的剪枝方法只看”每个专家被选了多少次”，这叫局部启发式（local heuristic）。它就像一个只看士兵出勤率的裁军官：出勤率低的就裁。但有些士兵出勤率低，却是在关键时刻被调用的——裁掉他们，整条路由链就断了。
更具体地说，传统方法会犯两类错误：
1. 误裁”桥梁专家”：有些专家虽然自身被调用的次数不多，但它是连接其他高频专家的”中转站”。裁掉它，后续专家的路由路径就断了。 2. 保留”冗余专家”：有些专家被调用的频率高，但它们的功能高度重叠——裁掉其中一个，另一个能顶上。传统方法看不出这种冗余。
马尔可夫链的视角
MAESTRO 的核心创新是：把 MoE 的路由过程建模为马尔可夫链。
马尔可夫链是一个经典的数学工具，它的核心概念是”状态转移”：系统在当前状态下，以一定概率转移到下一个状态。关键性质是”无记忆”——下一个状态只依赖当前状态，不依赖更早的历史。
在 MAESTRO 中，”状态”就是”当前层激活了哪些专家”，”转移”就是”下一层会激活哪些专家”。这个转移可以用一个转移矩阵（Transition Matrix）来描述：矩阵的第 (i, j) 项表示”如果第 ℓ 层激活了专家 i，第 ℓ+1 层激活专家 j 的概率”。
通过对大量推理样本统计转移次数，MAESTRO 估计出这个转移矩阵。然后，关键一步来了：计算这个马尔可夫链的平稳分布（Stationary Distribution）。
平稳分布是什么？简单说，它描述的是”如果让马尔可夫链跑足够久，每个状态被访问的长期频率”。在 MoE 的语境下，它告诉你：考虑了所有跨层依赖之后，每个专家的”全局重要性”是多少。
这比简单的局部频率统计高明得多。一个专家的平稳分布概率高，不仅意味着它自身被调用得多，还意味着它处于”交通要道”——很多其他专家的路由路径会经过它。裁掉这样的专家，影响会沿着整条链传播。
从数学到工程
MAESTRO 的完整流程分五步：
第一步：路由数据采集。拿一批推理样本（比如 10 万条文本），跑过模型的每一层，记录每个 token 在每层激活了哪些专家。这就像在高速公路上装摄像头，统计车流数据。
第二步：转移矩阵估计。把相邻两层之间的专家共现关系统计成转移矩阵。具体来说，对于层 ℓ 的专家 i 和层 ℓ+1 的专家 j，统计它们同时被激活的次数，再归一化为概率。
第三步：全局转移矩阵与平稳分布。把所有层的转移矩阵聚合为一个全局矩阵，然后求解其平稳分布。平稳分布给出了每个专家的”全局重要性分数”。
第四步：专家选择。根据目标压缩率（比如裁掉 50% 的专家），按平稳分布排序，保留分数最高的那部分。
第五步：恢复微调（Recovery Fine-Tuning）。剪枝后，模型会有一些性能损失。用少量数据（论文用了 10 亿 token）做轻量微调，让剩余专家重新适应路由变化。
一个值得注意的细节：MAESTRO 假设路由过程是”一阶马尔可夫”——下一层的选择只依赖当前层，不依赖更早的层。这是一个简化假设（真实路由可能有更长的依赖），但它让数学变得可处理，而且实验证明效果已经很好。
实验结果：10.61% 的提升
研究团队在两个主流 MoE 模型上测试了 MAESTRO：GPT-OSS-20B（OpenAI 开源的 20B 参数 MoE）和 Qwen3-30B（阿里 Qwen3 系列 30B MoE）。
测试覆盖五个领域：通用能力、数学、代码、安全（Safety）、偏见（Bias）、伦理（Ethics）。这些领域特意选得”杂”——为了测试剪枝后模型在不同任务上的泛化能力。
在 50% 压缩率（裁掉一半专家）的严格条件下：
– 平均性能保留率比 SOTA 高 10.61%。这是一个显著的提升——在 50% 压缩下，传统方法的性能已经明显下降，而 MAESTRO 几乎保持了原始模型的水平。 – 跨任务方差显著更低。这意味着 MAESTRO 剪枝后的模型在不同任务上表现更一致——不会出现”数学很好但安全崩了”的情况。这个”一致性”比”平均分高”更重要，因为部署时你需要的是”可预测的行为”。
跨任务方差低这个结果，恰恰验证了 MAESTRO 的核心假设：全局路由信息能避免”局部最优但全局灾难”的剪枝决策。传统方法可能裁掉某个在安全任务上关键的”桥梁专家”，导致安全性能暴跌但其他任务不受影响——方差就大了。MAESTRO 看到了这种跨层依赖，不会犯这种错误。
一个类比：交通网络 pruning
想象你要裁减一个城市的公交线路。每条线路有若干站点，每天有不同的客流量。
传统方法：统计每个站点的日均客流量，客流量低的站点直接取消。
MAESTRO 方法：把整个公交网络建模为马尔可夫链——每个站点是一个”状态”，乘客从 A 站到 B 站的概率是”转移概率”。计算平稳分布后，你会发现有些站点虽然自身客流量不高，但它们是”换乘枢纽”——大量乘客经过它们转到其他线路。取消这些站点，整片区域的出行都会受影响。
MAESTRO 保留的正是这些”全局重要性高”的站点，哪怕它们自身的客流量不是最高。这就是”全局视角”和”局部视角”的区别。
局限与诚实评价
论文也坦率讨论了几个局限：
1. 一阶马尔可夫假设：MAESTRO 假设下一层的路由只依赖当前层。但真实路由可能有更长的依赖——比如第 5 层的选择依赖第 3 层。论文承认这一点，并指出探索高阶马尔可夫链是未来方向。
2. 整专家粒度：MAESTRO 要么保留、要么裁掉整个专家，没有”部分裁剪”的选项。有时候，把一个专家的宽度减半可能比直接裁掉更好。结合宽度剪枝是一个自然方向。
3. 恢复微调的必要性：剪枝后需要 10 亿 token 的微调数据。这虽然比预训练少得多，但仍然不是零成本的。对于资源极度受限的场景，这可能是个门槛。
4. 测试模型规模有限：实验只在 20B 和 30B 模型上做了。对于 100B+ 的超大 MoE，MAESTRO 的效果是否一致，还需要验证。
更大的图景：MoE 部署的经济学
MAESTRO 的意义超越了技术本身。它指向一个正在成型的趋势：MoE 模型的”后训练压缩”正在成为一个独立的研究方向。
预训练一个 MoE 模型动辄花费数百万美元。但部署时，不同的场景有不同的资源约束——云端可以跑满配，边缘设备可能只能装 1/4 的专家。MAESTRO 这样的方法，让你训练一次，按需裁剪部署。
这改变了 MoE 的经济学：以前是”大模型用不起，小模型不够用”，现在是”大模型训练一次，按场景裁出不同尺寸”。MAESTRO 的全局路由视角，确保了裁剪后的模型在多样化任务上仍然可靠。
更深一层，MAESTRO 的故事提醒我们：在复杂系统中，局部信息永远不够。一个专家的价值不在于它被调用了多少次，而在于它在整个路由网络中的位置。这和互联网中的”关键节点”概念如出一辙——有些路由器流量不大，但断了它们整个网络就会分区。
马尔可夫链是一个有 100 多年历史的数学工具。把它用在 MoE 剪枝上，不是什么高深的创新，而是一次”用对工具”的示范。有时候，最好的研究不是发明新东西，而是发现老工具的新用法。
—
论文链接：https://arxiv.org/abs/2607.08601
作者：Palaash Goel（IIT Delhi）, Ayush Maheshwari（NVIDIA India）, Tanmoy Chakraborty（IIT Delhi）
测试模型：GPT-OSS-20B, Qwen3-30B
发布日期：2026 年 7 月 9 日