1B 参数如何打赢 175B？MiniCPM5-1B 的”密度定律”革命

> 一句话： 当所有人还在比谁的 GPU 集群更大时，有一群人已经证明——智慧不在体量，而在密度。

—

🔥 一个反直觉的事实

AIME 奥赛级数学推理，40.42 分。

这个分数放在 2023 年，GPT-3.5（175B 参数）都未必稳拿。而拿到它的模型，只有 1B 参数——差了将近两百倍。

这不是营销话术。这是清华 OpenBMB 团队（面壁智能）2026 年 5 月发布的 MiniCPM5-1B，在 AA-Index（Artificial Analysis 智能指数）上以 17.9 分 拿下 2B 以下模型第一，把参数量是它两倍的 Qwen3.5-2B（16.3 分）甩在身后。

面壁给这个现象起了个名字：密度定律（Densing Law）——大模型的智能密度，大约每 100 天翻一番。

如果这是真的，100 天后，0.5B 的模型就能达到今天 1B 的水平。一年后，你手机里的 AI 可能拥有今天 GPT-4 的推理能力。

—

🧠 数据不是燃料，是配方

大多数人理解模型训练，还停留在”灌数据”的阶段。但 MiniCPM5-1B 的做法是分级治理。

面壁把数据从 L0 到 L4 分成五级，每一级对应不同的清洗深度和用途。核心洞察不是”多”，而是“好学”——让模型从每一条 token 里学到更多。

两个关键数据集构成了它的数据骨架：

数据集	阶段	规模	核心设计
Ultra-FineWeb-L3	预训练退火	600B tokens	全球最大中文预训练合成数据集，英文 400B+ / 中文 200B+
UltraData-SFT-2605	后训练 SFT	千万级	国内首次开源的同时包含`<think>`与无 think 标注的 SFT 数据

特别值得玩味的是 Ultra-FineWeb-L3 的设计理念。它的目标不是”让网页文本可读”，而是“让网页文本好学”——把原始网页从信息载体转化为训练素材，每一条都要对模型能力产生可量化的贡献。

在 1B 参数这个量级上，数据质量就是一切。低质数据不是”少一点效果”，而是直接污染模型的认知核心。

—

⚙️ RL+OPD：后训练的”黑魔法”

MiniCPM5-1B 的后训练分三步：SFT → RL → OPD。

1. SFT：建立双思维模式

先用 200B tokens 的”深度思考”数据培养模型的推理能力，再用 200B tokens 的”混合思考”数据训练它在”快思考”和”慢思考”之间切换。

这里有一个很精妙的设计：同一个模型，同一套权重，通过 enable_thinking 参数切换模式——既能做秒回助手，也能做深度推理器。不是两个模型，是一个模型学会了两种思维方式。

2. RL：让模型学会”不说废话”

强化学习基于 DAPO-Math-17k（受 JustRL 极简方案启发），采用两阶段长度调度。

结果相当漂亮： – 📈 数学/代码/指令遵循任务平均得分 提升 16 分 – 📉 达到最大 token 预算的冗余输出比例 降低 29 个百分点

模型不是变得更啰嗦，而是变得更精准。这在端侧场景尤为关键——手机电量和响应时间都是硬约束，每一个多余的 token 都是对用户耐心的消耗。

3. OPD：蒸馏的终极形态

OPD（On-Policy Distillation，在线策略蒸馏）是后训练中最有技术品味的部分。

传统蒸馏是”老师做完了，学生抄答案”。OPD 是“老师在做题的时候，学生就在旁边实时跟着学”——它用反向 KL 散度作为优势估计，在每个生成位置同时取老师和学生的 top-k logits，计算并集上的差异。

好处很直接：不需要额外准备蒸馏数据，直接复用 RL 训练老师模型时的领域内提示。工程上干净，效果上显著。这是面壁对 Thinking Machines Lab 原始 OPD 的改进版，加入了 reverse KL 的优化。

—

📱 0.5GB 的世界：部署革命

INT4 量化后，MiniCPM5-1B 的权重只有 0.5GB。比手机里的一个短视频缓存还小。

三档部署方案覆盖了几乎所有场景：

精度	权重	适用场景
FP16	~2GB	GPU / 高端笔记本，零量化损失
INT8	~1GB	普通笔记本 / 边缘盒子，几乎无损
INT4	~0.5GB	手机、平板、车机，几乎无损

更狠的是 ArcLight——面壁自研的纯 CPU 推理框架。没有显卡也能跑。配合 WebAssembly，打开浏览器就能用，零安装，断网也能推理。

这意味着什么？

AI 从”云端服务”变成了”本地能力”。请求在设备上处理，响应即时返回，数据不出设备。没有网络延迟，没有隐私焦虑，没有”服务器繁忙请稍后”。

—

🏛️ “认知核心”：另一种路径的终局

北美巨头的路线是”越大越好”——GPT-4、Claude、Gemini，参数堆到千亿级，推理成本摊到云端。面壁的路线是“够用就好”——把 90% 的能力塞进 1% 的参数里，让 AI 跑在每个人手边的设备上。

这不是妥协，是另一种终局。

当端侧模型足够强，交互方式会彻底改变： – 手机助手不再是”发请求等服务器”，而是本地大脑直接思考 – 智能家居不再是”联网才能听话”，而是断网也能决策 – 多个设备之间可以形成“群体智能”，互相协作而不依赖云端

面壁在开源周还发布了一个叫 PilotDeck 的”智能体操作系统”，以及一个由 MiniCPM5-1B 驱动的桌面宠物。后者看起来像是玩具，但本质是演示：1B 参数就能驱动一个有连续记忆、有个性反应的端侧应用。

桌面宠物只是开始。真正的想象力在于一个去中心化、自组织的智能网络——终端智能体、软件智能体、机器人智能体协同工作，形成”万物自协作”的自治生态。

—

🎯 总结：密度定律的复利

MiniCPM5-1B 是密度定律的最新验证。它证明了一件事：

> 参数竞赛不是 AI 的唯一出路。 当数据治理足够精细、后训练足够聪明、工程部署足够务实，1B 模型可以做到的远超我们的直觉。

面壁还做了一件更长远的事：用 AI 制造 AI。MiniCPM5-1B 的 Base Model 是用 ForgeTrain 训出来的——一个完全由 AI 自动编写的训练框架，在 H100 上跑得比英伟达自家的 Megatron 还快 10%。

这意味着什么？当大模型能够自主锻造底层框架，研发和适配的软件成本被压缩到接近于零，大模型将真正变成全行业都能低成本接入的普惠技术。

密度定律的复利才刚刚开始。每 100 天翻一番，听起来很慢，但复利从不着急。100 天后，0.5B 的模型可能达到今天 1B 的水平；一年后，你口袋里的设备可能拥有今天云端大模型的推理能力。

到那时，AI 的竞争不再是”谁的 GPU 集群更大”，而是谁的设备更聪明。

—

参考链接 – MiniCPM GitHub: https://github.com/OpenBMB/MiniCPM – 模型下载（ModelScope）: https://modelscope.cn/models/OpenBMB/MiniCPM5-1B – UltraData 数据集: https://github.com/OpenBMB/UltraData – 技术报告（MiniCPM Tech Report）