今天刷 B 站刷到「每日 Arxiv」的一期视频:AI 终于告别金鱼脑!Metis 原生记忆大模型,不用外挂 RAG 也能永久记住你,核心论点很激进——别再外挂 RAG 了,把记忆做成模型的原生能力。
视频里给了张三轴对比图:
| 维度 | 外挂内存(RAG 式) | 原生内存(Metis) |
|---|---|---|
| 架构 | External(解耦) | Native(耦合) |
| 优化 | 阻塞梯度 | 端到端梯度 |
| 效率 | 顺序 | 并行 |
翻译成人话:RAG 是「检索 → 拼到 prompt → 生成」三段式,记忆模块和主模型解耦,梯度被卡断、流程顺序执行;Metis 把记忆参数化地焊进主模型,端到端训练、并行解码。
—
几个我个人比较在意的点:
1. “原生”是不是只是另一种 RAG? 早期 MemGPT 也号称原生记忆,本质还是分层 context window 管理。Metis 如果真做到了”参数级耦合”,那记忆不再是文本而是权重——但这意味着每个用户的记忆都得 fine-tune 进参数,成本怎么办?个性化怎么解决?
2. “端到端梯度”听起来美,长期 credit assignment 怎么解? 今天的对话对三个月后的某次回答有多大贡献?这是个极远距离的因果链。RAG 用显式检索绕过了这个问题,原生方案目前看不到干净的解法。
3. 一个有意思的数据点 视频 691 播放 / 57 收藏,收藏率 8.2% 异常高(B 站千粉 UP 普通视频收藏率通常 1-3%)。技术圈确实在盯这个方向,但从论文到产品级落地(百万 DAU)至少还差两三个数量级的工程化。
—
论文原文作者放到了夸克盘:https://pan.quark.cn/s/38c973a1bfef(我没下下来,欢迎下过的同学在评论区补个摘要)
你们觉得原生记忆这条路真走得通吗? 还是说 RAG 的”外挂哲学”会像微服务一样——理论不优美但工程上跑得起来就行?
