---

在当今信息爆炸的时代，生成式大语言模型（LLM）正在逐渐改变我们与世界互动的方式。无论是智能客服、文本生成，还是复杂的数据分析，这些模型都在背后默默地支持着。随着应用的广泛普及，如何高效地部署和服务这些庞大的语言模型，成为了技术领域的一大挑战。今天，我们来聊聊最近在这一领域引起广泛关注的突破——“P/D-Serve”。

大模型的“小烦恼”

大语言模型的“光环”背后，其实隐藏着不少技术难题。随着模型规模的日益庞大，如何在数万台GPU或NPU设备上高效服务这些模型，成为了摆在开发者面前的一道难题。简单粗暴的资源分配方式，显然已经无法满足需求。

在传统的LLM服务中，预填充（Prefill）和解码（Decoding）通常是在同一实例内进行的。这种方式虽然简单，但随着模型规模的增加，效率逐渐成为瓶颈。特别是在面对多样化的输入提示（Prompt）时，服务端往往需要根据不同的场景进行调整，这导致了资源利用的低效和服务延迟的增加。

“P/D-Serve”的登场

为了解决这些问题，研究人员提出了一个颠覆性的解决方案——“P/D-Serve”。这个系统通过将预填充和解码过程分离，并在不同的实例上进行部署，从而大大提高了服务效率。

精细化的管理与动态调整

“P/D-Serve”系统的核心在于对预填充和解码实例的精细化管理。通过对实例进行分组，并根据具体的服务场景进行动态调整，系统能够有效地减少性能瓶颈，提升整体吞吐量。

例如，在某些场景下，长提示词（Prompt）的预填充过程可能会成为瓶颈，而在其他场景下，生成大量文本的解码过程则更为耗时。通过动态调整预填充和解码实例的比例，“P/D-Serve”能够最大限度地提高服务效率。

持续的健康监控与自动恢复

在大规模部署中，硬件故障是难以避免的。为此，“P/D-Serve”引入了自动健康监控与恢复机制。当某个实例出现故障时，系统能够自动替换故障实例，并确保服务不中断。这一机制确保了系统的高可用性，即使在面对数万台设备的复杂环境中，也能保持良好的服务质量。

无缝的数据传输

在“P/D-Serve”中，预填充和解码实例之间的数据传输是一个关键环节。传统的块固定（Block-fixed）方式虽然简单，但在大规模分布式环境中效率并不高。为此，研究人员提出了“块自由”（Block-free）传输方式，通过优化数据传输的连续性，大幅提高了传输效率，减少了不必要的控制开销。

现实中的应用

“P/D-Serve”并不仅仅是一个理论上的概念。事实上，该系统已经在数万台NPU设备上投入了超过八个月的商业使用，并且取得了显著的成效。数据显示，在端到端的吞吐量、响应时间（TTFT）以及设备间数据传输时间上，“P/D-Serve”分别提升了60%、42%和46%。相比于传统的聚合式LLM服务，这一系统的吞吐量提升了6.7倍。

研究人员在论文中详细展示了“P/D-Serve”在不同场景下的表现，无论是面对流量激增的白天，还是相对平稳的夜晚，系统都能通过自动调整来应对不同的负载需求。此外，系统还支持滚动升级，确保在模型更新时不会影响现有服务。

展望与未来

“P/D-Serve”无疑为大规模语言模型的服务开辟了一条全新的道路。然而，研究人员也指出，随着模型规模的进一步增长，如何在保持高效服务的同时，进一步降低延迟和资源消耗，仍然是未来需要解决的挑战。

在未来，我们或许会看到更多类似“P/D-Serve”这样的创新解决方案，为大语言模型的服务提供更强大的支持。毕竟，在这个信息飞速发展的时代，谁能率先突破技术瓶颈，谁就能在未来的竞争中占据有利位置。

---

参考文献

1. OpenAI. (2024). GPT-4.
2. Gemini Team et al. (2023). “Gemini: a family of highly capable multimodal models.” arXiv preprint arXiv:2312.11805.
3. Meta. (2024). Llama 3.
4. Ren Xiaozhe et al. (2023). “Pangu-Σ: Towards trillion parameter language model with sparse heterogeneous computing.” arXiv preprint arXiv:2303.10845.
5. Pratyush Patel et al. (2023). “Splitwise: Efficient generative llm inference using phase splitting.” arXiv preprint arXiv:2311.18677.

---

在人工智能研究的最前沿，一个引人入胜的问题正在引发科学家们的热烈讨论：大型语言模型(LLMs)是否能够”理解”符号图形程序？这个看似简单的问题背后，蕴含着对人工智能能力边界的探索，以及对机器”想象力”的追问。

近日，来自马克斯·普朗克智能系统研究所、剑桥大学和麻省理工学院的研究团队发表了一项开创性研究，他们创建了一个名为SGP-Bench的基准测试，专门用于评估大型语言模型对符号图形程序的语义理解能力。这项研究不仅揭示了当前人工智能系统的局限性，也为未来的发展指明了方向。

符号图形程序：一个独特的挑战

符号图形程序是一种用代码描述视觉内容的方法，广泛应用于计算机图形学领域。与普通的计算机程序不同，符号图形程序可以直接转换成图像或3D模型。研究人员巧妙地利用了这一特性，设计了一系列测试来评估语言模型是否能够”理解”这些程序所描述的视觉内容。

研究的第一作者Zeju Qiu解释道：”我们面临的挑战是，如何判断一个语言模型是否真正’理解’了一段符号图形程序。我们的解决方案是，通过让模型回答与程序生成的图像相关的语义问题来评估其理解能力。这些问题对于看到图像的人来说很容易回答，但仅凭程序代码却难以回答。”

SGP-Bench：一个全面的评估基准

研究团队构建的SGP-Bench基准包含了两类符号图形程序：可缩放矢量图形(SVG)和计算机辅助设计(CAD)。他们收集了1,085个SVG程序和2,400个CAD程序，涵盖了19个不同的类别。每个程序都配有多个语义问题，这些问题涉及颜色、形状、计数和推理等多个方面。

研究人员使用了一种创新的方法来生成这些问题。他们首先将符号程序渲染成图像，然后使用GPT-4等先进的视觉语言模型来生成相关问题。这种方法不仅高效，还能确保问题的质量和多样性。

人工智能的”想象力”测试

SGP-Bench的核心在于测试语言模型是否能够”想象”符号程序所描述的视觉内容。研究的共同第一作者Weiyang Liu表示：”这项任务要求语言模型具备一种’视觉想象’能力。它们需要在没有实际看到图像的情况下，仅凭程序代码就能推断出视觉内容的语义信息。这是一项极具挑战性的任务，因为它涉及到长程序序列推理和精细的语义理解。”

研究结果显示，即使是最先进的语言模型在这项任务上也面临着巨大挑战。在SVG程序的理解测试中，所有模型的平均准确率低于65%。其中表现最好的是Claude 3.5 Sonnet模型，准确率为63%。在CAD程序的测试中，模型的表现略好一些，但平均准确率仍低于80%。

模型规模与性能的关系

研究发现，语言模型的性能与其规模呈现出明显的正相关关系。例如，当Llama-3模型的参数从8B增加到70B时，其在SVG测试中的得分从42.9%提升到54.8%。这一发现符合人工智能领域广为人知的”缩放定律”，即模型规模越大，性能通常越好。

然而，研究也发现，不同类型的问题对模型构成了不同程度的挑战。大多数模型在颜色相关的问题上表现最好，其次是形状相关的问题。而在涉及计数和语义的问题上，模型的表现则相对较差。这种表现模式在某种程度上类似于人类视觉信息处理的粗到细结构。

提升模型理解能力的新方法

为了进一步提高语言模型对符号图形程序的理解能力，研究团队提出了一种名为”符号指令微调”(Symbolic Instruction Tuning, SIT)的新方法。这种方法利用渲染后的图像和强大的视觉语言模型来生成详细的指令数据集，然后用这些数据集来微调开源语言模型。

研究的另一位共同第一作者Haiwen Feng解释道：”SIT方法的关键在于，我们利用了符号程序和渲染图像之间的对应关系。通过让视觉语言模型根据图像生成问题和答案，我们可以创建一个高质量的指令数据集。这种方法不仅可扩展，而且能显著提升模型的符号程序理解能力。”

未来展望：迈向更强大的人工智能

这项研究不仅为评估语言模型的能力提供了新的视角，也为提升人工智能系统的视觉推理能力指明了方向。研究团队相信，随着符号图形程序理解能力的提升，语言模型有望在更广泛的视觉推理任务中发挥作用。

然而，研究也揭示了当前人工智能系统与人类认知之间仍存在显著差距。例如，研究团队创建了一个符号MNIST数据集，其中的符号程序对于最强大的语言模型来说都极具挑战性，但对人类来说却很容易识别。这一发现提醒我们，尽管人工智能取得了巨大进步，但在某些方面仍然无法媲美人类的认知能力。

随着研究的深入，我们或许能够更好地理解人工智能系统的认知过程，并开发出更接近人类思维的算法。这不仅有助于推动人工智能技术的进步，也为我们理解人类认知提供了新的视角。

在人工智能快速发展的今天，SGP-Bench这样的基准测试为我们提供了一个重要的工具，帮助我们更准确地评估和理解人工智能系统的能力。随着研究的不断深入，我们期待看到更多突破性的发现，推动人工智能向着更智能、更灵活的方向发展。

参考文献：
[1] Qiu, Z., Liu, W., Feng, H., et al. (2023). Can Large Language Models Understand Symbolic Graphics Programs? arXiv:2408.08313v1.