博客

你是否曾经对人工智能模型的运算速度感到不耐烦，同时又希望它能保持高质量的预测结果？这可能听起来像是一个无法两全的问题，但科研人员们并没有停下探索的脚步。今天，我们要介绍的这篇研究报告，就给出了一个行之有效的解决方案。这篇研究名为 “GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints”，由来自Google Research的团队所撰写。他们提出了一种称为“分组查询注意力（Grouped-query attention, GQA）”的新方法，旨在解决Transformer模型中的一个关键问题，即如何在保持预测质量的同时，提高模型的运算速度。

首先，让我们理解一下这个问题的背景。在Transformer模型中，一个关键的计算过程就是自回归解码器推理。这个过程需要大量的内存带宽来加载解码器权重和所有注意力键值，这就大大限制了模型的运算速度。为了解决这个问题，研究者们提出了多查询注意力（Multi-query attention, MQA）方法，它只使用一个键值对来大幅度提高解码器推理的速度。然而，MQA方法可能会导致预测质量下降，而且也不太适合用于训练单独的模型以提高推理速度。

在这样的背景下，Google Research的团队提出了两个重要的贡献。首先，他们发现，可以使用少量的原始训练计算来将具有多头注意力（Multi-head attention, MHA）的语言模型检查点进行升级训练，使其能够使用MQA，这是一种非常成本有效的方法，可以同时获得高速的MQA和高质量的MHA检查点。其次，他们提出了分组查询注意力（GQA）的概念，这是一种在多头注意力和多查询注意力之间的插值方法，它为每组查询头部共享一个键和值头部。

GQA的工作原理是将查询头部分成若干组，每组共享一个键头和值头。具有G组的GQA被称为GQA-G。GQA-1（具有一个组，因此具有一个键和值头）等同于MQA，而具有等于头部数量的组的GQA-H等同于MHA。通过使用中间数量的组，GQA可以产生一个质量比MQA高，但速度比MHA快的插值模型。此外，对于大型模型，GQA的优势更加明显，因此，我们期待GQA能在大型模型中提供一个特别好的权衡方案。

在实验部分，研究者们使用了基于T5.1.1架构的所有模型，并对T5 Large和XXL的多头注意力版本，以及使用多查询和分组查询注意力的升级版T5 XXL进行了主要实验。实验结果表明，使用GQA的T5-XXL模型在各种不同的数据集上，包括CNN/Daily Mail, arXiv, PubMed, MediaSum, 和 MultiNews等新闻摘要数据集，以及WMT英德翻译数据集和TriviaQA问答数据集上，都保持了与多头注意力模型相近的质量，同时又具有与多查询注意力模型相近的速度。

在AI领域，我们一直在寻找提高效率和质量的方法，而GQA的出现无疑为我们提供了一个新的可能。它不仅提高了模型的运算速度，而且还成功地保持了预测的质量。这使得GQA成为了提高AI模型性能的一种有力工具，我们有理由期待，这种方法将在未来的AI应用中发挥更大的作用。

总的来说，这项研究的重要性在于，它不仅提供了一种提高AI模型速度的有效方法，而且这种方法还能保持模型的预测质量。这使得我们可以在实际应用中实现更快、更准确的AI模型，从而在各种场景中提供更好的服务。

这就是今天的分享，希望你们能从中获取到有用的信息。我们将继续关注更多的人工智能研究，并与大家分享。感谢你们的倾听，我们下次见！

大家好，欢迎来到我的博客！今天，我们要聊一聊有关两个开源语言模型的故事，它们分别是 LLAMA 和 LLAMA2。正如在科技世界里常见的，这两个模型的出现，都代表着一次重要的突破和进化。那么，它们是如何超越自身，再次突破技术瓶颈的呢？让我们一起探索吧。

1. LLaMA：以开放和高效为目标的基础语言模型

首先，我们来看看第一个主角 LLAMA。它仅仅使用公开可用的数据（数量高达数万亿 tokens）就训练出了效果超越 GPT-3 和 Chinchilla-70B PaLM-540B 的模型。最让人惊奇的是，它的体积比 GPT-3 小十倍，但效果更好。这是怎么做到的呢？

LLaMA 的开发者们发现，给定一定的计算量预算，我们可以通过在较小的模型上训练更多的数据来获取最好的效果。这就是 LLAMA 所依据的尺度原则。

为了训练 LLAMA，开发者们使用了多种来源的预训练数据，包括英文 CommonCrawl, Github, Wikipedia 等。每一种数据都经过了严格的清洗和筛选，以确保模型训练的质量。在训练时，每个 token 只训练一次，除了 Wikipedia 和 Books，训练了两次。

LLaMA 的模型结构基于 transformer，在 GPT3、PaLM、GPTNeo 的基础上做出了改良。其中包括使用 RMSNorm 进行 Pre-normalization，使用 SwiGLU 替换 ReLU 作为激活函数，舍弃绝对位置编码，使用旋转位置编码等一系列创新手段。

2. LLaMa 2：基础和微调并进的聊天模型

接下来，我们来了解一下 LLAMA 的升级版本——LLAMA2。虽然 LLAMA1 的效果已经非常优秀，但是与闭源的“产品级”模型相比，如 ChatGPT、BARD、Claude，仍有一定的差距。因此 LLAMA2 的目标就是要尽可能地提升模型的性能，使其更符合人类的偏好。

LLAMA2 的训练数据量增加了40%，达到了2万亿 tokens。同时，上下文长度翻倍，引入了 grouped-query attention 的新技术。这些改变使得 LLAMA2 在长数据的效果明显提升，而在短数据上的性能则没有下降。

LLAMA2 在微调上也做了很多工作。它引用了 LLAMA1 中的 SFT 数据集设置，对模型进行了精细的调整。在收集数据时，采用了课程策略，逐渐将问题复杂化，使得模型能够更好地适应和处理各种问题。

结语

总的来说，LLAMA 和 LLAMA2 的出现，代表了开源模型的重大进步。他们的成功，得益于严谨的数据处理，创新的模型结构，以及精细的模型调整。这些都是我们在探索人工智能的道路上，值得学习和借鉴的经验。

希望这篇博客能给你带来一些启发和灵感。我们下次再见！