🌟 引言：开启AI新纪元
在人工智能的浩瀚宇宙中，大语言模型(Large Language Models, LLMs)无疑是当前最耀眼的星辰。它们就像是智能世界中的”万能钥匙”，能够解锁无数可能性的大门。然而，对于许多研究者和开发者来说，驾驭这些强大的模型却如同驯服一匹烈马，既充满挑战，又令人向往。今天，让我们一起揭开一个令人兴奋的项目面纱——LLMBox，这个项目将彻底改变我们与大语言模型互动的方式！
想象一下，如果有一个工具箱，里面装满了训练和使用大语言模型所需的一切工具，会是什么样子？这正是LLMBox的愿景。它就像是为AI世界量身定制的瑞士军刀，集训练、评估、应用于一体，让每个人都能轻松驾驭大语言模型的力量。
💡 LLMBox：一站式大语言模型解决方案
LLMBox的诞生，犹如AI领域的一场革命。它不仅仅是一个简单的工具库，更是一个完整的生态系统。通过精心设计的架构，LLMBox在训练和应用阶段都实现了高度的灵活性和效率。让我们深入了解这个神奇工具箱的关键特性：
🎓 训练篇：打造你的专属AI助手
- 多样化的训练策略
LLMBox支持多种训练策略，包括监督微调(SFT)、预训练(PT)、PPO和DPO。这就像是给你提供了多种”烹饪方法”，你可以根据自己的”口味”（需求）选择最适合的方式来”烹饪”（训练）你的模型。 - 丰富的SFT数据集
提供9种SFT数据集作为训练输入。这就像是给你的AI助手准备了丰富多样的”学习材料”，让它能够从多个角度学习和理解人类的语言和知识。 - 分词器词汇表合并
支持分词器合并功能以扩展词汇表。这就像是给你的AI助手增加了新的”词汇书”，让它能够理解和使用更多的词语，提高语言处理能力。 - 数据构建策略
支持合并多个数据集进行训练，并提供Self-Instruct和Evol-Instruct等数据处理方法。这就像是为你的AI助手设计了个性化的”学习计划”，让它能够更有针对性地学习和进步。 - 参数高效微调
在SFT或PT中支持LoRA和QLoRA。这就像是给你的AI助手提供了”快速学习”的方法，让它能够在短时间内掌握新技能，而不需要重新学习所有内容。 - 高效训练
支持Flash Attention和Deepspeed以提高训练效率。这就像是给你的AI助手配备了”超级大脑”，让它能够更快速地学习和处理信息。
🚀 应用篇：释放AI的无限潜能
- 超快速推理
通过管理前缀的KV缓存，本地推理速度最高可提升6倍。这就像是给你的AI助手装上了”火箭推进器”，让它能够以惊人的速度回答你的问题。 - 全面评估
支持56+常用数据集和基准，全方位评估LLMs的性能。这就像是为你的AI助手准备了一系列”考试”，全面测试它的各项能力。 - 多样化评估方法
准确重现OpenAI、LLaMA、Mistral等模型原始论文的结果。这就像是让你的AI助手参加”模拟考试”，检验它是否达到了业界标准。 - 上下文学习
支持多种ICL策略，包括KATE、GlobalE和APE。这就像是教会你的AI助手”举一反三”的能力，让它能够更灵活地应对各种问题。 - 思维链
对某些数据集支持三种CoT评估：基础、从少到多和PAL。这就像是训练你的AI助手进行”逻辑推理”，让它能够解决更复杂的问题。 - 高效推理支持
支持vLLM和Flash Attention，提高推理效率。这就像是给你的AI助手配备了”超级计算机”，让它能够更快速地处理复杂任务。 - 量化支持
支持BitsAndBytes和GPTQ量化。这就像是给你的AI助手进行”体积压缩”，让它能够在更小的设备上运行，而不失其强大的能力。
🛠️ 快速上手：开启你的AI之旅
安装LLMBox
首先，让我们通过以下命令克隆LLMBox仓库并安装必要的依赖：
git clone https://github.com/RUCAIBox/LLMBox.git && cd LLMBox
pip install -r requirements.txt如果你只需要评估OpenAI（或兼容OpenAI的模型，如DeepSeek、Perplexity），可以安装最小依赖：
pip install -r requirements-openai.txt训练你的第一个模型
让我们从训练一个基于LLaMA-2（7B）的SFT模型开始，使用deepspeed3：
cd training
bash download.sh
bash bash/run_ds3.sh这个简单的命令序列就能启动一个强大的模型训练过程。想象一下，你正在为你的AI助手灌输知识，很快它就能成为你的得力助手！
使用和评估模型
训练完成后，你可以立即开始使用和评估你的模型。以下命令将在CoPA数据集上以零样本方式运行OpenAI GPT 3.5 turbo模型：
python inference.py -m gpt-3.5-turbo -d copa这就像是让你的AI助手参加一次”能力测试”，看看它在理解因果关系方面的表现如何。
🌈 进阶应用：释放LLMBox的全部潜力
训练进阶
LLMBox支持各种训练策略和数据集构建策略，以及一些提高效率的模块。以下是一个更复杂的训练命令示例：
python train.py \
--model_name_or_path meta-llama/Llama-2-7b-hf \
--data_path data/ \
--dataset alpaca_data_1k.json \
--output_dir $OUTPUT_DIR \
--num_train_epochs 2 \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--save_strategy "epoch" \
--save_steps 2 \
--save_total_limit 2 \
--learning_rate 1e-5 \
--lr_scheduler_type "constant"这个命令看似复杂，但每个参数都有其特定的用途。比如，--num_train_epochs 2设定训练两个完整周期，--learning_rate 1e-5设置一个较小的学习率以微调模型。这就像是为你的AI助手制定了一个详细的”学习计划”，指导它如何更好地吸收新知识。
分词器合并
如果你想在非英语语料上预训练模型，LLMBox提供了分词器合并功能：
bash bash/run_7b_pt.sh这个功能就像是教会你的AI助手”新的语言”，让它能够理解和处理更多种类的文本。
数据集合并
LLMBox允许你混合多个数据集进行训练：
bash bash/run_7b_hybrid.sh这就像是为你的AI助手提供了”多元化的学习材料”，让它能够从不同角度学习知识，成为一个全面发展的AI助手。
Self-Instruct和Evol-Instruct
LLMBox还支持Self-Instruct和Evol-Instruct来增强或改进输入数据：
python self_instruct/self_instruct.py --seed_tasks_path=seed_tasks.jsonl这个功能就像是让AI自己产生”练习题”，通过不断的自我提问和回答来提升能力，真是AI版的”自我修炼”啊！
🎯 模型评估：全方位测试你的AI助手
LLMBox提供了广泛的模型支持，包括Huggingface模型（如LLaMA-3、Mistral）、OpenAI、Anthropic、QWen等。它还支持56+种常用数据集，包括HellaSwag、MMLU、GSM8K、GPQA、AGIEval、CEval和CMMLU等。
以下是一个复杂的评估命令示例：
CUDA_VISIBLE_DEVICES=0 python inference.py \
-m llama-2-7b-hf \
-d mmlu agieval:[English] \
--model_type chat \
--num_shot 5 \
--ranking_type ppl_no_option这个命令在MMLU和AGIEval（英语部分）数据集上评估llama-2-7b-hf模型，使用5-shot设置和特定的排序类型。这就像是让你的AI助手参加一次综合能力考试，测试它在多个领域的表现。
📊 性能展示：见证AI的进化
以下是一些模型在不同任务上的表现：
| 模型 | Hellaswag (0-shot) | MMLU (5-shot) | GSM (8-shot) |
|---|---|---|---|
| GPT-3.5 Turbo | 79.98 | 69.25 | 75.13 |
| LLaMA-2 (7B) | 76 | 45.95 | 14.63 |
这些数据展示了不同模型在各种任务上的能力。GPT-3.5 Turbo在所有任务上都表现出色，而LLaMA-2 (7B)虽然在某些任务上稍逊一筹，但考虑到它更小的模型大小，其表现也是相当不错的。
🚄 高效评估：让AI思考如闪电般迅速
LLMBox默认启用前缀缓存以提高评估效率，同时也支持vLLM。以下是不同方法的时间对比：
| 模型 | 效率方法 | Hellaswag (0-shot) | MMLU (5-shot) | GSM (8-shot) |
|---|---|---|---|---|
| LLaMA-2 (7B) | 原始 | 0:05:32 | 0:18:30 | 2:10:27 |
| LLaMA-2 (7B) | vLLM | 0:06:37 | 0:14:55 | 0:03:36 |
| LLaMA-2 (7B) | 前缀缓存 | 0:05:48 | 0:05:51 | 0:17:13 |
从这些数据中我们可以看到，使用vLLM或前缀缓存可以显著减少评估时间，尤其是在处理较大数据集如GSM时。这就像是给你的AI助手配备了”超级大脑”，让它能够以惊人的速度处理复杂任务。
要使用vLLM，你可以使用以下命令：
python inference.py -m ../Llama-2-7b-hf -d mmlu:abstract_algebra,anatomy --vllm True如果你想使用量化评估，可以使用以下命令：
python inference.py -m model -d dataset --load_in_4bits这些高级功能就像是为你的AI助手提供了”思维加速器”，让它能够更快速、更高效地完成各种任务。
🧠 多样化评估方法：全方位检验AI能力
LLMBox支持多种评估方法，适用于不同类型的数据集：
- 对于GenerationDataset，使用
generation方法。 - 对于MultipleChoiceDataset，可以使用
get_ppl（变体包括ppl_no_option和ppl）或get_prob方法。
默认情况下，MultipleChoiceDataset使用get_ppl方法和ppl_no_option排序类型，GenerationDataset使用generation方法。你可以通过以下命令更改评估方法：
python inference.py -m model -d dataset --ranking_type probLLMBox还支持上下文学习和思维链评估：
python inference.py -m model -d dataset --kate
python inference.py -m model -d dataset --cot least_to_most这些多样化的评估方法就像是为你的AI助手设计了一系列全面的”能力测试”，从不同角度检验它的理解力、推理能力和创造力。
🌟 结语：AI新纪元的曙光
LLMBox的出现，无疑为AI领域带来了一股清新的风。它不仅仅是一个工具，更是一个改变游戏规则的创新。通过LLMBox，无论你是AI研究者、开发者，还是对AI充满好奇的探索者，都能轻松驾驭大语言模型的力量。
想象一下，在不久的将来，每个人都能轻松训练和使用自己的AI助手，解决各种复杂问题，创造令人惊叹的内容。这不再是科幻小说中的场景，而是触手可及的现实。LLMBox正在为我们开启一个AI民主化的新时代，在这个时代，人工智能的力量将不再局限于少数精英，而是成为每个人都能掌握的工具。
让我们一起拥抱这个激动人心的未来，用LLMBox释放你的创造力，探索AI的无限可能！无论你是想要一个能写诗的AI，还是一个精通科学的虚拟助手，LLMBox都能帮你实现。现在，是时候开始你的AI冒险之旅了！
📚 参考文献
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.
- Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M. A., Lacroix, T., … & Lample, G. (2023). Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288.
- Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., … & Lowe, R. (2022). Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155.
- Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., … & Le, Q. (2022). Chain-of-thought prompting elicits reasoning in large language models. arXiv preprint arXiv:2201.11903.
- Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., … & Chen, W. (2022). Lora: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685.