作者： admin

不要忘记连接！用基于图的重排序提升RAG的表现
认识一下RAG：文本生成的超级英雄

Retrieval Augmented Generation，简称RAG，是一个能让大型语言模型（LLM）在回答问题时表现更佳的工具。RAG的工作原理是通过从现有文档中检索相关信息来为生成的文本提供背景支持。听起来是不是很厉害？但问题是，如果文档只提供部分信息或者与问题背景的连接不明显，那么RAG该怎么办？这篇文章就来回答这两个核心问题。

G-RAG：图神经网络的魔力

我们介绍一种基于图神经网络（GNN）的方法，叫做G-RAG。这个方法在RAG的检索器和阅读器之间引入了一个重排序器。G-RAG不仅考虑了文档之间的连接，还利用了语义信息（通过抽象意义表示图，AMR）来提供上下文感知的排序器。G-RAG不仅表现优异，还比最先进的方法更省计算资源。

为什么重排序很重要？

在开放领域问答（ODQA）中，RAG虽然能成功地检索到相关文档，但不能充分利用文档间的连接。这会导致模型忽视那些包含答案但与问题背景连接不明显的文档。通过重排序过程，我们能更有效地过滤检索到的文档，提高阅读过程的效果。

现有方法的不足

目前的重排序器虽然表现不错，但仍有一些问题。首先，大多数现有工作未能捕捉到不同检索文档之间的重要连接。其次，尽管AMR图提高了对复杂语义的理解，但将冗余的AMR信息集成到预训练语言模型中会导致过拟合和计算时间增加。最后，现有方法利用的预训练语言模型在快速发展的LLM时代显得不足。

我们的解决方案

为了应对这些挑战，我们提出了一种基于文档图的方法，每个节点代表一个文档，每条边代表两个文档之间存在共同概念。我们将不同文档之间的连接信息纳入边特征，并通过消息传递机制更新边特征。同时，我们在节点特征中加入了关键的AMR信息，避免了冗余信息的引入。

实验结果

我们在两个代表性的ODQA数据集上进行了实验：自然问题（NQ）和TriviaQA（TQA）。结果显示，基于图的策略（如GCN和G-RAG）在各种评估指标上表现出色。特别是G-RAG-RL模型，通过使用排序损失函数，进一步提升了识别正面文档的能力。

结论与未来展望

我们的G-RAG模型在现有ODQA方法中表现出色，通过利用文档之间的隐性连接和战略性地整合AMR信息，显著提高了识别有价值信息的能力。尽管预训练的LLM在重排序任务中的表现可能不尽如人意，但对其进行微调可能极大地提升RAG系统的表现。未来的研究方向包括设计更复杂的模型来更好地处理AMR信息，以及探索更高级的方法来解决LLM产生的排名分数中的平局问题。

参考文献
1. Wang, C., et al. (2023). “Graph as Tokens: Representing Text as Graphs for Neural Network Processing.” Retrieved from https://github.com/wangcunxiang/Graph-aS-Tokens/tree/main
2. BERT: Bidirectional Encoder Representations from Transformers. (2019) Retrieved from https://arxiv.org/abs/1810.04805
3. AMRBART: AMR Parsing with BART. (2020) Retrieved from https://arxiv.org/abs/2008.02759
4. PaLM 2: A Next-Generation Language Model. (2022) Retrieved from https://arxiv.org/abs/2204.02311
2024 年 5 月 29 日
揭秘Caddy 2 + PHP-FPM 部署WordPress的卡顿谜团
大家好，今天我将带您走进一个神秘的领域——Caddy 2 服务器与 PHP-FPM 部署的 WordPress 的卡顿现象。为什么我们辛辛苦苦搭建的网站会卡顿？让我们一探究竟。

1. 初识Caddy 2与PHP-FPM

首先，让我们简单介绍一下Caddy 2和PHP-FPM。Caddy 2 是一款现代化的开源Web服务器，因其自动HTTPS配置和简洁的配置文件赢得了广泛的好评。PHP-FPM（PHP FastCGI Process Manager）则是一个专为处理PHP请求优化的进程管理器，常用于提高网站性能。

2. 卡顿现象的初步排查

2.1 服务器资源不足

当我们发现WordPress网站卡顿，首要怀疑的就是服务器资源不足。检查CPU使用率和内存占用情况是否过高。如果是的话，可能需要升级服务器配置。

2.2 网络带宽问题

网络带宽不足同样会造成网站卡顿。使用工具如 ping 和 traceroute 检查网络延迟和丢包率。如果网络状况不佳，可以尝试联系服务提供商解决。

2.3 数据库性能

WordPress的数据库性能也至关重要。使用 SHOW FULL PROCESSLIST; 命令检查MySQL数据库是否有慢查询，或者配置查询缓存来提高性能。

3. 深入探讨Caddy 2与PHP-FPM的优化

3.1 Caddy 2 的优化

Caddy 2 默认的配置已经相当不错，但我们可以进一步优化：
```
{
    auto_https off
    http_port 80
    https_port 443
}

example.com {
    root * /var/www/html
    php_fastcgi unix//run/php/php7.4-fpm.sock
    file_server
    encode gzip
}
```
- gzip压缩：启用gzip压缩可以减少传输数据量，提高加载速度。
- 缓存：配置缓存以减少对服务器的压力。
3.2 PHP-FPM 的优化

PHP-FPM 的配置文件通常位于 /etc/php/7.4/fpm/pool.d/www.conf：
```
pm = dynamic
pm.max_children = 50
pm.start_servers = 5
pm.min_spare_servers = 5
pm.max_spare_servers = 35
pm.max_requests = 500
```
- pm.max_children：设置能够处理的最大并发请求数。
- pm.max_requests：设置每个子进程在重启前处理的最大请求数，避免内存泄漏。
4. WordPress的优化

4.1 插件管理

尽量减少并优化插件，特别是那些影响性能的插件。使用插件如 Query Monitor 来监控性能瓶颈。

4.2 缓存插件

使用缓存插件如 W3 Total Cache 或 WP Super Cache，可以显著提高页面加载速度。

4.3 图像优化

图像通常是页面加载时间的主要因素之一。使用插件如 Smush 来优化图像大小。

5. CDN加速

将静态资源（如图片、CSS、JS）托管到CDN（内容分发网络）上，可以显著提高加载速度，减轻服务器负担。

结论

通过以上措施，我们可以有效解决Caddy 2 + PHP-FPM 部署的WordPress网站卡顿问题。当然，实际情况可能千差万别，您需要根据具体情况进行调整和优化。希望这篇文章对您有所帮助！

参考文献：
2024 年 5 月 29 日

作者： admin

不要忘记连接！用基于图的重排序提升RAG的表现

认识一下RAG：文本生成的超级英雄

G-RAG：图神经网络的魔力

为什么重排序很重要？

现有方法的不足

我们的解决方案

实验结果

结论与未来展望

参考文献

揭秘Caddy 2 + PHP-FPM 部署WordPress的卡顿谜团

1. 初识Caddy 2与PHP-FPM

2. 卡顿现象的初步排查

2.1 服务器资源不足

2.2 网络带宽问题

2.3 数据库性能

3. 深入探讨Caddy 2与PHP-FPM的优化

3.1 Caddy 2 的优化

3.2 PHP-FPM 的优化

4. WordPress的优化

4.1 插件管理

4.2 缓存插件

4.3 图像优化

5. CDN加速

结论