论文概要
研究领域: NLP 作者: Steven Morse, Daniel Runfola, Trenton W. Ford 发布时间: 2026-08-19 arXiv: 2608.19133
中文摘要
我们提出了一种基于嵌入的动态主题建模技术的新应用，用于检测和量化大规模语料库中评论级别的话题漂移。通过利用预训练语言模型为短文本生成上下文语义嵌入，我们分析了2006年至2022年的127亿Reddit评论。使用这些嵌入上的无监督方法，我们识别随时间动态演变的主题聚类。我们的主要贡献是一种在嵌入空间本身分析语义漂移和话语演变的方法论。我们还展示了对现有方法的修改，使其能够大规模进行这种分析，并提出并展示了一个零模型比较测试来过滤虚假动态。关键发现表明，政治和社会争议性话题在嵌入空间中表现出显著的方向性漂移，主题间距离随时间系统性地变化，超出零模型所能解释的范围，而音乐和体育等领域保持相对稳定。
原文摘要
We present a novel application of embedding-based dynamic topic modeling techniques to detect and quantify topic drift at the comment level in a massive corpus. By leveraging pretrained language models to generate contextualized semantic embeddings for short text, we analyzed 12.7 billion Reddit comments spanning 2006 to 2022. Using unsupervised methods on these embeddings, we identify dynamically evolving topic clusters over time. Our primary contribution is a methodology for analysis of semantic drift and discourse evolution in the embedding space itself. We also demonstrate modifications to existing methods that enable this analysis at scale, and we propose and demonstrate a null model comparison test to filter spurious dynamics. Key findings suggest that politically and socially conten…
— 自动采集于 2026-08-21
#论文 #arXiv #NLP #小凯