《Electronics》:An Entity-Centric Real-Time Event Detection Framework for Thai Social Media Using Multi-Granularity TCC-Aware Named Entity Recognition
编辑推荐:
从社交媒体进行实时事件检测对于应急响应、公共安全与态势感知日益重要。然而,由于泰语属于无显式词边界的低资源语言,且社交媒体文本常具非正式书写、拼写变体与噪声用户生成内容特征,准确识别泰语社交媒体中新兴事件仍具挑战。研究人员提出一种面向泰语社交媒体的实体中心化实
从社交媒体进行实时事件检测对于应急响应、公共安全与态势感知日益重要。然而,由于泰语属于无显式词边界的低资源语言,且社交媒体文本常具非正式书写、拼写变体与噪声用户生成内容特征,准确识别泰语社交媒体中新兴事件仍具挑战。研究人员提出一种面向泰语社交媒体的实体中心化实时事件检测框架,其核心信息抽取组件采用多粒度泰语字符簇(Thai Character Cluster, TCC)感知命名实体识别(NER)模型。所提NER架构通过基于注意力的特征融合机制,整合上下文词嵌入、字符级表示、TCC特征与词性(Part-of-Speech, POS)嵌入,以提升噪声条件下的实体识别性能。识别出的实体随后作为语义锚点,在统一流式框架内用于事件构建、聚类、时间趋势分析、事件排序与告警生成。事件发现结合基于密度的带噪声空间聚类(Density-Based Spatial Clustering of Applications with Noise, DBSCAN)与基于指数移动平均(Exponential Moving Average, EMA)的时间分析,实现新兴事件实时识别。在大规模泰语社交媒体语料上的实验表明,所提模型在命名实体识别上取得94.14%的F1值,下游事件检测达92.2%的F1值,优于代表性基线方法。补充的消融研究、定性错误分析与统计显著性检验证实了多粒度表示的有效性。结果表明,所提框架为低资源语言环境下的实时事件监测提供了有效解决方案。
研究背景方面,社交媒体平台(如X)已成为实时信息重要来源,但泰语作为无显式词边界的低资源语言,叠加社交媒体非正式书写、拼写变体、缩略语与语码混合等噪声,使传统依赖关键词频率或主题模型的事件检测方法难以准确抽取事件要素(何时、何地、何人、何组织)。现有泰语NER多聚焦词级或子词级上下文嵌入,未动态建模不同语言粒度的重要性,且少有研究将语言增强NER嵌入端到端实时事件检测流水线。为此,研究人员开展一项面向泰语社交媒体的实体中心化实时事件检测研究,发表于《Electronics》。该研究提出以多粒度TCC感知BiLSTM-CRF模型为核心抽取组件的统一框架,得出NER的F1达94.14%、事件检测F1达92.2%的结论,证明在低资源无分词语言环境下,实体中心化范式比关键词范式更具可解释性与鲁棒性。
关键技术方法上,研究人员通过X开发者API连续30天采集泰语推文,经语言过滤与噪声移除获128,450条原始推文,其中92,381条构成BIO标注九类实体语料(训练70%/验证20%/测试10%),另辅以泰国美术厅文化遗产本体作外部语义资源但不参与训练。NER端采用WangChanBERTa生成上下文词嵌入,字符级与TCC级各经CNN最大池化,POS经可训练嵌入,四路特征由注意力机制动态加权融合后送入BiLSTM与CRF解码;事件端以60秒滑窗、5秒触发一次,用DBSCAN(余弦距离ε=0.45、minPts=5)对实体中心表示聚类,EMA(α=0.3)判突发,复合权重(体积0.4、互动0.25、影响力0.15、实体显著度0.1、突发0.1)排事件重要性,MMR抽3句摘要,±30分钟容差对照人工事件时间线评测。
研究结果部分,第1节引言阐明将事件表示为地点、时间、参与者等语义实体而非关键词集合的动机。第2节相关工作比对TF-IDF+DBSCAN、BERT嵌入+DBSCAN、纯实体聚类等基线,指出已有研究缺多粒度语言知识与端到端流式整合。第3节提出方法详述五阶段流水线:实时采集、预处理(PyThaiNLP分词、TCC切分、WordPiece、POS)、多粒度TCC感知BiLSTM-CRF、实体中心事件构建与DBSCAN+EMA聚类、复合打分排序与MMR摘要及仪表盘告警;其中注意力融合公式为对词嵌入、字符CNN、TCC-CNN、POS嵌入计算softmax归一化权重后加权和,CRF用Viterbi解码最优标签序列。第4节实验设置说明语料规模约458万token、Cohen κ=0.91双人标注一致,基线NER含BiLSTM-CRF、BiLSTM-CNN-TCC-CRF、WangChanBERTa、WangChanBERTa+BiLSTM-CRF。第5节实验结果报告:NER上所提模型精确率94.54%、召回93.78%、F1 94.14%、准确率97.1%,DATETIME/PERSON/LOCATION居首;事件检测Precision 92.5%、Recall 91.8%、F1 92.2%,自然灾害类F1 90.5%最高;消融显示字符CNN(+0.8)、TCC(+0.9)、POS(+0.5)、注意力融合至94.14%;错误分析给出复合地名分词碎裂、makkkk拉长拼写、???????嵌套人地实体三案例,证明多粒度表示修正效果;实时性上吞吐156.8推文/秒、单条端到端6.4毫秒、告警延迟均8.7秒(峰14.3秒),GPU显存<5.8GB。第6节讨论指出PROJECT/CULTURAL_ENTITY因类别不平衡表现偏低,娱乐类事件因语言松散较难,固定排名权重跨域泛化有限,仅单平台泰语限制跨语言扩展,文化遗产本体未入表示学习。第7节结论翻译:本研究提出集成多粒度TCC感知NER与实体中心事件流水线的泰语社交媒体实时检测框架,以WangChanBERTa配字符级、TCC、POS及注意力融合缓解分词歧义与非正式变体;30天语料实验显示NER F1 94.14%、事件检测F1 92.2%,消融与显著性检验确认各组件贡献,实时吞吐与低延迟证明其适于连续监测,为低资源环境事件监控提供基础。