基于模糊熵与方差的数据可排序性度量新方法及其在体育排名中的验证
《IEEE Open Journal of the Computer Society》:On the fuzzy entropy and the rankability of data
【字体:
大
中
小
】
时间:2025年12月12日
来源:IEEE Open Journal of the Computer Society 8.2
编辑推荐:
本文针对数据可排序性(Rankability)评估这一复杂问题,提出了一种新颖的基于模糊熵(Fuzzy Entropy)和方差的计算方法(EnRankability)。该方法旨在克服现有方法(如Redge1和Rspec2)计算成本高或依赖大规模数据训练的局限性,提供一种高效且可解释的排序可靠性度量。研究通过大西洋海岸联盟(Atlantic Coast)、山地西部联盟(Mountain West)足球赛事及辛格菲尔德杯(Sinquefield Cup)国际象棋比赛数据验证,表明该方法与广泛使用的Elo评分系统具有更高的斯皮尔曼(Spearman)和肯德尔(Kendall)相关系数,为数据科学中的排序可信度评估提供了新工具。
在当今数据驱动的世界里,从搜索引擎的结果排序到电商平台的商品推荐,再到体育比赛的队伍排名,我们无时无刻不依赖于各种排序算法。然而,一个常常被忽视的关键问题是:这些排序结果本身可靠吗?输入数据是否本身就支持一个清晰、稳定的排序?这就是“可排序性(Rankability)”研究要解决的核心问题。与生成具体排序列表的“排序(Ranking)”不同,可排序性旨在量化一个数据集支持产生有意义、一致排序的能力,或者说,是给排序结果的“可信度”打分。想象一下,一个循环赛的结果如果形成的是一个所有队伍互相克制的“循环”(如图1(b)所示),那么任何试图给出的绝对排名都会充满争议,其可排序性自然很低;反之,如果一个比赛结果呈现出一条清晰的“食物链”(如图1(e)所示),那么排名就非常明确,可排序性很高。尽管可排序性概念由Anderson等人于2019年正式提出,但其评估方法仍面临挑战,现有技术或需要解决大型矩阵的特征值问题,或需训练复杂的回归模型,计算开销巨大。
r_b ; d)cyclic graph 0≤ r_b<1 ; c) tree graph 0r_b ; d)completely connected, 0r_d ; e) complete dominance completely connected, 0r_d ; e) complete dominance graph, r_e=1 ;(adapted from Paper[2] of Fig.3).">
为了解决这一难题,由Lingping Kong、Juan D. Velasquez、Millie Pant、Jeng-Shyang Pan和Vaclav Snasel(通讯作者)组成的研究团队在《IEEE Open Journal of the Computer Society》上发表了一项研究,引入了一种基于信息论中“熵(Entropy)”和统计中“方差(Variance)”的全新可排序性度量方法。该方法计算高效,旨在为评估排序可靠性提供一个新鲜且实用的视角。
为了验证其提出的方法(命名为EnRankability),研究人员主要采用了以下关键技术路径:首先,将比赛数据(如球队间的胜负关系)转化为成对比较矩阵(Pairwise Comparison Matrix),其中矩阵元素Mij表示项目i相对于项目j的优劣(1为胜,0为负,0.5为平)。其次,对矩阵行进行归一化处理,并应用卢卡-特米尼(Luca and Termini)模糊熵公式计算每行(即每个项目相对于其他所有项目)的排序不确定性。最后,计算所有行熵值的方差,并将其归一化作为最终的可排序性得分(EnRank)。高分表示数据内部排序一致性高,低分则表示排序模糊不清。研究使用了大西洋海岸联盟(1995-2003年)和山地西部联盟(1999-2011年)的大学足球比赛数据,以及2013年至2019年的辛格菲尔德杯国际象棋比赛数据作为验证样本。评估时,将不同方法计算出的可排序性得分与经典的Elo评分系统在每个赛季或比赛回合的更新结果进行对比,采用斯皮尔曼等级相关系数(Spearman's rank correlation)和肯德尔τ系数(Kendall's tau)来衡量不同可排序性方法与Elo评分一致性之间的关联强度。
研究结果清晰地展示了新方法的有效性。在大西洋海岸联盟足球数据上,新方法(EnRankability)与Elo评分的斯皮尔曼相关系数高达0.9205,肯德尔τ系数为0.8170,均显著高于对比方法Rspec2(斯皮尔曼0.6781,肯德尔τ 0.4932)。这表明新方法测得的可排序性变化与Elo评级所反映的排名稳定性有更强的关联。在辛格菲尔德杯国际象棋数据上,新方法与Elo评分的相关性(斯皮尔曼0.8929,肯德尔τ 0.8095)也略优于Rspec2方法(斯皮尔曼0.8571,肯德尔τ 0.7143)。然而,在山地西部联盟足球数据上,Rspec2方法表现更佳。这种差异表明,不同方法可能在不同类型的数据集上各有优势,但也凸显了新方法在多个场景下的竞争力。
除了整体相关性,研究还深入分析了可排序性在更细粒度上的表现。对每年或每轮比赛的可排序性得分进行排序比较发现,新方法在大多数情况下与Elo评级得出的排序一致性更为接近。例如,在表4所示的年度数据中,对于存在争议的年份,新方法的排序结果与Elo评级的一致性优于Rspec2方法。这种细粒度的分析进一步证实了新方法在捕捉数据内在排序能力方面的敏感性。
研究还提供了可排序性矩阵及其对应有向图的直观展示(如图3所示),这有助于理解数据中存在的优势关系模式,使得可排序性不仅仅是一个抽象的数字,而是可以与具体数据结构关联起来的度量。
本研究成功地提出并验证了一种基于模糊熵和方差的可排序性新度量方法(EnRankability)。该方法的核心优势在于其计算效率和对排序不确定性的直观度量能力,避免了现有方法中复杂的特征值计算或对大量训练数据的依赖。实验结果表明,该方法在真实的体育比赛数据上与广泛认可的Elo评分系统具有高度相关性,尤其在足球联赛数据上表现优异,证明了其有效性和实用价值。
当然,该方法也存在一些局限性,例如其得分值域不在[0,1]范围内,需要通过归一化进行解释。此外,可排序性作为一个新兴领域,尚未有统一的“金标准”,需要更多研究来建立更完善的评估框架。尽管如此,这项研究为数据可排序性评估提供了一种简洁而强大的新工具,推动了该领域的发展。未来工作可以探索该方法在其他领域的应用,如社交网络影响力分析、学术论文引用排名等,并进一步研究如何利用可排序性指标来指导数据收集,从而主动提升排序系统的可靠性。正如文章所指出的,可排序性研究方兴未艾,社区需要持续的努力和创新来深化我们对复杂系统中排序行为的理解。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号