一种用于准确识别参考集的 DEA–模糊聚类混合方法

《Machine Learning with Applications》:A hybrid DEA–fuzzy clustering approach for accurate reference set identification

【字体: 大 中 小 】 时间:2025年12月11日 来源:Machine Learning with Applications 6.1

编辑推荐:

  本研究将数据包络分析(DEA)与机器学习(ML)相结合,旨在解决传统DEA在无效率决策单元(DMU)参考集识别中的关键局限。DEA通常以效率前沿上的有效单元作为基准,但其中部分基准可能并不合适,甚至属于离群点,从而扭曲效率前沿并影响无效率单元的改进方向;同时,

  
本研究将数据包络分析(DEA)与机器学习(ML)相结合,旨在解决传统DEA在无效率决策单元(DMU)参考集识别中的关键局限。DEA通常以效率前沿上的有效单元作为基准,但其中部分基准可能并不合适,甚至属于离群点,从而扭曲效率前沿并影响无效率单元的改进方向;同时,当新增DMU时,传统DEA往往需要重新求解全部模型,面对大规模数据时计算成本较高。为克服上述问题,研究人员提出一种融合模糊C均值(FCM)与可能性模糊C均值(PFCM)的混合框架,利用欧氏距离(Euclidean distance)与隶属度(membership degree)识别更接近且更相关的参考单元,并通过敏感性阈值控制基准数量以适配实际需求。方法在银行数据集与包含1372个样本的纸币鉴别数据集上验证,结果显示,该基于ML的参考集与DEA结果的一致性达到71.6%–98.3%,同时缓解了对数据规模敏感与纳入不适当参考单元两大问题。置信区间与McNemar检验进一步证明了结果的稳健性与实践意义。
本研究提出一种将DEA与模糊聚类相结合的混合框架,针对传统DEA在参考集构建中的两个突出问题展开:一是参考单元可能距离过远或不具代表性,二是在大规模数据下重新求解DEA模型计算代价高。研究人员首先利用DEA识别有效DMU及其参考集,再将有效DMU固定为聚类中心,采用FCM与PFCM对无效率DMU进行软聚类(soft clustering),并通过隶属度与典型度(typicality)衡量无效率单元与候选基准的相对接近性。在此基础上,研究人员设置敏感性阈值,将隶属度达到阈值的有效单元纳入参考集,从而形成更贴近实际的基准选择规则。为解决新增DMU带来的重算问题,研究还设计了增量更新机制,仅对新加入单元及既有有效单元重新识别,而无需重算全部DEA模型。实证部分采用60家银行数据集与1372条纸币鉴别数据集,验证了该方法在参考集识别上的一致性、稳健性与可扩展性。
研究结果表明,所提方法能够在保持与DEA较高一致性的同时,提供更接近无效率单元的参考基准。银行数据案例中,CCR模型识别出17个有效DMU,BCC模型识别出26个有效DMU;以这些有效单元为固定中心后,FCM与PFCM可根据隶属度构造参考集,并在不同阈值k下呈现可控的参考集规模。阈值k=0.058与k=0.1的对比显示,较低阈值可获得更宽泛的参考集,并提升与DEA的重叠程度。纸币数据案例中,CCR模型识别出19个有效DMU,基于k=0.053构建的CCR–FCM与CCR–PFCM参考集与DEA的Intersection Rate(IR)分别达到97.9%和100%,说明该混合框架在大样本场景下仍能稳定复现DEA的有效基准结构。统计检验显示,FCM与PFCM之间一致性较高,且多数DEA与聚类方法的差异并不显著。
从方法论上看,研究人员以DEA先确定有效前沿,再以固定中心模糊聚类筛选参考集,形成“先效率识别、后近邻筛选”的两阶段框架。FCM与PFCM用于软聚类,PFCM进一步引入典型度以增强抗噪性;阈值k用于控制参考集包含标准;此外,研究还使用Bootstrap DEA、置信区间、McNemar检验与Jaccard指数等统计工具评估稳健性。
研究结果分为以下几个层面:
一是参考集一致性。通过与CCR、BCC参考集比较,FCM/PFCM在多数DMU上至少与DEA共享一个参考单元,说明其能够保留DEA的核心基准信息。
二是阈值敏感性。随着k增大,参考集收缩;k=1/L(L为有效DMU数)被证明是合理基线,可保证每个无效率DMU至少保留一个上平均隶属度的参考单元。
三是前沿稳健性。Bootstrap DEA显示,银行案例中的17个有效DMU在重复抽样中稳定保持有效,说明所选有效前沿具有较强统计稳定性。
四是统计一致性。置信区间分析显示,DEA与聚类方法之间的重叠率总体较高;McNemar检验表明,FCM与PFCM相较传统DEA并不存在显著差异,差异主要出现在BCC与CCR之间,这与两者规模报酬假设不同一致。
五是计算优势。复杂度分析与运行时间实验表明,DEA随DMU数量增长计算开销显著上升,而固定中心FCM/PFCM的增长更平缓,更适合大规模数据。
讨论部分指出,传统DEA在构造参考集时往往将所有参与支撑超平面的有效单元都纳入基准,其中部分单元可能与无效率DMU差异较大,甚至因离群特征而成为不理想的参照对象。相比之下,本研究的模糊聚类框架以距离和隶属度为依据,更强调“接近性”和“代表性”,因此能够筛选出更实用的参考单元。讨论还表明,FCM与PFCM结果高度一致,说明该软聚类策略在DEA参考集识别中具有稳定性;同时,增量更新机制减少了新增DMU时的重复计算,使该方法更适于大样本与动态场景。作者在结论中强调,该混合DEA–ML框架不仅提升了参考集识别的合理性,也增强了对离群点和数据规模变化的鲁棒性,并为后续将参考集用于分类、异常检测及其他决策支持任务提供了基础。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号