通过思维链、检索增强生成以及微调技术来提升基于大语言模型(LLM)的建筑数据查询性能

《AUTOMATION IN CONSTRUCTION》:Enhancing LLM-based building data query with chain-of-thought, retrieval-augmented generation, and fine-tuning

【字体: 大 中 小 】 时间:2025年12月31日 来源:AUTOMATION IN CONSTRUCTION 11.5

编辑推荐:

  自然语言查询建筑语义模型,提出BuildingGPT2框架,结合大语言模型微调、向量图检索增强生成和思维链提示,显著提升SPARQL生成准确率至97.11%,降低技术门槛。

  
李明晨 | 胡子祺 | 帕拉斯图·莫赫比 | 李书豪 | 王哲
中国香港香港科技大学土木与环境工程系,沿海城市气候韧性国家重点实验室(SKLCRCC)

摘要

为了提高能源效率和用户满意度,现代建筑收集了大量运行数据和传感器数据。针对建筑的语义模型,如资源描述框架(RDF)和Web本体语言(OWL)中表达的Brick模式,已经标准化了设备、点和系统的表示方式。然而,非专家用户仍然面临访问这些数据的障碍,因为有效使用这些数据需要掌握SPARQL协议和RDF查询语言(SPARQL),以及导航成千上万的互连节点和关系。本文提出了BuildingGPT2框架,该框架结合了大型语言模型的微调、基于向量图的检索增强生成和思维链提示技术,实现了基于Brick模型的自然语言查询。该框架在40个真实建筑的语义模型上进行了训练,并在5个保留的建筑上进行了零样本评估。使用LLaMA 3.1–70B模型后,SPARQL查询的准确率从49.25%提高到了97.11%,大大降低了与建筑语义模型交互的难度。

引言

为了在降低能耗的同时改善室内环境质量,现代建筑越来越依赖广泛的传感器网络来收集关于温度、设备状态、能源管理和运行条件的实时数据[1]。这些传感器生成了大量的异构数据流,给数据管理和分析带来了前所未有的挑战。为了实现标准化集成和跨系统互操作性,开发了领域本体,例如Brick Schema[2],这是一个基于RDF/OWL的开放建筑本体,为设备/点/空间/系统提供了类和关系(例如hasPoint、isPartOf、feeds),以支持互操作的语义。通过利用语义网技术,Brick Schema为建筑设备、空间和系统提供了统一的表示方式,明确定义了它们的类和关系,从而提高了建筑数据的管理、互操作性和可用性[3,4]。现在也有方法可以将建筑信息模型(BIM)转换为基于Brick的语义模型[5]。这类建筑语义模型通常以RDF/TTL格式发布,典型的例子可以在公开可用的数据集中找到,如Mortar[6]、HKUST Meter Data[7]和故障检测数据集[8]。
然而,查询这些模型不仅需要掌握SPARQL[9],还需要预先了解数千个实体的命名约定以及将它们连接起来的语义关系,以便构建有效的查询。作为W3C标准的RDF图查询语言,SPARQL仍然是不可或缺的,因为它唯一支持多跳遍历、类类型化和约束检查,这对于准确和互操作地访问基于RDF的建筑数据至关重要。例如,要检索特定房间的温度,通常需要知道其确切的实体名称(例如ns2:bldg4.ZONE.AHU01.RM1100.Zone_Air_Temp),然后才能编写正确的SPARQL查询来获取相应的时间序列数据标识符。这些复杂性严重限制了非技术用户,特别是建筑运营人员有效访问语义数据的能力,导致有价值的信息在运营决策中未能得到充分利用[10]。尽管像Cypher这样的属性图查询语言对从业者来说可能更易于使用,但从RDF到属性图的转换经常无法保留语义等价性。最近的评估报告显示,使用现有转换器时,查询答案的准确性损失高达约70%,而且RDF和属性图本身并不具有原生互操作性[11,12]。因此,迫切需要一种更直观的、基于自然语言的交互方式来提高对建筑语义数据的访问性。
在计算机科学界,越来越多的研究探索了自然语言到SPARQL的生成方法,引入了诸如三重增强的大型语言模型(LLM)[13]、思维链引导的生成[14]、基于检索的上下文学习[15]以及为SPARQL代理新策划的基准测试[16]等方法。这些方法在DBpedia[17]和Wikidata[18]等开放领域知识图上取得了有希望的性能,其中实体通常与自然语言表达紧密对齐。然而,建筑领域带来了独特的挑战:实体通常用项目特定的标识符表示(例如ns2:bldg4.ZONE.AHU01.RM1100.Zone_Air_Temp),这些标识符无法通过简单的关键词匹配或语义相似性可靠地解析。因此,将通用文本到SPARQL的方法直接应用于建筑语义模型仍然存在不确定性。在建筑领域,已经尝试使用零样本LLM来查询Brick类和关系,但尚未充分解决实体级别的任务[19]。因此,仍然需要一个能够进行稳健的实体消歧和多跳推理的定制框架。
为了解决这一差距,本文提出了一种创新框架,利用大型语言模型实现建筑语义数据的自然语言查询,减少了用户对语义网技术的依赖,使从业者和研究人员能够通过自然语言直接访问复杂的语义建筑模型。具体来说,本文设计并验证了一种方法,该方法整合了检索增强生成(RAG)、微调和思维链(CoT)推理等关键技术,有效结合了语义检索和语言生成。实验结果表明,这种方法显著提高了SPARQL查询生成的准确性,能够高效地从建筑语义数据中检索相关信息。这降低了访问语义模型的技术障碍,提高了建筑数据的可用性,并促进了语义模型在建筑运营和管理中的更广泛采用。

文献综述

文献综述

第2节回顾了关于自然语言与建筑数据交互的先前研究。第一部分分析了依赖于传统NLP和机器学习技术的预LLM方法,用于在建筑环境中进行查询解释和知识提取。下一部分总结了最近基于LLM的方法在查询、设计和施工管理应用中的应用,特别关注了提示工程、RAG和微调在增强领域知识方面的作用

研究方法

本节介绍了用于开发和评估提出的BuildingGPT2框架的整体方法论,该框架用于建筑语义模型的自然语言查询。第3.1节介绍了端到端的研究框架,该框架将检索增强生成与基于SPARQL的Brick模型访问相结合。第3.2节详细介绍了向量图RAG(VG-RAG)模块的设计,该模块结合了语义向量搜索和图结构化索引,提供了细粒度的

框架开发

本节详细介绍了BuildingGPT2框架的开发过程,从数据资源到检索和模型适配。第4.1节介绍了支撑所有后续实验的Mortar Brick模型数据集,并定义了查询操作的语义空间。第4.2节介绍了RAG框架的设计,包括构建双图-向量数据库和用于SPARQL生成的检索增强提示流程。第4.3节描述了微调后的LLM组件

结果

本节展示了BuildingGPT2框架的实证结果。第5.1节通过在基于Brick的建筑模型上比较SPARQL查询生成和执行与GPT-4o的表现,验证了所开发框架的有效性。第5.2节报告了在来自未见过的Brick模型的合成测试数据集上的定量评估结果,突出了检索增强、思维链推理和领域特定微调对整体SPARQL查询的贡献

讨论

本研究表明,结合微调、基于图的检索(VG-RAG)和CoT显著提高了大型语言模型生成准确SPARQL查询的能力,用于建筑语义数据。所提出的BuildingGPT2框架将平均查询准确率从49.25%(基础模型)提高到了97.11%,特别是在推理深度、实体歧义性和语法精度至关重要的复杂数据集中表现尤为突出。

结论

像Brick这样的建筑语义模型已成为标准化建筑设计和运行数据表示和管理的基础。然而,有效地与这些模型交互仍然是一个技术挑战,特别是对于不熟悉图数据库、RDF、SPARQL或定义建筑语义结构的数千个节点和关系的用户而言。这一障碍限制了语义模型在现实世界应用中的潜力,例如暖通空调(HVAC)系统

CRediT作者贡献声明

李明晨:撰写——原始草稿、可视化、验证、方法论、形式分析、数据整理。胡子祺:撰写——原始草稿、方法论。帕拉斯图·莫赫比:撰写——原始草稿、可视化。李书豪:撰写——原始草稿、验证。王哲:撰写——审阅与编辑、项目管理、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

作者感谢沿海城市气候韧性国家重点实验室(ITC-SKLCRCC26EG01)的支持。本研究得到了中国香港特别行政区创新和技术委员会(ITC)的支持,属于“大规模商业建筑的暖通空调系统的语义AI赋能故障检测和控制优化”项目(项目编号PRP/061/23FX),属于2025年合作研究计划(PRP)的一部分。本研究是
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号