如果你认为自己能够完成真实场景中的文本转SQL任务

《Communications of the ACM》:If You Think You Can Do Real-World Text-to-SQL

【字体: 大 中 小 】 时间:2026年09月26日 来源:Communications of the ACM 7.1

编辑推荐:

   Michael StonebrakerPeter Baile Chen如果你认为你能实现真实世界的文本到 SQLDOI: https://doi.org/10.1145/3838721https://bit.ly/45JJqeU数据仓库通常需要应对大量的临时查询。它们于20世

  
Michael Stonebraker
Peter Baile Chen
如果你认为你能实现真实世界的文本到 SQL
数据仓库通常需要应对大量的临时查询。它们于20世纪90年代出现,用于支持面向客户的历史数据存储,尤其是销售数据。当时有广泛报道称,它们在不到六个月内就通过更好地轮换库存收回了成本。例如,如果宠物石头已经"过时"而芭比娃娃正"流行",那么就降低宠物石头的价格并将其放在前面;通过大订单与芭比娃娃制造商合作,使竞争对手无法获得商品。
虽然存在一些重复查询(例如,"生成每周销售报告"),但大部分流量是临时的,包括上述例子。历史上,数据仓库由商业智能工具(如 Business Objects、Power BI 和 Tableau)支持。这使得许多查询可以由业务用户通过简单的图形界面来编写。显然,人们希望用自然语言查询数据仓库和其他大型结构化数据存储,以进一步赋能非程序员。这将带来额外的优势,即不需要熟悉定制的用户界面。随着大语言模型(LLM)和代理式 AI 的出现,这成为一种现实的可能性,并且存在公开排行榜以显示有前景的结果。
在 Spider 1.0 上,1排行榜的准确率在80%以上,而在 Bird-SQL 上,2准确率超过90%。然而,这两个基准测试都存在以下问题:
•
数据在"数据堆"中,所以 LLM 可以用它进行训练。广为人知的是,LLM 只能找到它以前见过的数据。我们知道的几乎所有数据仓库都受到严格的企业访问控制,并不公开可用。
•
真实数据仓库存在"模式退化"现象。不可避免地,数据仓库从开始就有结构良好的模式。然而,随着业务条件的变化、公司业务单元的收购或出售,以及法规的变化,典型数据仓库的模式会被不断更新。通常模式变化每年发生多次。如果企业花时间去构建一个结构良好的替代模式,那将非常理想。但通常情况并非如此,模式会随时间推移而"退化"。经过几次这样的变化后,结果是表名和列名变得难以理解。例如,不同表中可能有六个不同的列被标记为"salary"。这样的列可能具有重叠的未记录语义;一个 salary 列可能表示"扣除税款和佣金后的净额",而另一个可能表示"总薪水"。物化视图可能用于加速常用查询。这些特征给 LLM 提供了多种解决查询的方法,也带来了许多烦恼。
•
真实数据仓库通常有独特的数据。例如,在包含学生、教员、建筑、课程等信息的 MIT 管理数据仓库中,有对"J-term"(1月在秋季和春季学期之间的一月份月度学期)和建筑编号(MIT 建筑是编号的,而不是命名的——Stata Center 正式名称为32号楼)的提及。这样的定制信息对 LLM 来说很难处理。
•
真实数据仓库的查询比 Spider 和 Bird-SQL 中由学生生成的查询更复杂。它们很少只涉及一个连接,通常有两个或三个。
Spider 2.0 3解决了最后一个问题,但没有解决前三个问题。这个基准测试的代理式 AI 解决方案排行榜在90%以上。
在我们看来,真实数据仓库都存在上述所有问题。因此,任何文本到 SQL 的基准测试都应该解决真实数据存储的困难。那些没有解决的基准测试仅具有学术兴趣,并不反映现实。

Beaver 基准测试

过去两年,我们一直在尝试基于 LLM 的文本到 SQL 在真实数据仓库上的真实工作负载。我们从上述 MIT 数据仓库开始,这是一个 Oracle 数据仓库,包含1,400多张表,被 MIT 的许多单位(包括 CSAIL)查询。通常,业务用户会提出问题给 IT 人员,IT 人员将请求翻译成 SQL,通常两人之间有澄清对话。我们从 Oracle 日志中获取真实查询,并在真实用户的协助下生成相应的自然语言。这生成了一个(自然语言,黄金 SQL)对集合。后来我们对其他三个数据仓库应用了相同的方法。在获得许可后,我们匿名化并扩展了查询和数据,以产生 Beaver 基准测试。4应该清楚地指出,上述四个问题在这个基准测试中都存在。因此,我们不期望获得与 Spider/Bird 相同的高准确率。关于该基准测试的更多细节已在线发布。5
在这个基准测试上,一个纯 LLM 生成的准确率为零。添加 RAG、提示工程和代理式 AI 将准确率提高到10%以上。参考 Jindal 6获取此类模型的结果。为了获得更高的分数,我们给出了 LLM 中黄金 SQL 的 from 子句中的具体表名,当有多个表时还给出了实际的 join 子句。这生成了30%以上的准确率。Beaver 结果的排行榜在线可用。7注意,这比公开基准测试的准确率低50%以上,这是"技术有前景"与"技术不起作用"之间的区别。
我们欢迎关于如何让 LLM/代理式 AI 技术在真实世界商业应用中更好地发挥作用的系统和想法,我们已公开 Beaver 以协助这一过程。所以放手去做吧!我们自己关于如何做得更好的想法包含在 Rubicon 系统中,8所以请看一下。
从这个讨论中可以得出一个简单的结论:使用传统 LLM/代理式 AI 技术的良好结果可能只会出现在具有干净模式、简单查询和少量独特数据的数据仓库中。否则,尝试 Rubicon 或你自己的好主意。
Photo
Michael Stonebraker 是麻省理工学院计算机科学教授,专门从事数据库管理。因他的贡献,他在2014年获得了 ACM A.M. 图灵奖。
Photo
Peter Baile Chen 是麻省理工学院计算机科学与人工智能实验室的博士生,他与 Michael Stonebraker 合作,专注于 AI 与数据系统的交叉领域。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号