《Frontiers in Physiology》:Physiological relevance and generation-level stability of artificial intelligence-generated race-day warm-up and cool-down plans for sprint swimming: an expert-rated comparison of four large language models
编辑推荐:
背景:基于大型语言模型 (LLM) 的人工智能 (AI) 工具被越来越多地用于生成运动和锻炼训练内容。然而,AI生成的比赛日计划的内容质量、运动专项相关性、安全性以及重复生成的稳定性仍有待充分检验,尤其是在竞技游泳领域。目前尚不清楚不同的AI工具如何辅助教练起
背景:基于大型语言模型 (LLM) 的人工智能 (AI) 工具被越来越多地用于生成运动和锻炼训练内容。然而,AI生成的比赛日计划的内容质量、运动专项相关性、安全性以及重复生成的稳定性仍有待充分检验,尤其是在竞技游泳领域。目前尚不清楚不同的AI工具如何辅助教练起草、比较和完善比赛日准备计划。目的:本研究旨在比较四种基于LLM的公开AI工具为模拟的100米(m)自由泳运动员生成的比赛日热身和赛后即时放松计划的生理学相关性、内容质量和生成级稳定性的专家评分,并明确这些工具如何作为教练监督下的游泳比赛日准备起草和比较辅助手段。方法:采用基于模拟的内容分析设计,具有评分者内重复测量结构。四种AI工具——ChatGPT、Gemini、DeepSeek和Doubao——各自使用相同的标准化详细提示词生成五个独立输出。每个输出包括一份比赛日热身计划和一份赛后即时放松计划。经匿名化和随机化后,32名具有100-m短距离游泳教学或执教经验的专家使用包含40个条目的多维评分工具独立对计划进行评分。评分者间信度通过组内相关系数 (ICC) 和Krippendorff的alpha系数进行评估。主要分析使用累积链接混合模型 (CLMM),以AI模型、部分及其交互作用为固定效应,以评分者、条目和生成ID为随机截距。还进行了探索性领域级和生成级稳定性分析。结果:ChatGPT显示出最高的描述性总体质量。累积链接混合模型显示显著的模型×部分交互作用 (p <.001),表明模型差异在热身和放松部分之间存在差异。ChatGPT在热身部分的评分高于DeepSeek和Doubao,在放松部分的评分高于其他三个模型。探索性领域级分析显示所有10个内容质量领域之间存在差异。生成级稳定性与专家评分质量并不直接对应:Doubao是最稳定的模型,而ChatGPT显示出最有利的总体质量概况但重复生成的变异性较大。结论:基于LLM的公开AI工具可以生成结构化的游泳比赛日热身和赛后即时放松计划,但它们将短距离游泳生理学原理转化为实际处方的技术在各工具和计划部分之间存在差异。在这个模拟的100-m自由泳场景中,ChatGPT显示出最有利的总体专家评分概况,而Doubao产生了更稳定但评分较低的输出。这些发现表明,AI生成的游泳比赛日计划不应作为独立处方使用。相反,它们可以通过提供初步草稿、替代计划结构和更清晰的处方细节来辅助教练,以供进一步专家筛查和修订。关于强度、顺序、恢复、风险管理和个体适应的最终决定应保留在合格的教练监督下。
大型语言模型 (LLM) 作为生成式人工智能 (AI) 的重要分支,正被广泛应用于生成运动与训练计划。然而,现有证据表明,AI生成的计划在科学性、安全性、个体化及实际应用性方面并非始终最优,仍需专家监督。在竞技游泳领域,比赛日准备具有高度的项目特异性。对于100米 (m) 自由泳等短距离冲刺项目,赛前热身不仅是一般的准备活动,更是涉及生理激活、神经肌肉准备及专项技术准备的关键过程,需要在实现充分准备的同时避免不必要的疲劳累积。同时,赛后的积极性恢复也需根据强度和结构进行精细化处方。目前,针对游泳专项的AI生成计划评估证据仍显不足,且不同LLM在相同提示词条件下的生成级稳定性(即重复生成输出的内容质量一致性)也有待探究。为此,研究人员开展了一项研究,旨在比较四种公开LLM工具在生成短距离游泳比赛日热身和赛后放松计划中的专家评分质量与生成级稳定性。研究得出结论:这些AI工具能够生成结构化的计划,但将其转化为实际生理学处方的能力因模型和计划部分而异。AI生成的计划不应作为独立处方,而应作为教练监督下的起草与比较辅助工具,以提升规划效率并减少不当处方的风险。该研究成果发表在《Frontiers in Physiology》上。
在技术方法上,研究人员采用基于模拟的内容分析设计,使用四种公开网络LLM工具:ChatGPT、Gemini、DeepSeek和Doubao。每款模型在无上下文的独立会话中使用同一标准化中文提示词生成五次独立输出。所有输出经统一格式化、去除模型标识并随机化后,由32名具备100-m短距离游泳执教经验的专家(涵盖校队至国家队各级别)组成样本队列,使用包含40个条目的多维评分工具进行独立匿名评分。数据分析采用累积链接混合模型 (CLMM,一种适用于处理有序分类变量及重复测量数据的统计模型) 评估模型差异,并运用Friedman检验及变异系数 (CV%) 等进行领域级和稳定性分析。
在研究结果方面,具体分为以下几个部分:
专家评分的描述性统计:通过对各模型生成的计划进行评分汇总,发现ChatGPT在热身、放松及总体质量上的描述性平均得分均最高;Gemini和DeepSeek得分相近且居中;Doubao得分最低。这初步揭示了不同模型在内容质量上的差异。
主要CLMM结果:通过累积链接混合模型分析,发现存在显著的模型×部分交互作用 (p <.001),表明模型间的质量差异在热身和放松部分有所不同。具体而言,在热身部分,ChatGPT的评分显著高于DeepSeek和Doubao;在放松部分,ChatGPT的评分高于其他三个模型。各模型自身在热身与放松部分之间的评分则无显著差异。
探索性领域级分析:通过对10个预设内容质量领域进行Friedman检验,结果显示四个AI模型在所有10个领域均存在显著差异 (p <.001)。ChatGPT在科学有效性、结构完整性、运动特异性等多个核心领域得分较高;DeepSeek在个体化领域表现突出;而Doubao在运动特异性、安全性和总体质量等领域得分相对较低。
生成级稳定性分析:通过计算五次独立生成版本的均值、极差、标准差和变异系数 (CV%),评估生成级稳定性。结果显示,Doubao的变异性最低(最为稳定),但其平均得分最低;相反,ChatGPT变异性最高,但平均得分最高。这表明生成级稳定性与专家评分质量并不直接对应。
在讨论与结论部分,研究人员指出,公开的LLM工具能够将标准化场景转化为可编辑的结构化计划,但在将短距离游泳生理学原则转化为连贯、安全且实用的处方能力上存在差异。ChatGPT表现出最有利的专家评分概况,而Doubao虽最稳定但评分较低。值得注意的是,生成级稳定性与内容质量是两个独立维度,高度稳定的输出仍可能因重复通用模板而缺乏运动特异性细节。因此,AI生成的计划不应作为独立的最终处方,而应整合入教练主导的人机交互流程中。教练应生成多个候选计划,依据游泳专项标准进行筛选与修订,关于强度、顺序、恢复及个体适应的最终决策必须保留在合格教练的监督之下。未来研究应进一步探讨不同泳姿、比赛距离及真实世界中的教练与运动员实施情况。