《Nutrients》:Internal Consistency Does Not Validate an LLM-Assisted Nutrition Pipeline: A Reference-Standard-Free Forensic Reliability Audit of 13,073 Free-Text Meal Records
编辑推荐:
背景/目的:大语言模型(large language model, LLM)管线日益将自由文本餐食描述转换为营养素值,但在生产环境中参考标准(reference standard)验证很少可行。研究人员询问此类管线常规通过的对照是否足够,并构建了一个无需参考标
背景/目的:大语言模型(large language model, LLM)管线日益将自由文本餐食描述转换为营养素值,但在生产环境中参考标准(reference standard)验证很少可行。研究人员询问此类管线常规通过的对照是否足够,并构建了一个无需参考标准、任何管线均可在其输出上运行的检验组。方法:研究人员审计了513名成人通过WhatsApp会话代理在哥伦比亚农村记录的13,073餐(2026年2月9日至2026年8月6日)。该管线为来自不同提供商的商业LLM两阶段级联:视觉模型(vision model)将照片渲染为文本,文本模型将这些文本映射为营养素。应用六项预先设定检验,包括对重复字符串进行测试-重测组内相关系数(intraclass correlation coefficient, ICC)(1,1),并按模态分层,因为48.3%记录携带照片。结果:该管线通过所有常规控制(阿特沃特(Atwater)重建能量 r = 0.9951;中位相对误差0.0000),但未通过可重复性。在191个重复字符串(944餐)中,能量ICC点估计为仅文本0.7061(95% CI 0.5419–0.8217)和带照片0.5258(0.3778–0.6513);均未达到0.75。模态是设计控制,而非已确立效应,系数取决于哪些输入重复,因此并非固有。在最严格可用同一性下——字节相同文本、无照片——ICC(1,1)为0.6944。中间文本检查暴露了输出层面不可见的失败:1.44%的带照片记录携带视觉阶段伪影字符串,而仅文本记录为0.01%(ICC为0.0911)。结论:内部一致性不能验证LLM辅助营养管线。该设计测量重复输入下的不稳定性,但未分离其原因。前瞻性测试-重测可重复性是廉价且必要的验收标准;在级联中,还必须检查中间表示。
研究背景与问题:LLM辅助营养管线可将自由文本餐食描述转换为能量、蛋白质、碳水化合物、脂肪、纤维和糖等数值,并已进入消费者应用和公共卫生项目。既有评估几乎全部针对准确性,且多为单次调用、与称重食物或参考成分数据库对照。该设计继承自临床语言模型评估文献,集中于对金标准的平均正确性,并发现模型在总体上回答良好时仍可遵循错误推理路径、对病例呈现方式敏感。问题在于,引擎可以平均准确,却对同一输入每次返回不同数值。准确性与可重复性是不同仪器属性:偏倚但可重复的仪器可校准,不可重复的仪器没有稳定量可校准。部署后若无参考标准,通常只能测量可重复性。重复提交相同输入在医学其他领域已有研究,但其输出为分类或序数变量,而非膳食记录所需的连续营养素值。饮食测量误差会使饮食-疾病关联向零衰减,校正需知道仪器信度;重复测量是估计该稀释的标准途径。数字分布筛查已用于临床试验捏造检测、Benford定律筛查、内窥镜终末数字偏好和营养调查人体测量数据质量,但尚未用于生成式估计器输出。因此研究人员目标为:形式化可移植六项法证检验组;估计运营记录中重复输入上的测试-重测信度;量化由此产生的噪声对营养队列统计功效的成本。关键方法:该研究为对生产系统进行的回顾性可靠性与一致性审计,无参考标准。样本队列来源为BIOMARCADORES-111598代谢风险筛查项目,成人通过WhatsApp会话代理在哥伦比亚Honda (Tolima)和Guacarí (Valle del Cauca)记录膳食;伦理批准来自Universidad Distrital Francisco José de Caldas的Comité de ética en Investigación。审计窗口为2026年2月9日至2026年8月6日,语料为13,073餐来自513 registrants。管线为两阶段商业LLM级联:视觉模型先将照片转写为西班牙语文本,文本模型再将文本映射为六个数值字段。六项预设检验包括终末数字分布、网格依从性与分辨率、测试-重测ICC
(1,1)、方差分解与衰减、终末数字检验特异性模拟、中间文本审查。ICC置信区间通过对字符串而非行进行bootstrap获得。结果:3.1 引擎通过所有常规质量控制。研究人员发现报告能量与由Atwater因子重建能量相关系数 r = 0.9951(95% CI 0.9950–0.9953),中位相对误差0.0000,96.2%的餐食在±10%内,内部合理性约束几乎从未违反。3.2 终末数字分布(T1)。能量最极端:92.29%非零值以0或5结尾,熵为1.2900 bits(可能值3.3219 bits),13,073餐中仅762个不同值,χ
2 = 61,730,9 df,p < 0.001;纤维为内部阴性对照,排除零后18.43%在{0,5},熵最高3.1838 bits;糖存在零膨胀陷阱,排除零后{0,5}比例从92.34%降至61.72%。3.3 网格依从性与分辨率(T2、T3)。92.30%能量值为5的精确倍数,73.34%为10的倍数,29.61%为25的倍数;有效分辨率为13,073条记录中762个不同值。3.4 引擎不自我复制(T4)。在191个重复三次及以上的标准化字符串(944餐)中,能量字符串内变异系数(coefficient of variation, CV)中位数为0.2254,54.45%字符串CV超过0.20,仅2.09%每次得到完全相同的值。按输入模态分层,仅文本能量ICC
(1,1)点估计0.7061(95% CI 0.5419–0.8217),带照片0.5258(95% CI 0.3778–0.6513),均未达到0.75。3.4.1 模态差异不稳健。能量层间ΔICC = 0.1803(95% bootstrap CI ?0.0164至0.3658;P(text > photo) = 0.964),降低重复阈值至两次后对比衰减至0.0857;同一字符串内配对比较中位CV文本0.1831、照片0.2899,但配对差异为零(Wilcoxon p = 0.7922);排除占位文本后方向不变。故模态是设计控制,非已确立效应。3.4.2 信度强烈依赖描述特异性。字符串内变异随描述长度单调下降,CV与词数的Spearman ρ = ?0.5931,p = 1.57 × 10
?19;一至两词字符串信度仅0.5668,六词及以上达0.9181;单registrant字符串ICC 0.8535,而跨registrant共享字符串0.5632;将重复阈值提高至五次或十次,估计基本不变。3.4.3 复制与真实重提交的差距。167/191字符串(87.4%)含单一原始形式,覆盖745/944复制;限制于字节相同集合能量ICC为0.5985,而全部191为0.5905。带照片记录中图像每次不同,不属传统测试-重测信度。应用最严格同一性——字节相同原始文本且无照片——剩余74字符串、298复制,能量ICC
(1,1)为0.6944,仍低于0.75。3.4.4 一致性并非同一registrant重复记录造成。每registrant每字符串保留一条记录后,所有层估计下降;仅文本从0.71降至0.63,各层均未达0.75。3.5 方差分解。字符串内均方(mean square within, MSW)为15,601 kcal
2,即SD = 124.9 kcal,为语料中位能量420 kcal的29.7%;真实字符串间方差为22,500 kcal
2;重复字符串子集中41.1%方差为估计器噪声,全语料中为30.2%。噪声依长度变化:一至两词MSW 24,634 kcal
2,三至五词10,782 kcal
2,六词及以上1,342 kcal
2。3.6 量化衰减。在62名有实验室空腹血糖且至少记录五餐的女性子队列中,调和均值k
? = 12.55餐/参与者,σ
2e = 15,601 kcal
2时,个人均值噪声1243 kcal
2,观察到的参与者间方差5922 kcal
2,λ
person = 0.79,相关衰减因子√λ = 0.889。80%功效下最小可检测相关从0.3494升至0.3931(+12.5%),有效样本量从62降至49。所有六种饮食-血糖关联均零;校正后最大关联从|r| = 0.1430至0.161,仍低于0.3494,故估计器噪声不解释零结果。3.7 终末数字检验特异性。五个模拟非生成机制中三个被标记,包括成分表显示舍入和人类自报数字堆积;未舍入精确查表和舍入回归输出未被标记,说明该检验检测舍入而非生成机制。3.8 视觉阶段静默失败。照片伴随记录中1.44%携带视觉阶段伪影字符串,仅文本记录为0.01%,优势比(odds ratio, OR)98.6,98.9%伪影字符串伴随照片;这些字符串近纯噪声,能量ICC 0.0911;排除后照片层信度从0.5258升至0.5720,合并估计从0.5905升至0.6088,但不改变主要结论。讨论部分:4.1 主要发现。常规质量控制未涉及可重复性或效度;部署LLM营养引擎通过Atwater一致性等全部常规控制,却未通过重复输入可重复性。参与者输入“huevo”可得到68至860 kcal。级联中视觉阶段会静默发出“comida analizada”等伪影,下游仍赋数值,故审计级联必须检查中间表示。信度随描述特异性陡升,平均多餐可部分修复暴露,λ
person = 0.79;但噪声不解释零关联。模态差异不稳健,应作为必须设计控制而非结果。4.2 与现有文献比较。已发表LLM营养评估多为对参考标准的准确性研究,且每项一次调用;PubMed交叉检索未发现测量引擎自身重复输入信度的记录。重复相同医学问题可返回实质不同答案;该研究据称是首个在运营记录中对LLM辅助营养引擎进行自然重复相同文本可靠性审计,并首次将终末数字分析用于生成式估计器输出。饮食评估文献中的人类报告误差与估计器误差额外叠加。4.3 局限。无参考标准;模态对比未确立;T1检测舍入非生成;复制非重测协议;模型版本、采样温度和提供方提示未控;合并ICC依赖重复字符串混合;存在残余测试污染;桥样本功效低;泛化限于农村哥伦比亚西班牙语;级联两阶段混淆且不可固定;单一部署。4.4 启示。建议采用重复输入可靠性审计(repeated-input reliability audit, REPRA):从生产流量抽取至少100个不同输入,匹配真实语料长度和模态混合;在单次会话中对固定模型版本至少重提交三次;模态内保持恒定,文本和照片分别作为独立臂;计算ICC
(1,1)并报告每营养素;预先固定阈值决策;检查输出分布;若为级联,审计并冻结中间表示。该回顾性设计可执行部分步骤,但未能固定模型版本和重放相同图像。期刊和审稿人应将前瞻性测试-重测可重复性作为LLM连续值测量仪器的预期评价项;队列研究应报告每参与者记录调和均值、估计器内变异和λ。研究结论翻译:内部一致性不能验证LLM辅助营养管线。引擎可以几乎完美地由其自身宏量营养素重建能量值,却仍无法在相同文本重复出现时返回相同数值。该回顾性设计确立的是部署管线在相同或近相同输入重复出现下的不稳定性;它未分离估计器噪声与模型版本漂移,且对带照片记录,复制并非完全相同的多模态输入,因为图像每次不同。在该语料允许的最严格定义下——字节相同原始文本且无照片——能量系数为0.6944,仍低于预设阈值,因此该发现在两种限制下均成立。该检验的前瞻性形式,即对固定模型版本重提交选定相同输入并保持各臂恒定,是可归因方差的设计;它廉价、必要、目前未见报告,并已在4.4节逐步指定。当输入可能为多模态时,在解释任何信度系数前必须验证复制可比性:在本语料中,45%重复字符串混合提交类型,分层使头条数值变化超过其值的十分之一。