《Current Developments in Nutrition》:Estimating nutrient composition of packaged foods using natural language processing and optimization modeling
编辑推荐:
背景:食物成分数据库是开展严谨膳食评估的基础,但其中通常仅包含通用食品的信息。
目的:本研究旨在利用自然语言处理(NLP)和优化建模估算预包装食品的完整营养成分。
方法:研究使用了加拿大魁北克食品质量观察站(Food Quality Observatory
背景:食物成分数据库是开展严谨膳食评估的基础,但其中通常仅包含通用食品的信息。
目的:本研究旨在利用自然语言处理(NLP)和优化建模估算预包装食品的完整营养成分。
方法:研究使用了加拿大魁北克食品质量观察站(Food Quality Observatory)收集的5371种预包装食品的营养成分表(Nutrition Facts table, NFT)和配料表,覆盖17个食品类别。首先,采用一种NLP算法将预包装食品中的单个配料与《Canadian Nutrient File 2015》(CNF 2015)中最接近的对应条目进行匹配;CNF 2015包含加拿大5690余种配料和食品的完整营养谱。匹配质量通过余弦相似度得分进行评估。其次,利用优化模型估算预包装食品中全部配料的比例(g/100 g),从而对NFT中呈现的营养成分数据进行逆向推断。模型性能通过比较估算值与NFT报告已知营养值之间的相对误差进行评价。
结果:超过55%的配料可与CNF实现余弦相似度得分≥0.9的匹配,提示匹配质量较高。将所有食品类别合并分析时,能量及NFT标示的10种营养素估算值的相对误差中位数均为<|20%|,这一结果与加拿大卫生部(Health Canada)对NFT标示允许的变异范围一致,提示估算结果具有较高可靠性。6个食品类别表现良好,其全部营养素估算值的相对误差中位数均<|20%|。8个食品类别表现中等,其全部营养素估算值的相对误差中位数虽均<|20%|,但误差分布范围更宽。3个食品类别表现较差,若干营养素估算的相对误差超过|20%|阈值。
结论:一种基于NLP与优化建模的方法能够较可靠地估算多种预包装食品的配料比例,从而实现完整营养谱的生成。
该文发表于《Current Developments in Nutrition》,聚焦于营养学研究中长期存在的一个基础性难题:膳食评估高度依赖食物成分数据库,而现有数据库往往更新不及时,且主要收录通用食品,难以反映商业市场中大量预包装食品真实而快速变化的营养构成。论文指出,这一问题在加拿大等国家尤为重要,因为预包装食品和超加工食品在居民能量摄入中占据较高比例,而同一食品类别内不同产品之间的营养差异又非常显著。如果数据库缺乏足够细致且最新的产品层面数据,则膳食摄入估算、营养暴露评价以及后续营养流行病学研究都可能受到系统性影响。基于此,研究人员提出,有必要发展一种可自动化扩展食物成分数据库的方法,用以从已有标签信息和配料信息出发,反推商业化预包装食品的更完整营养谱。
围绕这一目标,研究人员构建了一条由自然语言处理(NLP,natural language processing)与优化建模组成的两阶段技术流程。其核心思想是:先将预包装食品配料表中的各个配料自动匹配到加拿大营养文件《Canadian Nutrient File 2015》(CNF 2015)中的相应原料或食品条目,再利用包装标签中已知的能量及10种营养素数值,对各配料在产品中的重量占比进行约束求解,最终生成单个产品的完整营养成分估计。研究对象为食品质量观察站(Food Quality Observatory, FQO)数据库中5371种预包装食品,涵盖17个类别,包括早餐谷物、饼干、咸味零食、面包、比萨、汤品、冷冻餐、酸奶、香肠等,样本采集于2016—2022年间魁北克市区和蒙特利尔地区的超市、杂货店及专营食品店,其中比萨类别包含加拿大范围内产品。文章的研究意义在于,若该方法具有足够精度,则可在无需企业公开全部配方比例的前提下,较大规模地补足商业预包装食品的全营养谱信息,并为食物成分数据库的自动更新提供一种具可扩展性的路线。
本研究主要采用三类关键技术方法。第一,数据来源包括CNF 2015与FQO数据库;前者提供超过5690种食品和配料、最多152种营养素信息,后者提供5371种预包装食品的NFT与配料表。第二,在NLP阶段,研究人员使用FoodBERT(基于BERT的食品语言模型)生成词嵌入,通过余弦相似度实现FQO配料与CNF条目的自动匹配,并对文本进行词干提取、词形还原、去除添加剂、去除子配料与修饰词等预处理。第三,在优化建模阶段,研究人员采用Pyomo与IPOPT求解非线性约束优化问题,在满足配料顺序递减和总和为1等约束条件下,最小化估算营养值与NFT已知值之间的相对误差,以同时确定最佳配料匹配与配料占比。
研究结果
配料匹配与方法总体框架
论文首先给出了整体方法学框架:阶段1为基于NLP的配料匹配,阶段2为基于标签营养值的优化求解。阶段1的目标是为每个配料从CNF 2015中筛选出候选匹配对象;阶段2则在这些候选匹配基础上,通过最小化能量和10种营养素的相对误差,反向估计最优配料匹配与各配料质量占比。最终输出为每个预包装食品的完整营养成分估计。该设计的关键创新在于,研究对象不是将整个商品直接对应到数据库中的“近似食品”,而是分解至“配料层面”进行匹配与重构,因此在面对不断上新的商品时具有更强适应性。
食物数据库与样本特征
研究使用的CNF 2015是加拿大卫生部维护的综合性营养数据库,包含丰富的配料与食品营养数据,最多可提供152种营养素信息。FQO数据库则提供了17类预包装食品的NFT和配料表。文章详细列出了各类别样本量,如饼干728种、午餐肉506种、咸味零食437种、早餐谷物392种、酸奶及乳基甜品372种等。研究仅纳入能量和10种营养素进行建模,分别为脂肪、饱和脂肪、碳水化合物、膳食纤维、糖、蛋白质、胆固醇、钠、钙和铁。钾因标签法规变更后可得性有限而未纳入,反式脂肪因加拿大已禁用人工反式脂肪且CNF 2015中常缺失而排除。该部分结果为后续模型建立提供了数据边界与适用范围。
数据预处理与自然语言处理配料匹配
在NLP阶段,研究人员对两个数据库均进行了有针对性的清洗。对CNF 2015,去除了食谱和混合菜肴,仅保留可能出现在配料表中的单一食品或单一配料条目;并简化条目描述,仅保留前两个字符片段以减少噪声。对FQO数据库,则剔除了加拿大允许使用的食品添加剂,因为其通常不提供营养值且CNF中无对应营养谱;同时移除括号中的子配料、部分修饰词,以及“and/or”结构中的后续项。文本经由spaCy及自定义Python规则进行词干提取和词形还原。之后使用FoodBERT为英文版配料文本生成词向量,通过余弦相似度衡量配料与CNF条目的语义接近程度。结果显示,在17个食品类别合并分析中,超过55%的配料匹配具有≥0.9的余弦相似度,说明多数匹配质量较高。部分类别如薄脆饼干、肉酱涂抹制品和切片面包的精确匹配比例较高;而沙拉酱、比萨和冷冻餐中低于0.9的比例相对较高,提示这些类别在命名差异或语义映射上更复杂。该结果说明,NLP匹配总体可行,但不同食品类别间的表现并不完全一致。
优化建模估算配料比例与营养值
在优化阶段,研究人员构建了以相对误差总和最小化为目标的约束优化模型。模型以每100 g产品为基准,利用CNF中候选配料的营养含量和NFT中已知的能量及10种营养素值,估算各配料比例。约束条件包括:每种配料占比大于0;配料顺序按法规要求递减;所有配料比例总和等于1。由于NFT中不同营养素量纲不同,研究使用相对误差而非绝对误差,以避免高含量营养素主导优化过程。对于NFT中标注为“0”的营养素,由于无法作为分母计算相对误差,因此在具体产品的优化方程中予以排除。研究人员指出,阶段2A用于在候选配料匹配中寻找最优CNF条目,阶段2B用于估算配料比例,这两个过程相互依赖并同步发生。该方法使研究人员能够在不掌握企业真实配方比例的情况下,对单个产品完成营养重构。
所有食品类别合并后的模型表现
在总体结果中,优化模型对所有17类食品合并分析时表现出较好的稳定性。文章指出,模型对能量及NFT所列10种营养素的估算,在超过75%的预包装食品中可将相对误差控制在<|20%|。对于能量、总脂肪、饱和脂肪、糖和钠等指标,大约三分之二产品的估算误差可控制在<|10%|。更重要的是,从误差分布看,中位数及四分位距(IQR)整体均位于|20%|以内,未见系统性的高估或低估趋势。这意味着在总体层面,该方法达到与加拿大卫生部对NFT标示容许偏差相一致的精度水平,可认为对标签上已知营养素具有可靠重建能力。
表现最佳的食品类别
论文将即食汤、冷冻餐、意大利面酱、比萨、切片面包和薄脆饼干列为表现最强的6类食品。在这些类别中,模型对全部营养素的估算中位相对误差均<|20%|,且大部分产品能达到监管容忍阈值内的误差范围。尤其在即食汤中,约三分之二产品在各营养素上的相对误差可低于|5%|,对脂肪、饱和脂肪、糖和钠等重点营养素的估算也较为准确。研究据此认为,该方法在配料较多、标签信息相对可约束性较强的复杂复合食品中,具有较高适用性。
表现中等的食品类别
香肠、饼干、早餐谷物、午餐肉、格兰诺拉棒、沙拉酱、酸奶及肉酱涂抹制品被归为中等表现类别。这些类别中,大多数营养素在超过50%的产品上能够控制在<|20%|误差内,但误差分布更宽,且个别营养素如铁、胆固醇和膳食纤维的IQR可超过|20%|阈值。尽管如此,研究仍未观察到这些类别存在持续性系统偏差。文章指出,这类营养素往往含量较低并以mg计量,因此即便绝对差异很小,也会放大相对误差。
表现较差的食品类别
加工奶酪、咸味零食和乳基或植物基饮料为表现较差的3类食品。多个营养素在这些类别中的IQR超过|20%|,提示模型稳定性不足。研究人员进一步分析认为,这些类别的一个共同特点是平均配料数较少,如加工奶酪、乳基饮料和咸味零食平均配料数约为4.3、5.2和5.0,而表现较好的即食汤、冷冻餐和比萨分别达到12.7、13.9和13.3。研究据此指出,当产品可用于优化的配料数量较少时,模型调整空间受限,难以通过多配料组合来逼近标签营养值。此外,这些类别中低余弦相似度匹配所占比例更高,且NFT中标示为“0”的营养素未被纳入优化,也进一步减少了可利用信息量。对于加工奶酪,“milk ingredient”这一标签术语因缺乏明确成分定义,亦成为限制配料准确匹配的重要原因。
NFT中“0”值营养素的估算能力
论文还专门考察了那些在NFT中标示为“0”的营养素。由于这些值无法直接进入相对误差优化,研究人员依据加拿大食品检验局的舍入规则,为不同营养素设定了接近0的阈值,用以评价估算结果是否足够接近“0”。结果显示,模型很少直接输出精确“0”,但对膳食纤维和胆固醇的低值识别相对较好,分别有54.6%和62.2%的估算值低于相应阈值;饱和脂肪和糖的表现居中;其余营养素则较难准确估计为“0”。不过,从加拿大平均膳食摄入水平作为参照时,多数被估高的中位值在实际膳食暴露意义上仍较低,例如碳水化合物“0”值条目的中位估算为5.4 g/100 g,对日均摄入约265 g而言仅占约2%。该结果提示,零值营养素处理仍是该框架的薄弱环节之一。
讨论总结
讨论部分认为,本研究提出的NLP与优化建模联合流程,为自动生成和更新预包装食品营养成分数据库提供了一条具有实际可行性的路径。总体而言,多数配料能够得到较高质量的语义匹配,且在17类食品合并分析时,模型对NFT已知营养素的估算误差整体位于加拿大监管容许范围内,显示出较好的可靠性。研究同时强调,方法在不同食品类别间存在明显异质性,对配料较少、命名模糊或低值营养素较多的产品,表现仍不理想。作者还将本研究与既往机器学习(ML,machine learning)或深度学习模型进行比较,指出既往方法多依赖大规模标注训练集,通常只预测有限营养素,而本研究不依赖专门训练过程,而是在单产品层面实施优化,更具有数据库迁移性和新产品适应性;此外,该方法不仅估算营养素,还能估算配料比例,这是现有许多研究所不具备的优势。
文章也明确列出局限性,包括:CNF 2015条目向量简化可能掩盖某些成分差异;由于算力限制,配料匹配采取顺序优化而非全组合优化;CNF 2015与FQO之间术语不标准化可能影响匹配精度;营养强化添加的维生素、矿物质和氨基酸因CNF中缺乏单独对应条目而无法纳入;研究样本主要代表魁北克市场,因此生成的完整营养谱不宜直接推广至其他地区食品供应。同时,作者指出,这一方法若要用于NFT未标示营养素,如镁或维生素D的准确估算,仍需进一步验证。
研究结论部分可译为:本研究提出了一种有前景的方法,用于生成预包装食品的综合营养成分谱,从而填补食物数据库维护中的重要空白。尽管总体结果表明,该方法能够对大多数预包装食品NFT所列营养素给出可靠估算,但仍存在若干改进空间。提高参考数据库CNF 2015匹配精度、优化对“0”值的处理方式,以及提升计算能力以支持更稳健的优化过程,均有望进一步改善模型性能。此外,那些营养估算误差特别高、尤其是配料数量较少的食品,值得进一步深入分析,因为它们可能对总体结果产生不成比例的影响。尽管存在这些挑战,该方法仍具有实现相对简便、无需大规模模型训练、且易于应用于新食品的突出优势。最重要的是,它能够估算配料比例——这在美国和加拿大目前均无法直接获得——从而在缺乏现有自动化工具的情况下,实现完整营养谱的生成。