CHEF:用于食品图像识别的聚类分层专家框架

《Expert Systems with Applications》:CHEF: Clustered Hierarchical Expert Framework for Food Images Recognition

【字体: 大 中 小 】 时间:2026年10月21日 来源:Expert Systems with Applications 9.4

编辑推荐:

   • 分层专家框架(CHEF)提升了细粒度食物识别能力。 • 类别语义聚类创建了连贯的专家组以供专家学习。 • 跨模态路由通过视觉-文本相似度动态选择顶级专家。 • 渐进式两阶段训练缓解了专家坍缩和负载不均衡问题。 • 532,123条经过质量检查的描述补充了三个现有食物数据集

  

• 分层专家框架(CHEF)提升了细粒度食物识别能力。
• 类别语义聚类创建了连贯的专家组以供专家学习。
• 跨模态路由通过视觉-文本相似度动态选择顶级专家。
• 渐进式两阶段训练缓解了专家坍缩和负载不均衡问题。
• 532,123条经过质量检查的描述补充了三个现有食物数据集。

## 1. 引言

食物图像识别是计算机视觉领域的一个重要研究方向,广泛应用于健康管理、饮食记录和智能餐饮服务等领域。然而,与一般目标识别不同,食物图像识别面临独特的挑战:许多食物类别在视觉上高度相似(例如不同类型的寿司或蛋糕),而同一类别内的物品又可能因烹饪方法、食材和摆盘方式的不同而存在显著差异。更为关键的是,食物类别天然具有明确的语义层级结构(例如"甜点"包含"蛋糕"、"布丁"等),这编码了丰富的领域先验知识,然而在现有方法中却长期被系统性忽略。

传统的食物识别方法通常将该任务建模为扁平的多分类问题,利用深度卷积神经网络直接学习图像到类别标签的映射关系(Bettadapura, Thomaz, Parnami, Abowd, Essa, 2015; Jiang, Qiu, Liu, Huang, Lin, 2020a; Min, Wang, Liu, Luo, Kang, Wei, Wei, Jiang, 2023; Tai, Thanh, Hung, 2022)。尽管这些方法在多个基准数据集上取得了显著进展,但其根本局限性在于完全忽视了食物类别之间的语义关系。扁平架构迫使模型在统一的特征空间中区分所有细粒度类别,导致特征判别性次优、易混淆类别之间频繁出现混淆,以及决策过程缺乏可解释性。虽然近期研究(Deng, Wu, Chen, 2024; Zhang, Deng, Zhu, Wang, Ren, Zhou, Lu, Sun, Zhu, Gorriz, et al., 2023)尝试引入注意力机制或多尺度特征融合来改进性能,但如何将语义层级结构系统性地融入模型架构仍然是一个开放且关键的研究挑战。

近年来,混合专家(MoE)模型在计算机视觉中处理复杂细粒度任务方面展现了潜力,例如Vimoe(Han et al., 2025)和DeepME(He, Lv, He, Fan, & Zeng, 2021),通过动态路由机制增强了模型容量和效率。然而,现有通用MoE方法在应用于食物识别时存在明显局限性:(1)路由机制仅依赖视觉特征,完全忽视了食物类别之间丰富的语义关联(例如"披萨"和"意大利面"都属于"意大利菜")。这导致路由决策缺乏语义引导和可解释性。(2)训练过程容易出现专家坍缩和负载不均衡问题,在类别规模庞大的食物数据集中尤为突出。某些专家被过度激活,而其他专家则大量闲置,严重制约了模型的性能和效率。

为应对这些挑战,我们提出了CHEF(聚类分层专家框架),一种基于语义聚类和专家专业化的新型分层混合专家框架。CHEF的核心理念是"分而治之"。首先,我们利用视觉-语言模型嵌入自动将食物类别聚类为语义连贯的专家组,并通过规模优化来缓解严重的组间规模不均衡问题。其次,我们为每个专家组构建专用专家网络,以学习其分配语义域内的细粒度视觉特征。最后,我们设计了一种跨模态相似度引导的动态路由机制,基于输入视觉特征与每个专家文本原型之间的语义相似度来选择并融合最相关的Top-K个专家。

总之,我们的工作做出了以下关键贡献:

- **语义驱动的分层聚类**。我们提出了一种基于VLM语义嵌入的新型聚类算法,促进组内语义连贯性并缓解聚类规模不均衡问题,显式利用烹饪层级结构并增强模型可解释性。

- **跨模态相似度引导的专家路由**。我们设计了一种动态路由机制,通过视觉特征与文本原型之间的相似度计算专家选择权重,赋予路由决策明确的语义依据。

- **渐进式两阶段训练策略**。我们引入了一种训练范式,先进行"专家专业化"再进行"联合微调",有效缓解了专家坍缩和负载不均衡问题,尤其适用于长尾食物数据集。

- **对现有基准的多模态标注语料**。我们为三个现有食物识别基准提供了图像专属的文本标注,生成了532,123个图文对,同时保留了原始图像、类别标签和评估协议。

## 2. 相关工作

### 2.1 基于深度学习的食物图像识别方法

近年来,深度学习技术在食物图像识别领域取得了重大进展,特别是卷积神经网络(CNN)和视觉Transformer(ViT)的广泛应用,极大提升了模型精度和泛化能力。早期研究主要依赖预训练CNN模型进行迁移学习,如GoogLeNet和ResNet,在细粒度食物分类任务中展现了强大的性能(Singla, Yuan, Ebrahimi, 2016; Termritthikun, Kanprachar, 2018)。随着网络架构的演进,研究人员提出了各种改进方法来应对食物图像中类内变异大、类间相似性高等挑战。

为增强特征表示,Jiang, Min, Liu, & Luo(2020b)提出了一种多尺度多视角深度特征聚合方法,融合不同层次和角度的特征以增强对复杂食物结构的理解。在此基础上,注意力机制的引入进一步提升模型性能,使网络能够聚焦于关键图像区域(Bettadapura, Thomaz, Parnami, Abowd, Essa, 2015; Jiang, Qiu, Liu, Huang, Lin, 2020a)。例如,GSNet(Sheng et al., 2024)通过设计高效的注意力模块,在多个基准数据集上取得了最先进的精度。Tai等人(2022)将EfficientNet与迁移学习应用于越南菜识别,显著优于VGG和ResNet等传统模型。此外,Ansari & Qaraqe(2023)证明EfficientNet-V2在阿拉伯美食数据集MEFood上保持了优异性能,同时消耗更少的计算资源。

为应对大规模、高类别复杂度的识别任务,Min等人(2023)构建了Food2K数据集,并提出了一种包含区域特征增强和渐进式局部特征学习的深度网络框架。该工作不仅推进了模型在跨文化美食中的泛化能力,还促进了食物检测、分割和跨模态检索的发展。Zhang等人(2023)进一步综述指出,深度学习与半监督学习的结合有助于利用未标注数据提升模型鲁棒性。

综上所述,基于深度学习的食物识别已从单一CNN架构演进为集注意力机制、多尺度特征、轻量化设计和自监督预训练于一体的综合技术体系(Jiang, Qiu, Liu, Huang, Lin, 2020a; Sheng, Min, Yao, Song, Yang, Wang, Jiang, 2024),为后续多模态系统奠定了坚实基础。

### 2.2 多模态食物图像识别方法

随着应用场景日趋复杂,单模态视觉方法已无法满足准确识别和营养评估的需求。多模态融合方法因此成为食物分析领域的主流,通过整合图像、文本、深度、位置、音频等多种模态信号,显著提高了食物识别、分割和营养估计的准确性和实用性。

在视觉-文本融合方面,视觉-语言模型(VLM)已被广泛应用于食物检测和语义理解。Pan, He, & Zhu(2024)提出了FMiFood,一种将食物类别文本描述作为上下文先验的多模态框架,通过跨模态对比学习在长尾场景中实现了SOTA性能。Sulthana, Tilford, & Stoyanov(2024)设计了MResNet-50,一种结合Word2Vec和Transformer编码器的轻量化CNN,实现了食材识别和食谱提取的联合端到端优化。Lan等人(2025)和Wu, Yu, Lim, & Ngo(2024)利用VLM进行食物分割,有效结合了图像内容与文本语义描述。Qiu等人(2024)和Lo等人(2024)进一步探索了基于多模态ChatGPT的饮食评估系统,系统分析了大模型在饮食分析中的潜力和局限性。

在3D感知和营养估计方面,RGB-D(彩色-深度)融合已成为关键技术。Myers等人(2015)提出了一种四阶段流程:首先在RGB图像上进行食物识别,然后从深度数据中提取体素,推断食物体积,最后利用标准营养数据库估计卡路里含量。Lu等人(2021)提出了一种结合上下文信息与3D表面重建算法的营养评估系统,集成了少样本学习分类器以实现自动营养估计。Shao等人(2023)设计了一种结合CNN和Transformer结构的RGB-D融合网络,用于端到端营养预测。Thames等人(2021)将RGB图像和深度图作为四通道输入送入CNN,直接预测卡路里、蛋白质、脂肪和碳水化合物含量,并在内部Nutrition5k数据集上验证了其有效性。

此外,热成像、音频和运动传感器等其他模态也已被探索用于食物状态监测。Raju, Imtiaz, & Sazonov(2023)结合热成像和视觉数据进行食物分割;Mirtchouk, Merck, & Kleinberg(2016)融合音频和运动信号来识别进食行为。Lam, Nguyen, & Chung(2020)提出了一种基于TVOC(总挥发性有机化合物)监测的被动式食物质量预测框架,使用一维CNN来识别食物变质阶段。

总体而言,多模态食物识别正朝着更高精度、自动化和实用性的方向发展,在饮食健康管理、智能厨房和食品安全监测领域展现出广阔前景(Lo, Qiu, Wang, Chen, Xiao, Yuan, Giannarou, Frost, Lo, 2024; Myers, Johnston, Rathod, Korattikara, Gorban, Silberman, Guadarrama, Papandreou, Huang, Murphy, 2015)。未来研究将进一步探索大模型驱动的跨模态对齐、少样本适应和边缘计算部署。

### 2.3 计算机视觉中的混合专家方法

混合专家(MoE)作为一种可扩展且高效的框架出现,特别适用于处理复杂的视觉任务,尤其在细粒度图像识别和食物分析领域。近期MoE架构的进展展示了其动态分配计算资源同时保持高模型容量的能力,使其非常适合类内变异大、类间相似性高的任务,如食物分类和食材检测。

在计算机视觉中,MoE模型将输入特征分配到专业化的子网络(专家)中以增强判别能力。例如,Han等人(2025)提出了一种视觉MoE框架,将类别判别性补丁路由到专用专家中,有效抑制了细粒度场景中的无关特征。该方法在食物识别中尤为有用,因为不同类型的米饭或面包之间细微的纹理、颜色或形状差异需要精确的特征提取。类似地,DeepME(He et al., 2021)引入了一种深度混合专家架构用于大规模图像分类,展示了其在处理类别多样的多模态食物数据集方面的有效性。

在食物分析中,MoE被扩展到多模态场景以整合异构数据源。CLIP-MoE(Zhang, Qu, Zhu, & Cheng, 2025)通过引入多样化专家来适配CLIP模型,处理多种视觉-文本对的多次回收,改善了食物描述和食谱生成的跨模态对齐。这对食材识别等任务至关重要,其中文本先验(如食谱描述)引导视觉专家聚焦于相关区域。此外,MOCae(Oksuz, Kuzucu, Joy, & Dokania, 2024)通过校准专家来减少预测不确定性从而增强目标检测,这对于在杂乱场景中准确定位重叠或部分遮挡的食物物品至关重要。

尽管潜力巨大,计算机视觉中的MoE仍面临训练不稳定和专家利用不充分等挑战。例如,MeMoE(Fung & Tseung, 2025)通过在门控函数中引入随机效应来处理分层数据中的多级依赖关系,该策略可应用于嵌套食物类别(如果实、蔬菜及其子类型)。然而,确保鲁棒的路由机制和负载均衡仍然是未解决的关键问题,特别是在实时食物识别系统中(Nguyen, Han, Harris, Saria, & Ho, 2025)。未来工作可能聚焦于将MoE与轻量化架构(Wang et al., 2025)相结合,或利用领域特定先验(如营养数据库)来提高在长尾食物数据集上的泛化能力(Jain, Behl, Kira, & Vineet, 2023)。

## 3. 我们的方法

我们提出了聚类分层专家框架(CHEF),这是一种通过分层组织和专家专业化系统性解决细粒度食物识别挑战的新型方法。该框架由三个基本组件构成:语义驱动的任务分组、专用混合专家和渐进式训练策略,如图1所示。

*图1. CHEF框架。该框架首先将食物类别进行语义驱动聚类,分为M个组。对于输入图像,通过共享骨干网络提取多尺度视觉特征,并通过跨模态相似度引导的路由模块路由到最相关的Top-K个专家。每个专家通过带有残差连接的两层MLP处理拼接后的多尺度特征,生成组特定表示。最终预测通过融合激活专家的输出来获得。*

### 3.1 语义驱动的任务分组

我们方法的基础在于认识到食物类别天然组织成语义层级结构。传统的扁平分类方法无法利用这些内在关系,导致特征学习次优且可解释性有限。

为构建有意义的分类体系,我们首先为每个食物类别生成丰富的语义表示。设C={c?,c?,…,cN}表示N个细粒度食物类别的集合。

对于每个类别 $c_i$,我们计算一个语义嵌入向量 $t_i \in \mathbb{R}^D$,用于捕捉其独特的烹饪特征:

(1) $t_i = \frac{1}{|\mathcal{D}_i^{train}|} \sum_{x \in \mathcal{D}_i^{train}} E_{text}(d_x)$

其中 $\mathcal{D}_i^{train}$ 是属于类别 $c_i$ 的训练图像集合,$d_x$ 是训练图像 $x$ 的生成描述,$E_{text}$ 是冻结的文本编码器。仅使用与对应训练划分相关的描述来计算 $t_i$。后续的语义分组和专家原型均从这些基于训练数据构建的类别嵌入中构建。验证集和测试集的图像描述被排除在外。这些嵌入共同构成语义嵌入矩阵 $T = [t_1, t_2, \cdots, t_N] \in \mathbb{R}^{D \times N}$。

类别间的语义相似性通过成对余弦相似度来量化:

(2) $s_{ij} = \frac{t_i^\top t_j}{\|t_i\| \cdot \|t_j\|}$

其中 $\top$ 表示转置操作,$S \in \mathbb{R}^{N \times N}$ 构成亲和矩阵,捕捉所有类别对之间的烹饪关系。

我们的语义感知聚类算法(算法1)将食物类别分组为语义一致的聚类,并引入一个规模细化步骤以减少聚类规模之间的较大差异。这有助于鼓励专家处理数量更为均衡的类别,从而支持负载均衡和有效专业化。该算法分两个阶段进行:层次合并和规模细化。

**算法1:用于专家分组的语义感知聚类**

首先(第1–18行),每个类别作为一个独立聚类开始。我们计算成对语义相似度,并根据一个综合分数迭代合并最优的聚类对,该综合分数结合三个因素:聚类间相似度 $\bar{S}_{pq}$、聚类内一致性 $\min(\text{coh}(G_p), \text{coh}(G_q))$,以及偏离目标规模的惩罚项。合并持续进行直到恰好剩余 $M$ 个聚类。聚类内一致性定义为:

(3) $\text{coh}(G_p) = \frac{1}{|G_p|} \sum_{i \in G_p} \frac{t_i^\top \mu_{G_p}}{\|t_i\| \cdot \|\mu_{G_p}\|}, \quad \mu_{G_p} = \frac{1}{|G_p|} \sum_{i \in G_p} t_i$

其次(第19行),$\text{BalanceClusterSizes}$ 子程序(算法2)进一步缓解严重的聚类规模不平衡问题。当同时存在过大和过小的聚类时,它根据语义亲和性转移类别:将与其当前聚类最不相似的类别移动到与其平均相似度最高的过小聚类中。该启发式方法在减少规模差异的同时,力求保持语义一致性。所得分组为CHEF中专业化专家网络提供了具有语义意义的分组基础。

**算法2:平衡聚类规模**

聚类完成后,我们计算每个聚类的文本原型,即其成员类别嵌入的均值:

(4) $p_k = \frac{1}{|G_k|} \sum_{c_i \in G_k} t_i$

我们将专家原型矩阵记为:

(5) $T_e = [p_1, p_2, \ldots, p_M] \in \mathbb{R}^{D \times D}$

尽管食物类别可能具有重叠的语义属性,我们采用硬类别级聚类来在第一阶段训练期间建立清晰的专家专业化分工。语义一致的类别被分配给不同专家,使每个专家能学习更具判别力的表示,同时减少类别间干扰。重要的是,该硬聚类仅用于初始化专家专业化分工,在推理阶段并不强制执行。在后续阶段中,跨模态Top-K路由机制为每个输入样本动态激活多个专家,实现灵活的专家协作。因此,CHEF将用于专家专业化的硬语义划分与用于预测的软专家协作相结合,缓解了类别级硬分配可能带来的刚性。

### 3.2 专业化混合专家架构

基于第3.1节的语义分组类别,我们设计了一种专业化混合专家架构,其中每个专家 $E_k$ 被分配处理一个语义分组 $G_k$。设 $M$ 表示专家总数(即语义分组数)。对于每个输入,我们的路由机制选择Top-K($K < M$)个最相关的专家进行激活,在计算效率与模型专业化之间取得平衡。

**多尺度视觉特征提取:** 我们采用SENet-154(Hu, Shen, & Sun, 2018)作为骨干网络进行多尺度视觉特征提取。给定输入图像 $I \in \mathbb{R}^{3 \times H \times W}$,我们使用深度卷积网络提取多个语义层级的层次化特征表示:

(6) $F_l = \Phi_l(I), \quad l \in \{2, 3, 4, 5\}$

其中 $\Phi_l(\cdot)$ 表示骨干网络第 $l$ 个层次层的特征提取函数。$F_l \in \mathbb{R}^{C_l \times \frac{H}{2^l} \times \frac{W}{2^l}}$ 表示第 $l$ 层的特征,捕获从细粒度纹理($F_2$)到全局语义($F_5$)的视觉信息。该多尺度表示提供了细粒度判别所需的全面视觉描述。

**专家专业化机制:** 每个专家网络 $E_k$ 被设计用于处理多尺度特征并提取分组特定表示。给定来自骨干网络的层次化特征图 $F_2, F_3, F_4$ 和 $F_5$,我们首先通过专用卷积模块将每个特征图转换到共享通道维度 $f_2, f_3, f_4$ 和 $f_5$,然后应用自适应池化来归一化空间维度。处理后的特征沿通道维度拼接形成综合视觉表示:

(7) $f_{multi} = [f_2; f_3; f_4; f_5]$

每个专家 $E_k$ 随后通过具有ReLU激活的两层MLP对 $f_{multi}$ 应用分组特定变换,可表述为:

(8) $\tilde{z}_k = \text{MLP}(f_{multi}; \Theta_k)$

其中 $\Theta_k$ 表示专家 $k$ 的参数,优化用于捕获分组 $G_k$ 中类别的独特视觉特征。

与采用重量级专家子网络的传统MoE架构不同,CHEF中每个专家均采用轻量级变换模块实现,由线性投影、批归一化和ReLU激活组成,从而保持相对较低的参数和内存开销。在 $f_{multi}$ 与变换输出之间建立的残差连接确保梯度流稳定:

(9) $z_k = f_{multi} + \tilde{z}_k \in \mathbb{R}^{D_z}$

其中 $D_z$ 是专家的输出特征维度(在我们的实验中设为512)。该架构使每个专家既能利用互补的多尺度信息,又能学习其所属语义分组的专门特征表示。

**跨模态相似度引导路由:** 我们框架的核心创新是一种路由机制,根据视觉特征与文本特征之间的语义相似度动态将输入样本分配给专家。在路由中,我们使用全局语义特征向量 $f_5$ 作为视觉表示。路由模块利用最高层级特征 $f_5$ 作为专家分配的视觉表示。这一设计基于以下观察:路由需要全局语义理解,而详细的视觉识别由多尺度专家网络完成。该设计的有效性在第4.4.2节的路由特征消融研究中得到进一步验证。$f_5$ 通过可学习矩阵投影到与文本原型共享的 $D$ 维空间中:

(10) $v = f_5 W_v \in \mathbb{R}^D$

其中 $W_v \in \mathbb{R}^{C_5 \times D}$。类似地,专家原型矩阵 $T_e$ 通过 $W_t \in \mathbb{R}^{D \times D}$ 进行投影。输入图像的路由权重向量 $g \in \mathbb{R}^M$ 通过对投影后的视觉特征与每个专家原型之间的相似度分数应用softmax函数得到:

(11) $g = \text{softmax}\left(\frac{1}{\tau} v^\top (W_t T_e)\right) \in \mathbb{R}^M$

其中 $\tau > 0$ 是控制路由分布锐度的温度参数。较小的 $\tau$ 促使分布更加尖锐(类似one-hot分布),促进果断的专家选择,而较大的 $\tau$ 产生更平滑的分布,促进多专家协作。

**专家选择:** 我们不是为每个输入激活所有专家,而是采用更高效且专业化的Top-K选择策略,其中 $K$ 是一个超参数,通常远小于专家总数 $M$。该方法减少了计算成本,同时促进专家专业化。我们选择路由权重最高的Top-K个专家的索引:

(12) $S = \text{topK}(g, K)$

其中 $\text{topK}(g, K)$ 返回 $g$ 中 $K$ 个最大元素的索引。

最终表示通过仅对所选专家输出的加权融合获得。我们首先对选中的专家重新归一化路由权重以确保其总和为1:

(13) $\tilde{g}_k = \begin{cases} \frac{g_k}{\sum_{j \in S} g_j} & \text{if } k \in S \\ 0 & \text{otherwise} \end{cases}$

然后融合表示计算为:

(14) $Z = \sum_{k \in S} \tilde{g}_k \cdot z_k \in \mathbb{R}^{D_z}$

其中 $z_k$ 表示第 $k$ 个专家生成的特征表示。该选择性融合机制使模型能够关注每个输入最相关的专家,同时提高计算效率和模型专业化程度。通过基于语义相关性动态选择专家子集,路由机制增强了整体架构的可解释性、效率和泛化能力。

### 3.3 渐进式训练策略

为有效协调专业化专家和门控网络,我们采用两阶段训练策略:先进行专家专业化,再进行联合微调。该渐进式策略确保专家首先在其领域内实现深度专业化,随后整个系统通过端到端优化学习协作。

**第一阶段:专家专业化。** 该阶段旨在在每个专家 $E_k$ 内部培养独特且特定的领域专业知识。为此,我们强制执行数据隔离策略:每个专家 $E_k$ 仅在其对应语义分组 $G_k$ 的图像样本上进行训练,而其他专家和路由器保持冻结。对于视觉骨干网络,我们采用逐层解冻策略:仅将更深层(第4-5阶段,对应C4和C5特征,由 $\Phi_{deep}$ 参数化)与专家一起微调,而较浅层(第1-3阶段,由 $\Phi_{shallow}$ 参数化)保持冻结以保留通用视觉原语。这种设计使模型能够将高层语义表示适应食物领域,同时不破坏在所有类别中广泛有用的低层特征检测器,并且迫使 $E_k$ 发展出针对 $G_k$ 中普遍存在的视觉特征(如特定纹理、形状或烹饪方式)的深度专业化表示空间。

形式化地,对于专家 $E_k$ 和未冻结的骨干网络层 $\Phi_{deep}$,我们通过在其专用数据子集 $\mathcal{D}_k$ 上最小化标准交叉熵损失来优化其参数:

(15) $\{\Theta_k^*, \Phi_{deep}^*\} = \arg\min_{\Theta_k, \Phi_{deep}} \mathbb{E}_{(I,y) \sim \mathcal{D}_k} [\mathcal{L}_{CE}(I, y; \Theta_k, \Phi_{deep})]$

其中 $\mathbb{E}_{(I,y) \sim \mathcal{D}_k}$ 表示对 $\mathcal{D}_k$ 中样本的期望,$\mathcal{L}_{CE} = -\log p(y|z_k; H_k)$ 使用专家的输出特征 $z_k$ 和其专用线性分类器 $H_k$ 计算。这里,$p(y|z_k; H_k)$ 表示在 $G_k$ 的类别中对真实类别 $y$ 的softmax概率。注意,冻结的浅层 $\Phi_{shallow}$ 在此阶段不进行更新。

**第二阶段:联合微调。** 在每位专家都发展出专门知识之后,我们通过端到端联合优化来协调整个系统。在此阶段,所有模型参数——视觉骨干网络参数 $\Phi = \{\Phi_{shallow}, \Phi_{deep}\}$、专家参数 $\{\Theta_k\}$ 和门控参数 $\Psi$——均被解冻,并使用完整数据集 $\mathcal{D}$ 同时更新。

联合优化目标将任务驱动的交叉熵损失与旨在塑造理想路由行为的复合正则化项 $\mathcal{L}_{reg}$(例如果断性、负载均衡)相结合。设 $G = [g_1, g_2, \cdots, g_B]^\top \in \mathbb{R}^{B \times M}$ 表示一批 $B$ 个样本的路由权重矩阵,其中 $g_i$ 是第 $i$ 个样本的路由权重向量。

(16) $\{\Phi^*, \{\Theta_k\}^*, \Psi^*\} = \arg\min_{\Phi, \{\Theta_k\}, \Psi} \mathbb{E}_{(I,y) \sim \mathcal{D}} [\mathcal{L}_{CE}(I, y; \Phi, \{\Theta_k\}, \Psi) + \lambda \mathcal{L}_{reg}(G)]$

其中交叉熵损失 $\mathcal{L}_{CE}$ 使用融合表示 $Z$(来自公式(14))和第一阶段冻结的分类器 $H_k$ 计算。具体来说,最终分类logits通过对所选专家的输出进行聚合获得。每个选中的专家 $E_k$($k \in S$)计算其分组特定的logits $H_k z_k$。这些logits然后被重新归一化的路由权重 $\tilde{g}_k$ 加权,并组装成覆盖所有类别的统一logit向量,再经过softmax函数。超参数 $\lambda$ 控制分类损失与正则化项之间的权衡。

这种两阶段方法允许专家在学习协作之前建立强力的领域特定表示,防止早期干扰,同时使路由机制能够基于已专业化的特征发展。通过以联合优化作为收尾,专家可以根据路由器聚合的反馈略微调整其专业化方向,路由器也可以根据更新后的专家完善其决策,从而形成更加协调高效且性能优越的系统。

**路由优化正则化。** 正则化损失 $\mathcal{L}_{reg}$ 解决MoE训练中的基本矛盾,即专家专业化(果断地将输入分配给最相关的专家)与系统范围负载均衡(确保所有专家得到充分利用)之间的张力。我们将其表述为:

(17) $\mathcal{L}_{reg} = \gamma \mathcal{L}_{ent} + (1-\gamma) \mathcal{L}_{bal}$

其中 $\gamma \in [0, 1]$ 是一个单一的平衡超参数,控制两个目标之间的权衡。

- **熵损失($\mathcal{L}_{ent}$):** 通过最小化每个样本路由分布的熵来鼓励自信且稀疏的路由。这促进果断的专家选择,确保每个专家能实现专业化:

(18) $\mathcal{L}_{ent} = -\frac{1}{B} \sum_{i=1}^{B} \sum_{k=1}^{M} g_{ik} \log(g_{ik} + \epsilon)$

其中 $\epsilon$ 是一个小的正常数(例如 $10^{-8}$),用于防止因对零取对数而导致的数值不稳定。

- **平衡损失($\mathcal{L}_{bal}$):** 促进批次中所有专家的均匀利用,防止"专家坍塌"(即只有少数专家被激活)现象:

(19) $\mathcal{L}_{bal} = \left\| \frac{1}{B} \sum_{i=1}^{B} g_i - \frac{1}{M} \mathbf{1} \right\|_2^2$

其中 $\mathbf{1}$ 表示 $M$ 维全一向量,代表目标均匀分布。

这一精心设计的正则化框架使MoE系统能够找到最优工作点,在此点上专家发展出不同的专门技能,同时保持高效且均衡的计算负载——这对于将混合模型扩展到细粒度视觉识别任务至关重要。

### 4. 实验与分析

本节对提出的CHEF框架进行全面评估。我们首先描述基于三个现有食物识别基准构建的532K多模态注释语料库的构建与验证过程,随后介绍实验设置。然后,与SOTA方法进行定量比较并开展广泛的消融研究以评估CHEF的有效性。我们还提供可视化分析以深入了解模型的路由行为和专家专业化机制。最后,展示部署效率分析以评估CHEF在延迟、吞吐量和内存消耗方面的实际部署特性。

### 4.1 多模态注释语料库与验证

为支持CHEF框架中的语义感知聚类和跨模态路由,我们在三个现有食物识别基准——ETH Food-101、UEC Food-256和ISIA Food-500——之上构建了一个多模态注释语料库,为其中532,123张图像各添加了一段图像专用的文本描述。图像、类别标签以及训练/验证/测试划分均继承自源基准。

因此,该语料库既不是新采集的图像数据集,也不是统一的857类基准。整体构建流程包含四个阶段(Ye, Jiang, Wang, Huang, & Huang, 2026):(1)从公开可用的基准数据集中收集食物图像;(2)使用多模态大语言模型生成细粒度文本描述;(3)通过基于CLIP的相似性比较来验证图文语义对齐;以及(4)对低质量描述进行迭代重新生成或人工修正。完整构建过程如图2所示。

下载:下载高分辨率图像(1MB)
下载:下载全尺寸图像

图2. 基于三个现有食物识别基准构建的多模态标注语料库的构建与验证流程。

4.1.1. 数据来源与类别覆盖

所提出的532K食物图文语料库基于三个广泛使用的细粒度食物识别基准构建:ETH Food-101(Bossard, Guillaumin, & Gool, 2014)、UEC Food-256(Kawano & Yanai, 2014)以及ISIA Food-500(Min et al., 2020)。这些数据集聚类了互补的类别分布和烹饪风格。在这三个源数据集之中,所构建的语料库提供了对各种食材、烹饪方法、食物外观及呈现方式的广泛覆盖,从而为多模态食物理解提供了丰富的语义多样性。

ETH Food-101包含101,000张图像,涵盖101个食物类别,主要覆盖西餐、甜点、意大利面、烧烤食品、三明治、汤以及若干具有代表性的亚洲菜系。UEC Food-256包含31,397张图像,涵盖256个类别,重点突出日本料理及细粒度餐食类别,如寿司、拉面、天妇罗、盖饭,同时也纳入了若干国际食物。ISIA Food-500提供399,726张图像,覆盖500个大规模食物类别,包括各类中餐、西餐、海鲜、烘焙产品、面食、米饭类、甜点及饮品。表1总结了所构建语料库的构成。

表1. 532K多模态标注语料库在三个现有食物识别基准上的构成。

数据集 | 饮食覆盖范围 | 类别数 | 图像数
ETH Food-101 | 西餐、甜点、意大利面、烧烤食品、汤、代表性亚洲菜系 | 101 | 101,000
UEC Food-256 | 日本料理、寿司、拉面、天妇罗、盖饭、国际菜式 | 256 | 31,397
ISIA Food-500 | 中餐、海鲜、烘焙产品、面食、米饭类、饮品、甜点 | 500 | 399,726
总计 | 多样化的全球饮食及食物风格 | 857 | 532,123

注:857为三个源数据集类别数之和,并不表示一个统一的857类基准。

所构建的语料库呈现出从原始基准数据集继承而来的异质类别分布。ETH Food-101相对均衡,每个类别包含1,000张图像。UEC Food-256因各类别所收集的食物实例数量不同而呈现出中等程度的类别不平衡。ISIA Food-500则表现出更为显著长尾分布,某些热门食物类别的样本量远高于稀有菜品。类别分布的多样性使得所提出的CHEF框架能够同时从均衡和长尾食物识别场景中学习到鲁棒的语义聚类与自适应路由。

4.1.2. 文本描述生成

为丰富超越类别标签的语义监督,我们通过DashScope API使用模型标识符qwen-vl-max为每张食物图像生成详细描述。生成温度设为0.3,top-p设为0.7。该API未暴露可供调用的已解析不可变模型快照或版本。因此,我们报告的是API标识符及生成设置,而非固定的底层模型版本。与简单的类别名称相比,生成的描述提供了更丰富的语义信息,包括食材、烹饪方法、质地、颜色及呈现特征。对每张图像,采用以下提示词:"生成一段对食物图像的简明描述,包括其食材、烹饪方法及视觉特征。描述不得超过77个token。" 该长度限制是为了保持与CLIP文本编码器的兼容性,后者的最大输入长度限制为77个token。这一设计有助于确保生成的描述能够被完整编码而不被截断,同时保留充分的语义细节。

生成的描述作为CHEF框架中语义感知聚类与跨模态路由的语义锚点。生成的图文对代表性示例见图3。生成的描述不仅捕捉高层语义类别,还提供了食材构成、烹饪流程及视觉外观等细粒度属性。例如,生成的描述可能包含诸如"中等生度、表面焦糖化"、"釉面三文鱼排置于荞麦面上"或"搭配新鲜多汁的草莓和一团奶油般鲜奶油"等语义属性,提供了超越单纯类别标签的互补语义信息。

下载:下载高分辨率图像(1MB)
下载:下载全尺寸图像

图3. 代表性图文对示例。

4.1.3. 图文对齐验证

为确保语义一致性与标注可靠性,我们引入了一种基于CLIP的图文对齐验证策略。具体而言,对每张图像,我们使用冻结的CLIP-ViT-B/32图像编码器与文本编码器,将每张图像与其生成的描述及类别名称提示词"A photo of {类别名称}"进行比较。仅当描述描述相似度分数 sd=cos(fimg,fdesc) 超过基于类别的相似度分数 sc=cos(fimg,fcls) 时,该描述才被保留。不满足该标准的描述,在初次生成后最多再重新生成三次。若仍需要干预,则进行人工修正。在532,123张图像中,6,412张(1.205%)至少经历了一次重新生成,3,006张(0.565%)经历了人工修正。具体而言,ETH Food-101中重新生成与人工修正的描述数量分别为1,253(1.241%)和539(0.534%),UEC Food-256为302(0.962%)和178(0.567%),ISIA Food-500则为4,857(1.215%)和2,289(0.573%)。这些计数报告的是不同图像的数量,百分比是相对于各数据集总图像数计算的。该程序减少了图文对齐较弱的描述数量,同时保留了细粒度语义信息。

4.1.4. 数据集划分方案

为确保与现有食物识别方法的公平比较,我们在多模态语料库构建及实验评估过程中严格遵循原始基准数据集的官方评估方案。

对于ETH Food-101,每个类别包含1,000张图像。按照官方划分方案,每类别750张图像用于训练,其余250张用于测试。

对于UEC Food-256,我们采用官方提供的五折划分方案。具体而言,三折用于训练,一折用于验证,最后一折用于测试。最终性能通过所有五折划分结果取平均获得。

对于ISIA Food-500,我们遵循官方实验设置,即每类别60%图像用于训练,10%用于验证,其余30%用于测试。

在多模态语料库构建过程中,描述生成时保留各基准原有的训练/验证/测试划分。ETH Food-101、UEC Food-256与ISIA Food-500保留独立的类别空间,并作为独立分类任务进行评估;它们的类别数之和为857,但并未构建统一的857类基准。对每次评估,CHEF、CLIP-MoE与DeepME仅使用与对应训练划分中图像相关联的描述。文本派生的类别嵌入、语义相似度矩阵、语义分组及专家原型均仅从该划分中构建。验证集与测试集图像的描述被排除在模型拟合及这些构建之外。该策略防止跨集合信息泄漏,并确保持久、可复现及无偏评估。

发布于 https://github.com/sjtukng/CHEF/tree/master/data 的标注数据包,包含生成的描述、各数据集特定的划分文件、类别ID-名称映射,以及逐图像的元数据(标识源数据集、图像、类别及划分)。

4.1.5. 伦理考量与数据使用

所提出语料库中使用的所有图像均来自公开可用的学术基准,旨在用于研究目的。所构建的多模态语料库继承了原始数据集的许可证及引用要求。数据集构建过程中不涉及任何私人或可识别个人身份的信息。

生成的文本描述完全基于食物外观及烹饪属性自动生成,不涉及敏感个人信息或与人类身份相关的内容。所构建的语料库仅用于多模态学习与细粒度食物识别方面的学术研究。

4.2. 实验设置

我们详细说明实验设置,包括研究中使用的所有硬件与软件配置、模型架构、训练配置及超参数。

硬件与软件。所有实验均在运行Ubuntu 22.04.3 LTS的Linux服务器上进行。该系统配备4块NVIDIA GeForce RTX 4090 GPU(每块24GB显存)、256 GB DDR4内存以及大容量存储。我们的代码使用Python 3.9.12和PyTorch 1.13.0框架实现。

模型架构。用于视觉特征提取时,我们采用SENet-154骨干网络,初始化为ImageNet-1k预训练权重。用于构建锚点的文本描述通过DashScope API模型qwen-vl-max生成。这些描述随后使用冻结的CLIP-ViT-B/32文本编码器编码为固定维度嵌入。

训练配置。模型使用AdamW优化器端到端训练,基础学习率为1×10?4,权重衰减为0.05。批次大小为128(每块GPU分配32)。在渐进式两阶段训练过程中,第一阶段(专家专业化)使用其分配的语义分组数据对每个专家训练100个epoch,仅优化专家参数及骨干网络较深层(第4-5阶段)。第二阶段(联合微调)对整个系统进行100个epoch的训练,优化所有参数,包括视觉骨干网络(所有层)、所有专家及路由机制。学习率在所有阶段中均遵循余弦退火调度。输入图像被调整为224×224分辨率,并通过随机裁剪和水平翻转进行数据增强。

超参数。对于语义感知聚类算法(算法1),参数α设为0.5,β设为0.3。对于路由机制(公式11),温度τ设为0.9。专家网络输出维度Dz为512。对于训练正则化(公式16),主正则化权重λ设为0.1。复合正则化损失Lreg(公式17)的系数设为γ=0.6,该值通过消融实验确定为最优值。

4.3. 与最先进方法的比较

我们对所提出的CHEF框架与三类代表性方法进行全面评估:(1)专用食物识别方法;(2)现代稠密视觉识别架构;以及(3)混合专家(MoE)模型。食物识别竞争方法包括RFDC(Bossard et al., 2014)、MSPTN(Li, Li, Ma, Hong, & Fan, 2025)、SGLANet(Min et al., 2020)、PAR-Net(Qiu, Lo, Sun, Wang, & Lo, 2022)、PRE-Net(Min et al., 2023)以及MAMS-net(Deng et al., 2024)。为进一步评估性能提升是否仅通过采用更强的稠密骨干网络即可获得,我们额外纳入两个最先进通用架构,即Swin Transformer V2(Liu et al., 2022)和ConvNeXt V2(Woo et al., 2023)。MoE竞争方法包括ViMoE(Han et al., 2025)、CLIP-MoE(Zhang et al., 2025)以及DeepME(He et al., 2021)。每种方法均在ETH Food-101、UEC Food-256及ISIA Food-500上分别训练和评估,使用各基准所规定的训练划分及标签空间。因此,表2中的三列准确率代表各自独立的数据集特定评估,而非合并的857类实验。

表2. 在三个独立的食物识别基准——ETH Food-101、UEC Food-256及ISIA Food-500上与最先进方法的比较。三列准确率报告的是各自独立的数据集特定评估,而非统一的857类任务。CHEF、CLIP-MoE及DeepME在各自训练过程中使用对应训练划分中的描述;评估时未将任何单独测试图像的描述作为评估输入。方法被分为食物识别方法、MoE模型以及我们提出的CHEF。最佳结果以粗体显示。我们报告Top-1准确率(%)、参数量(Param,百万)及计算复杂度(FLOPs,GigaFLOPs)。对于Param,"X/Y"格式的值表示总参数量和激活参数量,这对MoE方法尤为重要。"/"表示无深度学习骨干网络,"–"表示未报告结果。

方法 | 骨干网络 | 参数量(M) | FLOPs(G) | ETH Food-101 | UEC Food-256 | ISIA Food-500
RFDC | / | – | – | 50.76 | – | –
MSPTN | ResNet-101 | 51.8 | 12.8 | 89.71 | 83.43 | 69.71
SGLANet | SENet-154 | 135.3 | 25.5 | 89.69 | 82.39 | 64.74
PAR-Net | ResNet-101 | 136.2 | 45.6 | 89.30 | 81.58 | 63.98
PRE-Net | SENet-154 | 171.5 | 32.2 | 90.74 | 84.28 | 65.75
MAMS-net | ConvNeXt | 204.6 | 34.5 | 91.12 | 85.19 | 70.39
Swin V2 | SwinV2-B | 87.6 | 16.6 | 86.39 | 78.26 | 70.19
ConvNeXt V2 | ConvNeXtV2-B | 87.8 | 15.4 | 89.87 | 83.59 | 72.71
ViMoE | ViT-B/14 | 481.8/142.0 | 38.4 | 90.66 | 82.37 | 78.59
CLIP-MoE | CLIP-ViT-L/14 | 1836.7/728.6 | 226 | 90.50 | 83.15 | 72.16
DeepME | VGG16 | 1211.7 | 139.5 | 91.91 | 88.56 | 80.67
CHEF(本文) | SENet-154 | 190.1/141.4 | 41.9 | 93.11 | 91.25 | 81.94

生成的训练描述被CHEF、CLIP-MoE和DeepME在不同组件中使用。CHEF对其进行编码以获取类别嵌入,用于语义分组和专家原型构建。CLIP-MoE在多模态训练中使用配对描述。DeepME在学习其基础专家时,利用从训练描述中派生的类别级语义关系进行软聚类和语义正则化。其他比较方法不使用生成的描述。在评估时,测试图像是这三个方法中唯一的逐样本输入;不会提供该测试图像的描述。评估前,方法所需的任何文本派生类别级信息均从训练数据中准备。

定量结果总结于表2。与专用食物识别方法相比,CHEF随着类别数量和任务复杂度的提升显示出显著且不断增长的改进。

在ETH Food-101上,CHEF达到了93.11%的Top-1准确率,以1.99个百分点的显著优势超过了表现最佳的食品专用方法MAMS-net。在更大、更具挑战性的数据集上,这一优势更加明显。在UEC Food-256上,CHEF达到了91.25%,以6.06个百分点的显著优势超过了MAMS-net。最令人印象深刻的是,在极具挑战性的ISIA Food-500上,CHEF达到了81.94%,以11.55个百分点的显著优势大幅超过了MAMS-net。这一清晰的趋势表明了我们的分层"分而治之"策略的关键优势。通过基于语义一致性对食品类别进行聚类,然后将它们分配给专门的专家,CHEF有效地缓解了通常阻碍大规模设置下平面分类模型的干扰和混淆,从而实现了卓越的扩展性。更重要的是,CHEF始终优于新增的现代稠密架构,包括Swin Transformer V2和ConvNeXt V2。尽管这些当代主干网络具有强大的表征能力,但它们在所有评估数据集上的性能仍不及CHEF。这一观察结果表明,CHEF取得的改进不能仅仅归因于更强的特征提取能力。相反,语义感知的聚类和专家路由机制提供了互补的优势,通过实现更专门的特征学习和自适应专家选择,这对于大规模细粒度食品识别尤为有益。与通用混合专家(MoE)模型相比,CHEF也表现出明显且一致的优势,这归功于其领域感知的架构设计。尽管采用了参数效率更高的主干网络,CHEF在所有三个数据集上都优于最强的通用MoE基线DeepME。令人瞩目的是,CHEF在准确率更高的同时,效率也更高,仅需要41.9 GFLOPs,而DeepME则需要139.5 GFLOPs。CHEF的性能提升可以追溯到三项关键设计创新,这些创新直接解决了传统MoE模型在细粒度食品识别中的局限性:(1)语义结构化的专家,(2)跨模态路由,以及(3)渐进式训练策略。这些组件共同实现了更连贯的专家专业化、语义驱动的路由决策以及稳定、平衡的优化。总体而言,CHEF在所有三个主要食品识别基准测试中建立了新的SOTA结果。结果表明,所取得的提升不仅来自网络容量,还来自语义感知聚类和路由机制的有效整合,从而验证了所提出的CHEF框架的必要性和有效性,而不仅仅是采用更强的稠密主干网络。

4.4. 消融实验
我们在ETH Food-101数据集上进行了系统的消融实验,以隔离和评估CHEF框架中每个核心组件的贡献。该研究遵循渐进式设计理念,从平面分类基线开始,逐步引入更复杂的组件:语义分组、专门路由机制和高级训练策略。

4.4.1. 渐进式组件分析
在渐进式组件分析实验中,我们通过受控消融实验系统地评估了CHEF框架中每个核心组件的贡献,如表3所列。实验设计纳入了三个关键维度:分组策略、路由机制和训练范式。

表3. 在ETH Food-101数据集上评估CHEF中每个核心组件贡献的渐进式消融实验。基线(第1行)是标准的SENet-154分类器。性能以Top-1准确率(%)衡量。列"Δ vs Base"表示相对于基线的边际增益。

| 分组方法 | 路由机制 | 训练策略 | Top-1准确率(%) | Δ vs Base(%) |
|----------|----------|----------|----------------|--------------|
| 平面 | 端到端 | 端到端 | 86.64 | – |
| 随机 | 组分类器 | 分离 | 87.21 | +0.57 |
| SAC | 组分类器 | 分离 | 90.57 | +3.93 |
| SAC | 静态 | 联合 | 87.73 | +1.09 |
| SAC | 语义引导 | 联合 | 91.25 | +4.61 |
| SAC | 语义引导 | 渐进式 | 93.11 | +6.47 |

对于分组策略,平面作为基线平面分类模型,使用单个SENet-154分类器而不进行类别分解,而随机采用随机划分,通过将类别划分为等大组来隔离任务分解与语义指导的影响。SAC(语义感知聚类)是我们提出的方法,利用视觉语言模型派生的嵌入来创建语义连贯的类别聚类,并减少规模差异。

关于路由机制,组分类器通过轻量级辅助分类器进行组预测来激活相应的专家,静态通过平均所有专家的输出实现朴素集成,而不考虑输入特征,而语义引导代表我们提出的路由策略,通过视觉输入与文本原型之间的跨模态相似度动态计算专家权重。

对于训练策略,分离使用每个专家仅用其分配的组数据进行独立训练,联合遵循传统MoE训练,同时优化所有参数。而渐进式是我们提出的两阶段策略,首先进行专家专业化,然后进行联合微调。

这种结构化的实验推进系统地引入了日益复杂的组件,清晰地展示了语义分组、动态路由和渐进式训练对性能提升的协同效应。

结果如表3所示,清晰地界定了每种设计选择的作用和影响。我们首先隔离分组策略的效果,同时采用组分类器。与平面基线相比,随机分组仅提供0.57%的边际改进,表明任意的任务分解带来的收益有限。相比之下,我们提出的SAC实现了向90.57%的显著性能飞跃。这一结果表明,将食品类别组织成语义连贯的组合同时缓解规模不平衡,创建了一个有意义的分类体系。这种结构不仅是组织性的,还提供了实现有效专家专业化的关键先验知识,通过确保每个专家从视觉和烹饪相关的类别中学习。

然而,仅建立有意义的组结构是不够的。引入带有静态融合策略的MoE架构和联合训练导致显著下降到87.73%。这揭示了一个关键挑战:在没有协调机制的情况下,简单地联合训练多个专家可能因干扰而有害。用我们的语义引导路由替换静态融合将准确率提升至91.25%。这一结果表明,动态的、依赖于输入的路由机制是必不可少的。通过根据视觉特征与文本原型之间的跨模态相似度计算路由权重,路由器充当智能调度器。它动态选择和组合最相关的专家,使模型能够自适应地分配计算资源。这种方法减轻了干扰并增强了模型的判别能力。

虽然语义引导路由提供了强大的架构优势,但在标准端到端联合训练下,其全部潜力并未得到实现。切换到我们提出的渐进式训练策略提供了进一步显著提升+1.86%,最终达到93.11%的最佳性能。这突出了训练动态与架构本身同样重要。渐进式策略解耦了学习阶段,首先使用隔离数据在每个专家内强制深度领域专业化,然后通过联合微调调和整个系统。这种分阶段方法确保了稳定优化,防止了MoE常见的陷阱如专家坍塌,并允许专家和路由器收敛到更有效、更平衡的均衡状态。

完整的CHEF框架在强大的SENet-154基线上实现了累积+6.47%的提升。这种逐步改进表明其组件之间存在清晰且协同的相互作用。

4.4.2. 组件替换研究
为严格验证我们的具体设计选择,我们进行了组件替换研究,其中完整的CHEF框架中的单个核心模块被替代方法替换,同时保持所有其他组件固定。这些实验测试了我们的架构决策相对于常见或直观替代方案的必要性。完整模型作为参考点。

视觉主干网络。我们首先研究了视觉特征提取器的影响,将我们的默认SENet-154替换为其他突出架构:ResNet-51、ResNet-101和ViT-B/16。对于缺乏内在多尺度层级的ViT-B/16,我们提取中间层输出并应用轻量级空间调整来构建所需的多尺度特征F2至F5。所有主干网络都使用在ImageNet-1k上预训练的权重初始化。如表4所示,SENet-154实现了最高准确率。其集成的通道注意力机制似乎对建模细粒度食品识别至关重要的细微纹理和颜色差异特别有效。这使它在残差学习(ResNets)和全局自注意力(ViT)方面具有优势。

表4. 在ETH Food-101上的组件替换研究。我们系统地替换完整CHEF模型中的单个组件为替代设计。报告Top-1准确率,相对于我们完整模型的性能下降(Δ vs Ours)表明我们选择的設計的有效性。[·;·]表示通道级特征拼接。

| 组件 | 方法 | Top-1准确率(%) | Δ vs Ours(%) |
|------|------|----------------|--------------|
| 视觉主干网络 | ResNet-51 | 89.93 | -3.18 |
| | ResNet-101 | 91.76 | -1.35 |
| | ViT-B/16 | 92.15 | -0.96 |
| | SENet-154 | 93.11 | – |
| 文本锚点 | 仅类名 | 89.64 | -3.47 |
| | BLIP-2 | 92.53 | -0.58 |
| | LLaVA | 92.72 | -0.39 |
| | Qwen-VL-Max | 93.11 | – |
| 专家激活策略 | 所有专家 | 93.19 | +0.08 |
| | 赢家通吃 | 91.54 | -1.57 |
| | Top-K (K=4) | 93.16 | +0.05 |
| | Top-K (K=2) | 93.11 | – |
| 路由特征选择 | f4 | 91.86 | -1.25 |
| | f5 | 93.11 | – |
| | [f4; f5] | 92.75 | -0.36 |
| | [f3; f4; f5] | 92.58 | -0.53 |

文本锚点。语义指导的质量对于分层聚类和专家路由至关重要。我们评估了多种替代文本锚点生成策略,包括仅类名、BLIP-2 (FLAN-T5-XXL)、LLaVA (OneVision)和Qwen-VL-Max。具体来说,仅类名仅使用原始类别名称(例如"beef steak"),由CLIP文本编码器编码。对于其余方法,不同的视觉语言模型生成详细的图像描述,随后使用相同的冻结CLIP文本编码器编码以获得语义嵌入。

表4中的结果表明,所有VLM生成的文本锚点都一致优于类别名称基线,证明了丰富的语义监督对于构建有意义的语义聚类和路由专家的重要性。在评估的模型中,Qwen-VL-Max实现了最佳性能,这可归因于其更强的捕获细粒度食品属性的能力,如配料、烹饪方法、纹理和外观。然而,Qwen-VL-Max、BLIP-2和LLaVA之间的性能差异相对较小,表明所提出的CHEF框架不依赖于特定的视觉语言模型进行语义锚点生成。

这些结果表明,CHEF的有效性主要来自提出的语义感知聚类和路由机制,而不是特定说明生成模型的独特性。此外,不同VLM取得的一致改进证实了所提出的文本锚点设计的鲁棒性和通用性。

专家激活策略。我们比较了三种专家激活机制:所有专家、赢家通吃和Top-K路由。如表4所示,激活所有专家仅带来边际准确率提升,同时显著增加计算成本。相反,赢家通吃策略显著减少计算,但因专家协作不足而遭受明显的性能下降。提出的Top-K (K=2)路由在识别准确率和计算效率之间实现了最佳平衡。通过仅为每个样本激活最相关的专家,Top-K路由在保留专家专业化的同时避免不必要的计算,从而实现卓越的总体性能。

路由特征选择。我们比较了不同的路由特征,包括f4、f5、[f4; f5]和[f3; f4; f5]。(此处"[·; ·]"表示通道级特征拼接。)如表4所示,基于最高层特征f5的路由实现了最佳性能。纳入较低层特征并未提供额外增益,并略微降低了准确率。这表明专家路由主要依赖全局语义信息,而较低层特征对专家专业化更有益。因此,CHEF采用f5作为路由特征。

这些组件替换研究共同证实了我们的设计选择不是任意的,而是经验上优于强有力的替代方案。每个选定的组件都对CHEF框架的总体有效性和实用性做出了可衡量的贡献。

4.4.3. 正则化组件的消融研究
为验证复合正则化损失在协调决策路由与负载平衡方面的有效性,我们进行了系统的消融研究。我们使用综合指标评估不同配置。除Top-1分类准确率外,我们通过平均路由熵(Avg. Entropy)评估路由决策的决策性,通过专家利用率的变化系数(CV)评估计算负载分布的均匀性。我们还跟踪每个样本平均激活的专家数量(Avg. Experts)以量化条件计算的稀疏性。

我们对γ进行了超参数搜索,使用0.0、0.2、0.4、0.6、0.8和1.0的值。结果如表5所示。当γ=0.0(仅平衡损失)时,模型实现了不错的准确率(91.42%)和优异的负载平衡(CV=0.22),但高平均熵表明路由不果断、分散。相反,当γ=1.0(仅熵损失)时,路由变得果断(熵=0.35),但以严重的负载不平衡(CV=0.51)和明显的准确率下降(91.87%)为代价。

表5. 正则化配置的消融结果(ETH Food-101)。

| γ | Top-1准确率(%) | 平均熵 | CV | 平均专家数 |
|---|----------------|--------|----|------------|
| 0.0 | 91.42 | 0.91 | 0.22 | 4.7 |
| 0.2 | 91.88 | 0.75 | 0.25 | 3.9 |
| 0.4 | 92.35 | 0.58 | 0.26 | 3.5 |
| 0.6 | 93.11 | 0.43 | 0.27 | 3.2 |
| 0.8 | 92.89 | 0.38 | 0.32 | 3.1 |
| 1.0 | 91.87 | 0.35 | 0.51 | 1.8 |

最佳性能在γ=0.6时实现。此配置产生了最高的Top-1准确率。它成功结合了低路由熵,表明自信且稀疏的专家选择,同时保持了良好的负载平衡。模型平均激活约3.2个专家,有效利用多个专家处理挑战样本,同时避免激活所有专家的计算成本。

该结果证实,一种平衡的正则化策略——优先保证专家专业化(L_ent),同时保持适度的负载均衡(L_bal)——对于训练出高性能且稳定的MoE系统至关重要。为进一步评估路由正则化系数在不同规模和复杂度数据集上的鲁棒性,我们额外在Food-101、Food-256和Food-500上进行了跨数据集敏感性分析。如图4所示,三个数据集上的性能趋势高度一致。此处,较大的γ赋予专家专业化更高的权重,而较小的γ则强调专家平衡。随着γ从0增加到0.6,准确率稳步提升,表明在保持适度均衡约束的同时更侧重专家专业化,能够产生更具区分度的专家表征。进一步将γ增大到0.6以上会导致性能略有下降,说明过强的专业化可能会减少专家间有益的协作。值得注意的是,最优值(γ=0.6)在Food-101、Food-256和Food-500上保持不变,证明了所提出的路由正则化机制的鲁棒性和泛化能力。

下载:下载高分辨率图像(174KB) 下载:下载完整尺寸图像

图4. 路由正则化系数γ在Food-101、Food-256和Food-500上的敏感性分析。

4.4.4 渐进式训练策略验证

为验证我们提出的渐进式两阶段训练策略的有效性,我们将其与标准的端到端联合训练进行了对比,数据集为ETH Food-101。两种配置使用相同的CHEF架构并训练200个epoch。渐进式策略在前100个epoch专注于专家专业化(第一阶段),随后100个epoch进行联合微调(第二阶段),而端到端基线在整个训练过程中同时优化所有组件。

如图5所示的训练动态揭示了明显的模式差异。端到端训练的损失曲线在整个优化过程中表现出较大的波动,这是路由器和专家之间并发且往往相互冲突的学习信号所特有的特征。相比之下,渐进式策略表现出明显更平滑的收敛过程。第一阶段中,随着每个专家在其分配的语义组上进行专业化训练,损失稳步下降。在第100个epoch处发生转变,此后联合微调阶段进一步优化模型,使最终损失更低。这种两阶段方法在约第183个epoch时稳定收敛。验证准确率曲线也反映了这一趋势:渐进式策略以较小的波动达到了更高的最终准确率,而端到端基线则表现出更慢且更不稳定的提升。

下载:下载高分辨率图像(393KB) 下载:下载完整尺寸图像

图5. 训练动态对比(端到端联合训练 vs 渐进式训练)。

4.5 可视化实验与分析

为了更深入地了解CHEF框架的内部机制和决策过程,我们进行了一系列可视化实验和分析。这些可视化旨在:(1)解释自动构建的食物类别聚类的语义一致性;(2)验证各个专家在其分配的语义组内的专业化能力;以及(3)展示跨模态路由机制的动态性和可解释性。以下小节将对这三个关键方面进行详细的可视化分析。

4.5.1 聚类可视化与分析

基于本文提出的语义感知聚类算法,ETH Food-101数据集中的101个食物类别被自动组织为8个不同的聚类,如图6所示。该可视化明确展示了分组结果,列出了每个聚类中包含的具体食物类别。

下载:下载高分辨率图像(1MB) 下载:下载完整尺寸图像

图6. ETH Food-101数据集的聚类结果。101个细粒度食物类别被分为8组,每组代表一种独特且具有可解释性的菜系或菜品类型。具体而言,第1组由亚洲主食构成,第2组包含西式甜点和酥皮糕点,第3组由意大利和欧洲主菜组成,第4组包括快餐和手持餐食,第5组涵盖开胃菜和轻食,第6组汇集早餐和烘焙食品,第7组由高端主菜和精致料理组成,第8组则包含油炸小吃。这种结构化分组反映了对食物类别有意义且语义上组织有序的税收分类体系。

总体聚类效果与预期高度吻合,展现出良好的可解释性和语义一致性。如图6所示,具有相似烹饪特征的类别被有效地归为一组,例如第1组中的亚洲主食(如拌饭、越南河粉、拉面)、第2组中的西式甜点(如芝士蛋糕、提拉米苏),以及第3组中的意大利和欧洲主菜(如千层面、意式面饺)。这种结构化分组使每个专家能够在一致的语义领域中进行专业化,专注于相关类别内的细粒度视觉模式。例如,所有蛋糕类品种都被归入第2组,而面食类菜品则聚在第3组。这种聚合使专家能够学习更具区分度的领域特定表征,从而增强模型的整体识别能力。

尽管大多数聚类结果与一般烹饪预期高度吻合,但有少数类别被分配到了起初看起来可能不直观的分组中。例如,西班牙海鲜饭(paella)被聚类在第1组的亚洲主食中。这一分配可以通过其与亚洲炒饭在视觉和语义上的强烈相似性来理解,因为两者都以米饭为基础,且通常包含肉类、海鲜和蔬菜的混合。类似地,鸡肉咖喱通常与亚洲菜肴相关联,却出现在第3组,与意大利和欧洲主菜并列。这一分配反映了其共享的烹饪特征,如浓郁的慢炖酱汁,使其语义特征与欧洲酱汁类主菜更为接近,而非其他亚洲主食。这些看似异常的情况如图7所示,展示了算法超越表层地理标签、揭示更深层跨文化烹饪模式的能力,同时保持了每个聚类的整体语义一致性。

下载:下载高分辨率图像(1MB) 下载:下载完整尺寸图像

图7. 感知聚类异常及其语义合理性分析。

4.5.2 专家专业化可视化

为了定量验证CHEF中每个专家的专业化能力,我们进行了特征空间可视化实验。对于八个语义组中的每一个,我们随机选择三个代表性食物类别,并从ETH Food-101数据集中每个类别采样50张测试图像(共1,200张图像)。每张图像经过两个模型处理:(1)对应于该语义组的CHEF专家,该专家专门在其分配的语义组上训练;以及(2)在所有101个类别上训练的基线扁平化SENet-154分类器。我们从每个模型的第二层提取512维特征向量,并使用t-SNE将其投影到二维空间(困惑度=30,学习率=200)。如图8所示的可视化结果,可以直接比较专业专家与通用基线之间的特征分离质量。

下载:下载高分辨率图像(783KB) 下载:下载完整尺寸图像

图8. 特征空间可视化对比(左列为CHEF专家,右列为扁平分类器基线)。专家为其分配的类别形成紧凑、分离良好的聚类,而基线则表现出重叠的聚类,特别是对于语义相似的食物。

可视化结果表明,CHEF专家始终比扁平分类器基线实现更优越的特征分离。如图8所示,每个专家为其分配的类别形成了紧凑、分离良好的聚类。相比之下,基线模型产生了边界模糊的重叠聚类,特别是对于语义相似的类别。这种对比在第6组(早餐和烘焙食品)中尤为明显,其中如"apple_pie(苹果派)"、"bread_pudding(面包布丁)"和"baklava(果仁蜜饼)"等类别在基线的特征空间中表现出显著的重叠,然而专家6将它们清晰分离。这种改进的分离与识别准确率直接相关:如表6所述,与基线相比,CHEF专家实现了平均簇内距离降低45.2%和簇间分离度提升69.7%。这些结果验证了我们的语义感知分组和专家专业化策略有效地增强了特征区分能力,使每个烹饪领域内的细粒度识别更加准确。

表6. CHEF专家与扁平分类器之间的特征分离定量比较。

| 组别 | 选定类别 | 簇内距离 | | 簇间分离度 | |
|------|----------|---------|---------|----------|---------|
| | | CHEF | 扁平 | CHEF | 扁平 |
| 第1组 | 毛豆、拉面、酸辣汤 | 2.34 | 4.12 | 8.76 | 5.23 |
| 第2组 | 马卡龙、胡萝卜蛋糕、芝士蛋糕 | 2.78 | 5.01 | 7.89 | 4.56 |
| 第3组 | 蛤蜊浓汤、波隆尼意面、蒜香面包 | 2.56 | 4.78 | 8.45 | 5.12 |
| 第4组 | 龙虾卷三明治、鸡肉墨西哥夹饼、早餐卷 | 2.91 | 5.23 | 7.23 | 4.89 |
| 第5组 | 水波蛋本尼迪克特、法拉费、魔鬼蛋 | 2.45 | 4.56 | 8.12 | 5.45 |
| 第6组 | 苹果派、面包布丁、果仁蜜饼 | 3.12 | 6.34 | 9.23 | 3.78 |
| 第7组 | 原切肋眼牛排、猪排、甜菜沙拉 | 2.67 | 4.89 | 8.67 | 5.34 |
| 第8组 | 春卷、洋葱圈、炸 calamari | 2.89 | 5.12 | 7.89 | 4.67 |
| 平均 | | 2.72 | 4.96 | 8.28 | 4.88 |

注:距离在归一化特征空间中测量。较低的簇内距离表示更紧密的聚类;较高的簇间分离度表示更好的类别区分能力。

4.5.3 路由机制可视化分析

为了直观理解CHEF框架中跨模态相似度引导路由机制的动态决策过程,我们设计了一个路由可视化实验。该实验旨在展示输入图像如何被分配给不同的专家、路由权重的分布,以及不同专家对同一图像关注的兴趣区域之间的差异。在此实验中,我们从ETH Food-101测试集中选择了三种具有代表性的图像类型:语义清晰单一的图像、具有跨组语义歧义图像,以及视觉上相似但不同的易混淆图像。我们使用训练好的CHEF模型进行前向传播,提取路由权重向量g并记录被激活专家的索引。同时,我们使用Grad-CAM方法为每个激活的专家生成类激活图,可视化它们在输入图像上的关键关注区域。

可视化结果如图9所示。对于语义清晰的图像,如苹果派,路由权重主要集中在专家6上,值为0.913,其次是专家7为0.087。类激活图显示专家6关注派的主体部分,而专家7则关注图像中的叉子,可能是因为第7组包含牛排等主菜,这些菜品通常涉及餐具语境。对于语义模糊的样本,如海鲜饭,路由激活了专家3和专家1,权重分别为0.724和0.276。专家3的激活图突出了海鲜成分,这在欧洲主菜中很常见,而专家1则关注米饭部分,这是亚洲主食的特征。对于易混淆的类别,如鸡肉墨西哥夹饼,模型激活了专家4和专家5,权重为0.631和0.369。专家4关注tortilla(玉米饼皮),这是墨西哥风格小吃中的典型元素,而专家5则关注洋葱等蔬菜,这些蔬菜与第5组中与沙拉相关的食材紧密相关。

下载:下载高分辨率图像(793KB) 下载:下载完整尺寸图像

图9. CHEF中路由机制的可视化。对于三个测试案例(苹果派、海鲜饭、鸡肉墨西哥夹饼),第一列显示原始输入图像。第二列以柱状图形式展示所有专家的路由权重分布,其中前K个(K=2)被激活的专家以颜色高亮显示。后续各列显示每个激活专家的Grad-CAM热力图,包括单独显示和叠加在原始图像上的显示,其中红色表示专家网络高度关注的区域。

这个路由可视化实验验证了CHEF路由机制的动态性和可解释性。模型根据输入图像的语义内容自适应地选择并融合最相关的专家特征。

4.6 部署效率分析

尽管FLOPs和参数数量提供了对计算复杂度的粗略估计,但它们并不能完全反映实际部署成本。因此,我们进一步评估了包括推理延迟、吞吐量和峰值GPU内存消耗在内的面向部署的指标。所有实验均在单张NVIDIA RTX 4090 GPU上进行,推理设置相同。我们报告了224×224输入、批量大小为1、FP32精度、10次预热前向传播,以及50次CUDA事件计时前向传播的算术平均值。吞吐量从累积测量时间中计算得出。峰值分配的GPU内存使用torch.cuda.max_memory_allocated(device)测量。图像加载、预处理和CPU到GPU的传输不包括在延迟时间内。表7展示了CHEF与代表性稠密架构之间的部署效率比较。这些测量特征描述了所测试的桌面GPU环境,不应被解释为边缘设备基准测试。

表7. 在单张NVIDIA RTX 4090 GPU上使用ETH Food-101数据集的Top-1识别准确率和批量大小为1的推理效率比较。所有模型使用相同的输入分辨率、数值精度、计时协议和峰值内存测量方法(见第4.6节描述)。

| 模型 | Top-1准确率(%) | FLOPs(G) | 参数(M) | 延迟(ms/张) | 吞吐量(张/秒) | 峰值显存(GB) |
|------|--------------|----------|---------|-------------|--------------|-------------|
| SENet-154 | 86.64 | 41.31 | 113.2 | 6.18 | 161.69 | 0.51 |
| ViT-B/16 | 83.75 | 17.68 | 85.8 | 3.35 | 298.51 | 0.34 |
| Swin V2-Base | 86.39 | 16.68 | 87.6 | 9.24 | 108.23 | 0.36 |
| ConvNeXt V2-Base | 89.87 | 15.48 | 87.8 | 3.65 | 273.97 | 0.37 |
| CHEF | 93.11 | 41.91 | 90.1/141.47 | 8.61 | 127.23 | 0.68 |

注:在参数列中,"X/Y"分别表示总参数/激活参数。对于稠密模型,由于所有参数都是激活的,因此只显示一个值。

值得注意的是,本文提出的专家模块是轻量级转换块而非独立的深度专家骨干网络。

每个专家由一个两层的多层感知机(MLP)组成,并采用ReLU激活函数,这与传统的大规模MoE架构相比,大大限制了额外参数的增长和显存(VRAM)消耗。如表7所示,CHEF在五个受评估模型中取得了最高的Top-1准确率。相对于本次对比中最强的稠密基线模型ConvNeXt V2-Base,CHEF在准确率上提升了3.24个百分点,但每张图片需要额外4.21毫秒的推理时间,峰值显存增加0.31 GB。相对于Swin V2-Base,CHEF在准确率上提升了6.72个百分点,并将每张图片的实测延迟降低了1.38毫秒,同时峰值显存增加了0.32 GB。这些结果表明,在指定的桌面GPU协议下存在准确率-延迟-内存之间的权衡。CHEF实现了最高的识别准确率,但其实测延迟和峰值分配的GPU内存超过了部分稠密基线模型。表7并未证明CHEF具有统一的更低部署成本,也不足以证明其适用于实时或资源受限设备。

**5. 结论与未来工作**

本文提出了CHEF,一种用于细粒度食物图像识别的新型聚类层级专家框架。CHEF通过引入语义感知的层级聚类、跨模态相似度引导的路由机制以及渐进式两阶段训练策略,系统性地解决了高类间相似性和大类内方差带来的关键挑战。该框架将食物类别组织成语义连贯的组,为每个组分配一个专门的专家,并根据视觉-文本相似度动态地将输入样本路由到最相关的专家。在ETH Food-101、UEC Food-256和ISIA Food-500三个具有挑战性的基准测试上的大量实验表明,CHEF取得了新的SOTA性能,超越了现有的专用和通用MoE模型。消融实验证实了每个组件的关键作用,而可视化结果则揭示了专家模型和路由机制所实现的解释性和专业化。我们还提供了一个多模态注释语料库,为现有的三个食物识别基准测试添加了图像特定的文本描述,从而支持语义感知的食物识别研究。在表7中比较的五个模型中,CHEF实现了最高的识别准确率,但其推理延迟和峰值GPU内存使用超过了部分稠密基线模型。在单张RTX 4090上进行的批量大小为1的测量反映了所测试的桌面GPU环境;这些结果并未证明其实时性能或适用于资源受限的边缘设备。

未来工作将探索几个有前景的方向:(1)扩展CHEF以纳入深度、香气或营养信息等额外模态,以实现更全面的食物分析。(2)通过模型压缩和动态神经架构搜索,将该框架适配于实时和边缘设备部署。(3)将CHEF与大语言模型集成,用于可解释的饮食评估和食谱生成。我们相信CHEF为可扩展且可解释的细粒度视觉识别系统提供了一个强大的基础架构。

**CRediT作者贡献声明**

冯江:概念化、方法论、监督、项目管理、撰写——审阅与编辑。叶志鹏:软件、验证、形式分析、调查、撰写——原稿。周莉莉:数据整理、可视化、验证。

冯江|叶志鹏|周莉莉
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号