基于多模态生成式AI的电商搜索引擎:提升产品可及性的新型架构

《AI》:A Novel E-Commerce Search Engine Based on Multimodal Generative AI for Improving Product Accessibility

【字体: 大 中 小 】 时间:2026年10月22日 来源:AI 6.5

编辑推荐:

  论文摘要翻译 电商搜索引擎常因依赖关键词匹配及对大企业的偏好,而难以提供准确且公平的结果。本文提出一种融合先进AI技术的新型搜索引擎架构,以解决上述局限。该方法结合大语言模型(LLM)进行语义查询理解,并利用多模态大语言模型(具体为LLaVA)从产品图像中提取

  
论文摘要翻译 电商搜索引擎常因依赖关键词匹配及对大企业的偏好,而难以提供准确且公平的结果。本文提出一种融合先进AI技术的新型搜索引擎架构,以解决上述局限。该方法结合大语言模型(LLM)进行语义查询理解,并利用多模态大语言模型(具体为LLaVA)从产品图像中提取细节信息以丰富产品描述。更具体地,研究人员采用微调后的CLIP模型,对产品图像与描述进行统一嵌入(unified embedding),并将其存储于向量数据库(vector database)中,以实现高效的语义搜索。此外,研究人员在电商专用数据上对LLaVA模型进行微调,显著提升了其生成准确产品描述的性能,生成的描述同样被纳入向量数据库。计算机视觉(CV)技术的整合使得对视觉产品属性的解读更为精准,而向量数据库的运用则保障了快速且相关的搜索结果。该系统还引入了一种推荐机制,借助上述先进模型提供更广泛的产品推荐。实验结果表明了显著的改进:微调后的LLaVA模型在人工评估中的评分达到80.57%,而原始模型仅为62.89%。此外,系统微调后整体搜索准确率提升了25个百分点,从70%升至95%。该项工作为电商搜索引擎构建了更为公平的平台,同时显著提升了用户满意度。

论文解读文章

研究背景与问题

全球电子商务的迅猛发展已深刻改变零售格局,2024年全球电商销售额已突破6万亿美元,预计到2028年将接近8万亿美元。然而,尽管电商规模持续扩张,主流平台(如Amazon和Noon)的搜索功能却常常无法满足用户期望。研究表明,约70%的电商搜索引擎无法针对产品同义词返回相关结果,迫使用户不得不使用平台特定的精确术语进行搜索。这一缺陷主要源于传统搜索引擎对基础关键词匹配策略的依赖,难以捕捉用户查询背后的细微语义意图,也无法充分利用产品信息的多模态本质。此外,传统搜索系统还预设用户能够精确表达需求、商家能够提供准确的产品描述,而这些假设在现实中往往不成立。与此同时,现有研究虽已分别探索了自然语言处理(NLP)和计算机视觉(CV)在电商中的应用,但在将这些技术有效整合以提升搜索相关性方面仍存在显著空白。因此,亟需一种端到端的、整合微调多模态大语言模型、统一嵌入模型、向量数据库及生成式能力的电商搜索框架,以同时解决搜索准确性、结果公平性及产品可发现性问题。

研究内容与结论

针对上述问题,研究人员开发了一套融合NLP、CV、向量数据库及生成式AI技术的电商搜索引擎系统。该系统通过微调LLaVA模型生成高质量产品描述,利用微调CLIP模型构建图像与文本的统一嵌入,并存储于ChromaDB向量数据库中以支持高效的余弦相似度检索。同时,系统集成了基于Stable Diffusion的产品图像生成功能、图像描述服务、基于查询关键词的推荐系统以及基于Streamlit的用户界面。实验结果表明,微调后的LLaVA模型在人工评估中得分达80.57%(原始模型为62.89%),系统整体搜索准确率从70%提升至95%,用户满意度从75%提升至95%,响应时间从2.5秒缩短至1.2秒。这一工作为电商搜索引擎提供了更公平的平台,显著改善了用户体验,并为新兴企业创造了更平等的竞争环境。

关键技术方法

研究人员构建了超过25万条服装与配饰产品样本的数据集(男性服装约8.2万、女性服装约8.7万、儿童服装约4.9万、配饰约3.2万),数据主要来源于公开或授权电商产品数据库,辅以对Amazon、Noon、Primark等平台的有限范围网页抓取及Kaggle Fashion公开数据集。技术方法上,研究人员采用微调的LLaVA 13B模型(基于LoRA与DeepSpeed优化,使用6块Quadro RTX 8000 GPU训练10个epoch)从产品图像生成详细描述;采用微调的CLIP模型(ViT B/32,在RTX 4090上训练20个epoch)对图像与文本进行统一嵌入;利用ChromaDB向量数据库存储嵌入向量并执行余弦相似度检索;并集成Stable Diffusion模型(在RTX 4090上训练25个epoch)实现基于文本描述的产品图像生成。

研究结果

4.1 模型选择:研究人员基于对比分析选择了LLaVA用于图像描述生成,因其在详细描述与复杂推理方面优于BLIP-2;选择CLIP用于图像-文本嵌入,因其通过对比学习实现了跨模态语义对齐,优于BERT与ResNet的独立双嵌入方案;选择Stable Diffusion用于图像生成,因其生成质量与训练稳定性优于传统GAN;选择向量数据库替代传统关系型数据库,因其更适合处理非结构化多媒体数据并支持高效相似性检索;推荐系统则采用LLM驱动且不缓存用户数据,以保障隐私。
4.2 训练:LLaVA模型以80/20划分训练(20万)与验证(5万)集,采用随机缩放、裁剪、水平翻转等图像增强及随机词替换、释义等文本增强;CLIP模型同样以80/20划分,采用随机仿射变换、色彩抖动、高斯模糊等增强;Stable Diffusion模型以90/10划分训练(22.5万)与验证(2500)集,采用dropout与L2权重衰减防止过拟合。
4.3 测试与评估:LLaVA模型通过BLEU、ROUGE、CIDEr、METEOR、BERTScore及40名大学生的人工评分(10张图像)进行评估,微调后各项指标均显著提升;CLIP模型通过余弦相似度与检索准确率评估,微调后的ViT B/32在正确配对相似度(31.52%)上接近更大的ViT L/14(33.29%),且在错误配对相似度上更低(20.47% vs 23.18%),配对t检验证实错误配对改进显著(p < 0.01);Stable Diffusion模型通过图像质量与文本保真度评估,结果良好;整体搜索引擎在受控实验室环境下,搜索准确率从70%提升至95%,响应时间从2.5秒降至1.2秒,用户满意度从75%提升至95%。

讨论与结论

研究人员指出,当前系统主要针对英文数据微调,尚未显式设计或评估多语言性能;系统对高度模糊、语法错误或对抗性“噪声”查询的鲁棒性也未系统评估。未来工作将聚焦于多语言扩展、3D模型生成、个性化推荐增强、对话式购物助手,以及隐私与数据安全保护(如设备端推理、匿名化、GDPR合规)。研究结论表明,该多模态系统通过微调LLaVA、CLIP及Stable Diffusion模型,实现了搜索准确率25个百分点的提升与用户满意度20个百分点的改善,验证了先进AI技术在提升电商搜索相关性与公平性方面的有效性,为新兴企业构建了更平等的平台,并为电商搜索引擎设立了新的性能基准。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号