本网讯  近日，电信学院23级节能工程与楼宇智能化专业研究生凡毅作为第一作者在《Knowledge-Based Systems》（KBS）上发表题为“USER: User-Side modality representation enhancement for multimodal recommendation”的学术论文。史东辉教授为通讯作者，安徽建筑大学为第一单位。《KBS》是由Elsevier集团出版的计算机科学、人工智能领域国际权威期刊，2025年影响因子为7.6，中科院SCI一区TOP期刊。

多模态推荐系统通过整合用户的历史交互行为与推荐物品的多样化多模态特征，来精确捕捉用户偏好。以往的研究主要集中在通过将模态特征嵌入物品向量来丰富物品侧的表示。然而，用户侧的建模仍相对简单，现有方法通常将每个模态视为一个单一整体，未能捕捉到模态内部用户兴趣的细微结构，这可能限制了模型对复杂用户偏好的表征能力。

为了解决这一难题，该文提出了一种名为USER（User-Side modality representation Enhancement for multimodal Recommendation，即用于多模态推荐的用户侧模态表示增强）的新颖框架。具体而言，该方法构建了一个统一的跨模态偏好表示，以捕捉用户在跨模态间的共同感知行为。在此基础上，提出了一个细粒度偏好挖掘模块，该模块能够提取用户的细粒度偏好，并在词元（Token）级别上为每个模态选择性地强调最相关的偏好因子，从而将统一的跨模态偏好表示精炼得更具区分性和模态感知能力。

在三个真实数据集上的实验表明，USER模型取得了显著的性能提升，其性能增益分别高达3.24%、5.76%和7.08%，充分验证了其在多模态推荐系统中增强用户侧模态表示的有效性。

图 1.已有的多模态推荐系统和USER模型图示

图. 2 USER.整体框架

图. 3 细粒度偏好挖掘图示

该研究得到了安徽建筑大学安徽省智能建筑与建筑节能重点实验室主任基金项目资助（IBES2024ZR01）。（文：史东辉  一审：杨玲  二审：谢陈磊  三审：张润梅）

论文链接：https://doi.org/10.1016/j.knosys.2025.114943