在自动驾驶、无人机巡检及智慧医疗等领域，单一传感器（如普通摄像头）往往在黑夜、浓雾或雨雪天气下往往会面临“感知盲区”。物理与光电工程学院紧扣国家“低空经济”与智能制造战略需求，针对多模态图像融合中的统一模型构建、真实场景融合、复合天气干扰、模型架构设计等核心科学问题，提出了一系列创新解决方案。
近期，佛山大学物理与光电工程学院李小松副教授指导本科生黎熹来、蒋炜俊，以及硕士生黄敬学、刘武阳、刘慧纯在多模态图像融合领域取得重要进展，相关成果连续发表在人工智能领域顶级国际期刊《Information Fusion》《Expert Systems with Applications》《IEEE Transactions on Emerging Topics in Computational Intelligence》与顶级国际会议《AAAI》。佛山大学物理与光电工程学院均为第一单位。这些成果不仅展现了学院在智能感知领域的科研实力，更体现了高水平育人的显著成效。
成果一：构建“通用大脑”，语义引导与知识集成的统一融合模型（AAAI 2026）
多模态图像融合目标在于整合异构成像传感器获取的互补信息，构建更为全面、稳健的场景表征。然而，如何构建一个有效的多模态图像统一融合框架，使其既能保持跨模态泛化能力，适合不同的图像融合任务，又能捕捉态特异性特征，始终是当前的研究难题。为此，课题组提出UP-Fusion，创新性地引入通道扰动机制与AI预训练知识集成策略，在编码-调制-解码过程实现语义引导的动态适配，有效解决了冗余抑制、模态特异性保持与解码自适应三大核心挑战，为构建统一多模态融合模型提供了一种有效的思路和参考，UP-Fusion在红外与可见光图像融合、医学图像融合、检测分割等下游任务中均表现出优异的表现。
该成果以“Text-Guided Channel Perturbation and Pre-Trained Knowledge Integration for Unified Multi-Modality Image Fusion”为题发表在《The Fortieth AAAI Conference on Artificial Intelligence》（AAAI 2026），AAAI 是人工智能领域历史最悠久的国际学术会议，是中国计算机学会（CCF）和中国人工智能学会（CAAI）同时推荐的A类会议，具有极高的学术认可度与录用难度。2021级光电信息工程（创新实验班）本科生黎熹来同学为论文第一作者，2023级光电信息工程（科技创新班）本科生蒋炜俊同学为参与作者；李小松副教授为通信作者，佛山大学物理与光电工程学院为唯一单位。黎熹来同学已于2026年1月22—26日赴新加坡参加AAAI 2026会议并在会上分享该成果。
成果二：夯实“行业基石”，定义全天候多模态融合基准（Information Fusion 2026）
多模态图像融合走向真实应用时，真正的“卡脖子”往往不在理想场景，而在雨/雾霾/雪等恶劣环境：可见光严重退化、跨模态信息分布失衡，使得许多方法一旦脱离“理想成像条件”，就难以稳定输出可靠的场景表征。针对这一核心痛点，课题组提出首个端到端统一的全天候图像融合框架 AWFusion，在同一网络中协同完成跨模态互补信息融合与恶劣天气下的结构/纹理恢复，为“融合 + 复原”的一体化建模提供了可行路径。同时，为解决真实场景下高质量数据稀缺的难题，课题组还构建了AWMM-100k大规模无人机视角数据集：包含10万+对红外-可见光图像；覆盖雨/雾霾/雪三类天气、轻/中/重多级退化；同时包含合成+真实场景，并提供目标检测标注。在合成退化生成上：雾霾采用经典管线生成；雨/雪则从真实雨雪视频中提取 mask 用于渲染，以保留雨丝/雪花的自然形态与空间结构，从而提升“合成→真实”的泛化。
该成果以“All-weather multi-modality image fusion: Unified framework and 100k benchmark”为题发表在《Information Fusion》期刊，《Information Fusion》是计算机科学和人工智能领域的国际顶尖期刊，是信息融合领域最具影响力期刊，中国人工智能学会（CAAI）A类期刊，常年稳居中科院一区TOP期刊，2026年最新影响因子15.5（五年影响因子17.9），在人工智能、数据融合、信息安全等领域具有极高的学术影响力。此论文是佛山大学首次以第一单位在该刊发表工作，物理与光电工程学院2021级光电信息工程（创新实验班）本科生黎熹来同学和2022级新一代电子信息专业硕士刘武阳同学为共同第一作者，李小松副教授为通信作者。该成果于2026年1月23日在线发表，目前谷歌学术已被引用29次，发明专利已授权。
成果三：挑战“极端生存”，首个复合恶劣天气融合模型（ESWA 2026）
现有恶劣天气图像融合方法大多只能处理单一的退化类型（如纯雾、纯雨或纯雪），在面对复合恶劣天气（如雨+雾、雪+雨并存）时往往会失效 。为此，课题组提出首个能同时处理复合恶劣天气的端到端框架CAWM-Mamba，该模型利用状态空间模型（Mamba）技术，像“滤镜”一样精准剔除多种复合干扰，同时完成图像融合，为无人机和机器人在复杂环境中的稳定感知提供了技术支持。该模型在各种单一与复合恶劣天气下均展现出了卓越的融合鲁棒性，并在下游高级视觉任务中表现优异。
该成果以“CAWM-Mamba: A unified model for infrared-visible image fusion and compound adverse weather restoration”为题发表在人工智能与专家系统国际顶级期刊《Expert Systems with Applications》（中科院1区Top，IF 7.5）。佛山大学物理与光电工程学院为第一单位。2023级光学工程硕士刘慧纯同学为论文第一作者，李小松副教授为通信作者，发明专利已授权。
成果四：洞察“神经偏差”，揭示模态特征提取速度差异（IEEE TETCI 2026）
针对红外与可见光图像融合中不同模态特征空间分布不一致的问题，课题组揭示了不同模态在特征提取过程中存在的明显差异：可见光图像提取深层语义特征的速度明显快于红外图像。为解决这一分布偏差，课题组提出了一种多模态非对称UNet架构MMA-UNet。该模型创新性地设计了一种引导机制，利用可见光的先验信息加速红外图像的特征提取，通过非对称融合策略实现跨层级的特征配对，确保不同模态的特征在兼容的空间内进行融合。大量实验表明，MMA-UNet在多个公开数据集上的融合表现及目标检测、语义分割等下游高级视觉任务中均显著优于现有的最新方法。
该工作以“MMA-UNet: A Multi-Modal Asymmetric UNet Architecture for Infrared and Visible Image Fusion”为题被计算智能前沿交叉领域国际权威期刊《IEEE Transactions on Emerging Topics in Computational Intelligence》接收（中科院2区，影响因子6.5）。佛山大学物理与光电工程学院为第一单位，2022级机械工程专业硕士黄敬学同学和2021级光电信息工程（创新实验班）本科生黎熹来同学为共同第一作者，李小松副教授为通信作者，发明专利已授权。
上述研究成果受到了国家自然科学基金青年项目（62201149）、广东省区域联合基金–地区培育项目(No. 2023A1515140077)、广东省自然科学基金面上项目(No. 2024A1515011880)和粤港澳智能微纳光电技术联合实验室基金（2020B1212030010）的支持。
上述成果凸显了学院“科研创新与人才培养并重”的办学特色，体现了学院在拔尖创新人才培养方面的突出优势。未来，学院将继续坚持这一办学理念，构建“AI+光电”融合创新生态，打造跨学科研究新高地，为服务国家战略和地方经济发展贡献更大力量。
