多模态数据融合研究综述OA北大核心CSTPCD
Survey of Multimodal Data Fusion Research
尽管深度学习强大的学习能力已经在单一模态应用领域取得了优异成果,但研究发现单一模态的特征表示很难完整包含某个现象的完整信息.为了突破在单一模态上特征表示的阻碍,更大化利用多种模态所蕴含的价值,学者们开始提出利用多模态融合的方式去提高模型学习性能.多模态融合技术是让机器在文本、语音、图像和视频中利用模态之间的相关性和互补性融合成更好的特征表示,为模型训练提供基础.目前多模态融合的研究仍处在发展初期阶段,从近几年多模态融合的热门研究领域为出发点,阐述…查看全部>>
Although the powerful learning ability of deep learning has achieved excellent results in the field of single-modal applications,it has been found that the feature representation of a single modality is difficult to fully contain the complete information of a phenomenon.In order to break through the obstacles of feature representation on a single modality and make greater use of the value contained in multiple modalities,scholars have begun to propose the us…查看全部>>
张虎成;李雷孝;刘东江
内蒙古工业大学 数据科学与应用学院,呼和浩特 010080内蒙古工业大学 数据科学与应用学院,呼和浩特 010080||内蒙古自治区基于大数据的软件服务工程技术研究中心,呼和浩特 010080内蒙古工业大学 数据科学与应用学院,呼和浩特 010080||内蒙古自治区基于大数据的软件服务工程技术研究中心,呼和浩特 010080
计算机与自动化
深度学习多模态融合模态对齐多模态应用
deep learningmultimodal fusionmodal alignmentmultimodal applications
《计算机科学与探索》 2024 (10)
2501-2520,20
国家自然科学基金(62362055)内蒙古自治区重点研发与成果转化计划项目(2022YFSJ0013,2023YFHH0052)内蒙古自治区高等学校青年科技英才支持计划项目(NJYT22084,NJYT24035)内蒙古自然科学基金(2023MS06008)内蒙古自治区直属高校科研项目(JY20220061,JY20222077,JY20230119,JY20230019)鄂尔多斯市重点研发计划项目(YF20232328).This work was supported by the National Natural Science Foundation of China(62362055),the Key Research and Development and Achievement Transformation Program of Inner Mongolia Autonomous Region(2022YFSJ0013,2023YFHH0052),the Support Program for Young Scientific and Technological Talents in Higher Education Institutions of Inner Mongolia Autonomous Region(NJYT22084,NJYT24035),the Natural Science Foundation of Inner Mongolia(2023MS06008),the Research Projects of Universities Directly under Inner Mongolia Autonomous Region(JY20220061,JY20222077,JY20230119,JY20230019),and the Key Research and Development Program of Ordos(YF20232328).
评论