多模态语义通信研究综述OACSTPCD
Survey of research on multimodal semantic communication
随着人工智能与通信的交叉融合,文本、图像、音频、视频等多模态数据处理技术蓬勃发展,模态语义的共享维度被深度挖掘,多模态语义信息的高度抽象、智能简约等特性被充分利用,为语义通信带来了全新的思路和手段.首先,介绍了语义通信的基础理论和分类,分别针对文本、图像、音频、视频综述了单模态语义通信的研究现状;然后,综述了多模态语义通信的研究现状,介绍了多模态数据融合技术和安全语义通信的研究;最后,总结了多模态语义通信面临的挑战.
秦志金;赵菼菼;李凡;陶晓明
清华大学电子工程系,北京 100084西安交通大学信息与通信工程学院,陕西 西安 710049西安交通大学信息与通信工程学院,陕西 西安 710049清华大学电子工程系,北京 100084
信息技术与安全科学
语义通信多模态数据融合多模态语义通信
《通信学报》 2023 (5)
28-41,14
国家自然科学基金资助项目(No.61925105)清华大学-中国移动联合研究院基金资助项目
评论