面向视频会议的音频辅助视频编码方法OA
目前视频会议所包含的视频和音频通常是使用传统的编码标准分别进行压缩。然而从语义层面看,音频和视频存在强相关性,都是对与会者所要表述内容的表征。因此,对两者分开编码是次优的。针对此问题,提出了一种音频辅助的视频编码框架。该框架中视频只传输少量的关键帧以提供必要的纹理参考,利用从重建音频中推理得到时序信息和关键帧来重建其余帧。实验结果表明,与通用视频编码方法相比,该框架在指标DISTS下取得了-89.81%的BD-rate结果。
徐盛鹏;覃浩峻;宋晓丹;左旭光;高大化;谢雪梅;石光明;
西安电子科技大学,陕西西安710071西安电子科技大学,陕西西安710071 西安电子科技大学广州研究院,广东广州510555铭微电子(上海)有限公司,上海200120
电子信息工程
多模态信源编码音频辅助视频编码视频会议低码率语义保真度
《移动通信》 2024 (002)
P.77-82 / 6
国家重点研发计划资助“面向多模态业务的语义通信系统架构与关键技术研究”(2022YFB2902900);国家自然基金“基于语义的图像编码方法研究”(62101398);广州市基础与应用基础研究项目“面向图像理解应用的低带宽、解码即理解图像编码技术研究”(202201011390);国家自然基金重大项目子课题“语义信息弹性编译码理论与方法”(62293483);广州市科技计划基础研究计划“广州市场景理解与智能交互重点实验室”(20220100001)。
评论