沉浸音频产业化新进展 抖音技术团队牵头制定AVS音频团体标准
2024-1-6 08:22:42 Author: mp.weixin.qq.com(查看原文) 阅读量:8 收藏

近日,AVS(Audio Video Standard) 音频团体标准《信息技术 虚拟现实内容表达 音频》(标准号T/AI 125-2023)发布,标志着国内沉浸音频技术在产业上应用趋于成熟,为多媒体内容多样化与个性化提供了有力的技术支撑。

沉浸音频,也称VR音频,3D音频、空间音频,是新一代音频呈现方式,相比立体声拥有更好的空间呈现效果,能精准地再现每个音源的位置和所处环境的空间信息。当前,沉浸音频带来的沉浸式体验已经在影视、广电、音乐、游戏等场景有广泛的应用。

据了解,AVS 《信息技术 虚拟现实内容表达 音频》标准由抖音视频架构沉浸音频团队牵头制定。在此过程中,该团队先后提交了20余份技术提案,贡献了多项核心技术,参加了两次复合性验证与技术评选,形成十几项前沿技术专利,开源了一套完整的空间音频渲染解决方案,经过三年时间不断完善,建立起了这项国内第三代音频内容表达标准,提供了更加丰富的多媒体呈现能力。

沉浸式音频解决方案示意图

沉浸音频是一种声场重建与还原技术,当声音进入耳朵时,在耳廓、头部附近时传播路线发生变化,到达左右耳的时间上也有微小的差别,所以真正听到的声音与原始音源并不一样,通过沉浸音频渲染,可以使佩戴耳机时与不戴耳机获得一样的听觉感受,具有三维空间感和沉浸感,具备真实环境的房间声学效果。双耳渲染演示如下图:

双耳渲染演示示意图

早在《信息技术 虚拟现实内容表达 音频》标准发布前,沉浸音频技术就得到了新媒体行业的青睐,在众多的场景中崭露头角。2022年9月中央广播电视总台“云听”客户端使用AVS VR音频标准中的耳机渲染技术完成CCTV中秋晚会现场直播;2022年11月世界杯央视转播演示系统使用了AVS VR音频标准中的扬声器渲染技术进行监听;2023年总台春节联欢晚会使用AVS VR音频标准中的耳机渲染技术完成“菁彩声”频道现场直播;2024年杭州亚运会央视体育从制作端生成元数据,按制作者意图生成实时、动态元数据下发,实现了制作、监听与下发数据的完整“菁彩声”流程。

2023年总台春晚使用AVS VR音频技术实现三维菁彩声直播

沉浸音频与VR/MR场景紧密结合。在VR/MR平台上三维视觉、触觉与三维音频现象同步,赋予了用户身临其境的真实感。《信息技术 虚拟现实内容表达 音频》空间音频渲染技术已集成在VR平台PICO上,用户可以使用其制作出具有声源的方位感、环境对声波的反射、透射等声学现象的内容作品,从而为消费者营造符合物理现实的沉浸式音频体验。目前,该技术也通过字节跳动旗下的云服务平台火山引擎面向企业开放。

Pico平台虚拟环境沉浸音频渲染效果

随着《信息技术 虚拟现实内容表达 音频》标准的发布,多媒体内容表达有望朝着更沉浸的方向发展,带给用户身临其境的真实体验 。


文章来源: https://mp.weixin.qq.com/s?__biz=MzI1MzYzMjE0MQ==&mid=2247505328&idx=1&sn=6a92f40ca8c6d9709d8349feab628494&chksm=e9d31e52dea497448e8f3b70620d065c4c1395fca282679ebcfe3133d76b23eedcbddb77cb3c&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh