斯坦福新研究：更逼真的VR声音模拟算法，效率提升千倍

anrey573

hi188｜ 编辑
VR最大的优势就是沉浸式，沉浸不仅仅在于视觉方面，听觉方面同样极为重要。良好的听觉反馈能够给我们带来更为逼真、身临其境的效果，这一点相信大家在日常观看电影、玩游戏时也有体会。



声音在VR中的重要性

很多时候，我们也在惊叹一些电影良好的配音，甚至还有一档主打配音的娱乐节目《声临其境》在网络上受到不少网友们欢迎。

不过，电影或其它影视节目的配音往往是预先录制好的，而VR应用/游戏中则没有脚本。也就是说，到目前为主想要在VR中实现电影版的音效似乎是不可能的。

因此，为了让VR场景实现更逼真的听觉效果，工程师们就要建立大量的“声音模型”，这也就相当于进行预先录制一个电脑版本。



正由于VR这种自由非固定脚本程序的交互特点，也很难预测一个物体可能产生哪些声音，或者你位于什么位置，会以何种效果听到，因此建立声音模型时就必须要求：每个声音模型在特定时间、特定位置、能够合成预想中声音效果。

此前，即便只是一组声音模型，也需要大量计算机组花费几个小时进行创建。由于一个VR场景中需要大量的声音模型综合机型模拟，因此在VR这种强交互场景中建立全面的声音模型一直以来都是一个难以实现的目标。



快速高效的声音模型算法诞生

近期，斯坦福大学计算机科学家研发了一套创建声音模型的算法，这套算法的优势是只需几秒钟即可创建一套声音模型，这比以往需要大量计算机组花几个小时时间模拟一组声音的算法，在综合成本上大大降低，也使得在VR中创建一套复杂的综合声音模拟系统变得更容易实现。

该算法由Doug L. James教授和博士生Jui-Hsien Wang参与研究，并且已在Siggraph 2019进行发表。



Doug L. James是斯坦福大学计算机科学系的全职教授，也是皮克斯动画工作室的资深科学家顾问。目前，其拥有三个应用数学方面的学位。他的研究兴趣包括计算机图形学、计算机声音、物理建模和动画、物理模型降阶。



Jui-Hsien Wang是Doug L. James的一名博士研究生，他的研究兴趣是开发高效且逼真的基于物理动画和声音的合成算法。此前，其从事海洋地理、生物力学、燃料电池方面的研究，并且此前分别在迪士尼研究院和Adobe Research进行实习。

据青亭网了解，当有一个动作发生时需要配套的声音，新模型即可快速合成一个声音，并且效果和此前在实验室通过多计算机组生成的同样逼真。



James教授讲到：新的算法可以更轻松、更容易的创建一个模型，并且由此创建一个具备交互的复杂环境下真实声音模拟系统变得更为实际，更为简单。

KleinPAT算法优势

据系，现有的创建声音模型的算法基于19世纪科学家Hermann von Helmholtz的研究成果，他用自己的名字命名了一种声音传播方式的方程组。基于这一理论基础，科学家们设计了不同的算法去创建3D声音模型，软件系统会根据不同的方向和位置，模拟出更为真实的声音效果。



目前创建3D声音模型的最佳算法基于边界元法(BEM)，不过该方案制作成本太高，商业化进展缓慢。

为此，Doug L. James教授和Jui-Hsien Wang共同开发了这套新的算法，该算法避开了Helmholtz方程和边界元法。相对于现有的声音模型，新方法的效率可提升数百倍到数千倍。



James教授研发的这套新算法，灵感来自于20世界奥地利作曲家Fritz Heinrich Klein。Klein最著名的研究成果是将多个钢琴音调和音符混成一个单一的、令人感到愉悦的声音，也被称为“Mother Chord”。为了向Klein致敬，James教授还将这套新算法命名为“KleinPAT”。

James教授讲到：我们认为KleinPAT算法将是互动场景音频领域的游戏规则变革者。

简单来讲，KleinPAT算法将振动的三维物体的不同模拟音调进行最优排列成和弦，然后通过时域矢量波束器同时播放，从而有效的将所有声场信息进行融合传递出来。

KleinPAT算法可以快速估计线性震动模型的所有声场，从而大幅降低声音模拟过程的成本。



通过视频来看，KleinPAT算法已经可以逼真的模拟不同材质、不同位置的声音效果模拟，而且从音色、声音大小等方面效果足够逼真。

有了更高效且效果同样逼真的算法，接下来自然需要商用市场来推进。当然这也意味着，高度逼真的声音交互VR应用将会变得越来越普及，尤其是像模拟器类应用，例如VR模拟物理、化学实验等等。

当然，面向游戏娱乐领域的应用将更为广泛。我们不再想要听到那些千篇一律的“滴”、“噔”等反馈声，那些更逼真结合虚拟场景声音才是会让VR体验提升到新的层级。

参考：

http://graphics.stanford.edu/projects/kleinpat/assets/mfpat_opt.pdf

（END）

    推荐阅读   









每天五分钟，轻松了解前沿科技。   
         —— 青亭网