公司新闻

当前位置:摩杰平台注册 > 摩杰娱乐新闻 > 公司新闻 >

如何解决传统影视产业向虚拟现实转型中全景声

作者:佚名 发布时间:2019-02-12 06:14

甚至谷歌也强调声音是虚拟现实内容中的一个重要元素,很少被注意到,但是可以增强沉浸感。。 语音可以成为虚拟现实电影内容叙事中引导用户的重要手段。

鉴于声音作为内容表达的一个要素如此重要,首席执行官孙薛婧博士在参观了时代延伸精神之后谈到了他在这一领域的经验。。

filehelper_1464231538195_14

时代计费位于科技馆的创业空间,一个充满禅宗味道的孵化器。

filehelper_1464231553933_98

TechTemple的哲学:创业就是实践。

filehelper_1464231570698_62

在3个国家中。这里有0支“精神实践”团队,时间精神就是其中之一。

filehelper_1464231587084_88

医生。 太阳薛婧

1。 全景声音在虚拟现实视频中有多重要?

孙·薛婧: 至于声音,我已经研究了很多年了。 我以前在杜比学习过虚拟现实声场项目,后来成为了公司,因为我认为声音是虚拟现实中非常重要的组成部分。。 虚拟现实中的声音无疑是帮助导演叙事的重要手段。 至少在目前受到公众青睐的几部虚拟现实电影中,声音发挥了至关重要的作用。。

2。 VR全声场的两种制作方法及其优缺点

目前,VR全声场有两种产生方式,一种是现场声音采集,另一种是后期制作

将全运动视频添加到VR视频以产生声音是一个新的挑战。 虽然传统音频制作的经验可以借鉴,但是新的录制方法和完全不同的合成后处理方法带来了新的要求和新的技术困难。。

孙·薛婧: 现场收集声音的困难在于环境问题会限制我们收集完美的声音。 例如,会有干扰,在全景声音的情况下,我们很难控制这些干扰源。事实上,360度声音收集的目的是收集所有的声音,所以选择我需要什么声音和不需要什么声音是不好的,控制哪个声音更强和哪个声音更弱也不好。录制的声音不理想,周围的声音嘈杂,混响非常大,听起来非常糟糕。这样,硬件技术和软件处理都需要进一步处理。

孙·薛婧: 在声音制作的后期,声音会非常纯净。就像我们现在看的电影一样,声音非常安静。但是 后期制作的声音工作量将非常大,成本也将很高。 大多数时候,环境声音的场景也是必不可少的。这 。 对这两种声音处理方法没有偏好,但这取决于项目的需要。 有时两种方法结合在一起。 例如,在我们刚刚制作的Midi音乐节上,我们使用了部分现场声音和后期制作声音。毕竟,音乐会上应该有气氛和响亮的欢呼声。这些声音让用户感觉更真实,更亲近。

3。全方位录音设备的特点

专业、小巧、便携、友好的价格应该是VR影视创作团队的选择。

孙·薛婧: 目前,VR影视制作团队非常关注现场声音采集问题。传统立体声,5。1无线电和手动磁头记录以前是常用的技术,现在是360度;在声场时代,需要注入更多的新想法,一些新设备相继出现在市场上。在我们以前的实际工作中,我们还发现许多设备非常笨重,不方便。此外,我们还从国外购买了一些设备,但是价格非常昂贵。时代工具公司设计并开发了全新的360度全方位声场无线电设备 该设备的优点是便携性和友好的价格。 目前,国内外的同事也在努力探索舞台,不同的设备适合不同的需求,从而更加专业。

4。为什么你需要一个相应的引擎来发出全景声音?

在记录完完整的场景声音后,仍然存在后处理的问题,例如将音轨的相位与VR视频图像的相位相匹配,使得来自特定径向源的声音和对应的图像在观看时来自同一个源。

孙·薛婧: 在研究全景声音技术的过程中,我们也涉水穿越了很多水,甚至坑。经过多次实验,我们最终总结出一套算法,不仅可以将传统的立体声处理成全景声音,而且可以以最快、简单、高效的方式呈现录制的全景声音。然后它被制成SDK,这将更适合于非声学专业人员快速入门。目前,它是免费的,主要是希望借助我们在全景声音方面的专业知识,帮助更多虚拟现实团队制作越来越好的360度。 声音。我们称之为SDK“旋转虚拟音频SDK ”

孙·薛婧: 在VR电影和电视内容中,专业声音处理人员面临的问题可能是:

您需要能够准确地恢复全景声场中所有声源的位置、方向、距离和轨迹。

你需要很多音轨来支持你需要的许多声音细节。

为了满足虚拟现实的特点,你可能还需要结合陀螺给出的头部旋转和位置信息,随时添加声源,并实时渲染。

当你的头在旋转和移动时,你甚至需要重建声场并实时调整声场的方向、位置和距离。

孙·薛婧: 为了达到最佳效果,你可能必须这样做,因为以这种方式处理的声音效果会让你的用户感觉他们真的在真实环境中,而忽略耳机的存在。然而,完成如此多复杂的声音处理需要大量的工作,这是传统音效处理的数倍。我们的SDK旨在解决这些问题。

孙·薛婧: 考虑到大多数使用SDK的开发人员可能是非声学专业领域的人员,我们为SDK设计了API接口,这可以帮助开发人员轻松集成到各种应用程序、产品或系统中。开发工具包还包含必要的文档、代码示例和演示,以帮助开发人员快速入门。

“旋转VR音频SDK”支持渲染各种VR360声场记录,例如,双声道和头记录、分离声道声源的后期制作,以及将传统立体声转换成适合VR声音回放的声音格式。

除了耳机模式,SDK还提供扬声器模式,用户还可以通过一对扬声器体验全景声音的效果。

“旋转虚拟音频SDK”实现了跨平台,并在各种平台下提供SDK,可灵活应用于Android、iOS、Windows、Mac OS和Unity3D平台。用户或开发者只需要根据API的程序参数提供声源的音频数据、声源的位置信息和头部运动信息,引擎就可以实时计算并返回耳机输出的音频数据。

虚拟全景拼接和虚拟实况广播专业解决方案

孙薛婧认为,随着全景摄影逐渐成为大众市场,娱乐级全景摄影设备可能会被手机所取代。 因此,时间延长精神没有引入自己的拍摄和拼接一体化设备。

1。提供灵活的全景拼接解决方案

孙·薛婧: 在全动态视频中,托林制作了一款机架式产品,可以安装各种主流设备,包括高端工业设备和低端娱乐设备。通过该支持,可以实现自适应兼容性,实现全景实时拼接输入。至于拼接,我们也可以把它分成两个齿轮,一个是快速拼接,另一个是精细拼接。这实际上是我们的优势,你为什么这么说? 作为全景拍摄和拼接的一体化设备,一旦完成,工作将会形成,拼接接缝不会轻易修改。我们的方案更加灵活,可以适应不同的设备以满足不同的需求。

2。提供虚拟现实直播解决方案

孙·薛婧: 目前,托林还支持VR直播,这也适合当前市场的主流设备。我们可以输出4K高清视频,这在拼接技术中没有问题,但它将受到现有推送流传输和回放平台的限制。因此,1080P全动态视频仍然是目前最常见的视频,建议现场宽带应该在10M左右。直播设备的设置过程比实际拍摄复杂得多。一旦设备安装完毕,以后几乎没有什么操作可以做了。然而,虚拟现实直播毕竟是一个新的领域,我们不得不面对许多问题,例如音乐会的直播、由直播灯光强度变化引起的图像曝光,这也是业内积极探索和解决的难题。我们还将尝试不同的设备,并通过软件不断优化图片效果,以获得更完美的听觉效果。

托灵云——中国第一个VR全景内容制作云平台

随着各行各业对虚拟现实转换的需求以及全景从业者对虚拟现实全景的日益增长的需求,Torino Cloud在自主开发的全景拼接工作室的基础上,结合云服务SaaS模式,为用户提供一站式的云虚拟现实全景声音内容制作服务。

孙·薛婧: 目前,我们有两种托灵云全景马赛克模式,一种是快速马赛克,另一种是精细马赛克。快速拼接被广泛使用,适合娱乐用户。 精细缝合适用于需要高缝合质量的用户。目前,托凌云刚刚推出。在试运行期间,我们将为会员提供免费快速的全景拼接服务。由于精细缝合的工作量很大,这需要时间和大量劳动力。目前,托灵云可以完成全景镶嵌云处理,包括声音和图像,并且可以非常高效地制作。

孙·薛婧: 考虑到全动态视频文件可能非常大,我们目前在网络侧和客户端提供两种上传形式。如果视频内容上传到网络侧,我们将限制大小。这也是为了确保文件可以在合理的时间内上传到云中进行拼接,例如4K级别的几分钟短片,这些短片完全没有问题。如果文件相对较大,我们建议使用Toolynam客户端在本地拼接。为了保证沱岭云的正常运行,我们将把完成的作品保留三天,并在云中删除,用户可以在本地保存。如果需要云存储,我们也可以提供相应的存储服务。

专注于技术研发,提供VR全动态视频+音频集成解决方案

凭借其在全声场技术方面的绝对优势,时代工具已经成为中国第一家能够提供专业的全动态视频+音频完整解决方案的公司。

孙·薛婧: 目前,时代工具主要面向行业用户和企业家,他们拍摄和制作全动态视频。未来,随着越来越多的用户了解和理解全动态视频,时代工具将逐渐发展成为一个内容平台和分销渠道,提供更多服务。目前,我们已经开始了新一轮融资计划。在不久的将来,TIME工具开发的核心是研发和市场拓展。保持行业领先的技术壁垒,扩大凌云的运营和维护,为行业用户提供更专业的全景声音综合解决方案。

二维码VR圈