Gorillaz的《Saturnz Barz》360度視頻和Lytro的《Hallelujah》體驗(yàn)等知名VR作品都專注于聽覺體驗(yàn)。音效不僅只是用于漸漸推進(jìn)聽覺體驗(yàn)的一種線索,它可以完全改變VR冒險(xiǎn),甚至能夠影響整個(gè)故事線。
一.行業(yè)將會(huì)在各種類型的體驗(yàn)中擁抱基于對(duì)象的音頻
如同360度相機(jī)可以從單點(diǎn)捕捉整個(gè)3D場(chǎng)景,一個(gè)環(huán)境立體聲(Ambisonics)麥克風(fēng)可以在給定時(shí)間內(nèi)描述出360度場(chǎng)景中的音頻快照。環(huán)境立體聲信號(hào)十分適合傳輸大體環(huán)境,但難以精準(zhǔn)定位單體聲音。這個(gè)缺點(diǎn)困擾音頻工程師已有相當(dāng)一段時(shí)間。
從今年年初開始,更多的音頻工程師開始使用基于對(duì)象的音頻和基于場(chǎng)景的音頻來創(chuàng)建更為逼真的聽覺體驗(yàn)。基于對(duì)象的音頻是指被領(lǐng)夾式麥克風(fēng)捕捉的單體聲音;而基于場(chǎng)景的音頻則是指被環(huán)境立體聲(Ambisonics)麥克風(fēng)捕捉的大體聲音層。在物理現(xiàn)實(shí)中,你可以詳細(xì)聽到接近于你或?qū)δ闶种匾穆曇簦ɑ趯?duì)象的音頻),而其他則被感知為背景聲音(基于場(chǎng)景的音頻)。對(duì)象音頻和場(chǎng)景音頻的結(jié)合成為VR音頻工作流程的行業(yè)標(biāo)準(zhǔn)只是時(shí)間問題。
由于對(duì)單體聲音進(jìn)行后期處理更加容易,基于對(duì)象的音頻為內(nèi)容創(chuàng)作者提供了更多的創(chuàng)意內(nèi)容(我們可以想象單個(gè)原始元素與一個(gè)大型凌亂的聲音組合之間的比較)。另外,基于對(duì)象的音頻完美適配6自由度VR內(nèi)容,而這種內(nèi)容正變得越來越受歡迎。
6自由度內(nèi)容就如同游戲,角色可以在空間中任意走動(dòng),同時(shí)可以與環(huán)境中的對(duì)象交互。當(dāng)角色進(jìn)行任意這種活動(dòng)時(shí),聲音需要相應(yīng)地發(fā)生變化。因?yàn)榭梢愿玫卦谟螒蛑卸ㄎ宦曇簦约翱梢暂p易表達(dá)出變化,所以基于對(duì)象的音頻實(shí)際上早已用于3D游戲引擎中。
二.更多企業(yè)將擁抱空間音頻,高質(zhì)量VR內(nèi)容也會(huì)隨之出現(xiàn)
空間音頻是傳達(dá)逼真VR體驗(yàn)的關(guān)鍵。空間化的聲源提供了三維位置數(shù)據(jù),讓用戶感覺聲音好像真的是從這些聲音位置中傳來。就目前而言,YouTube和Facebook是唯一支持空間音頻的知名播放器平臺(tái)。
發(fā)行平臺(tái)數(shù)量上的限制使得內(nèi)容創(chuàng)作者在制作中全面擁抱空間音頻的熱情大為降低。不過,隨著人們?cè)絹碓揭庾R(shí)到聲音的重要性,渲染器或播放器將最終支持空間音頻。當(dāng)視頻播客網(wǎng)站Vimeo在3月份推出Vimeo 360以支持360度內(nèi)容時(shí),來自用戶大量的請(qǐng)求包括了對(duì)空間音頻功能的渴望,而官方幫助頁面表示他們計(jì)劃在不久的將來支持空間音頻。相信更小的播放器和平臺(tái)將會(huì)沿著Facebook、YouTube和Vimeo的路徑前進(jìn)。隨著VR內(nèi)容質(zhì)量的用戶標(biāo)準(zhǔn)不斷上升,空間音頻將會(huì)普及開來。
有許多因素阻礙了發(fā)行平臺(tái)采用空間音頻,主要原因是缺少專門的VR音頻格式,以及兼容的渲染器。隨著行業(yè)越來越注重基于對(duì)象的音頻,單純的環(huán)境立體聲將會(huì)逐步淡出舞臺(tái)。
為了統(tǒng)一空間音頻工作流程,我們?cè)诮衲昴瓿蹩吹搅薌AO格式的出現(xiàn)。GAO格式由位于美國洛杉磯的空間音頻公司G’Audio Lab開發(fā),其把對(duì)象和環(huán)境立體聲整合成單個(gè)和立體信號(hào)。
G’Audio Lab的商業(yè)開發(fā)總監(jiān)布魯克林·埃爾里克(Brooklyn Earick)表示:“許多人觀看了我們的演示作品。當(dāng)他們看到聲音空間化并在環(huán)境立體聲格式下傳達(dá)的部分時(shí),他們通常會(huì)開始微笑。然后在看到GAO部分的時(shí)候,許多人都會(huì)因驚喜而不由自主地嘴巴上揚(yáng)。”由于GAO配備了兼容的渲染器SDK,所以不同大小的平臺(tái)將能更容易采用空間音頻。
三.創(chuàng)作者將探索后期制作并創(chuàng)建新的聽覺體驗(yàn)
VR音頻在通過相應(yīng)的聲音匹配視覺上已經(jīng)有了精度,下一發(fā)展階段將是在后期制作上探索令人興奮的新技術(shù),把專屬于VR的所有潛能都發(fā)揮出來。
聲音不僅只是一種用于引導(dǎo)VR用戶視線的故事敘述線索。在部分新用例中,如果你愿意,你實(shí)際上可以在相同體驗(yàn)中聽到特定的聲音。
這種聲音新浪潮不僅只是當(dāng)前技術(shù)進(jìn)步的一部分而已。在許多情形下,這將會(huì)給革命性的新娛樂形式讓步。對(duì)藝術(shù)家而言,虛擬畫布使得現(xiàn)實(shí)生活中的物理維度在水平和垂直上擴(kuò)展了360度。音樂家現(xiàn)在可以把玩“虛擬位置”,然后再配合以對(duì)音高、響度和時(shí)間的傳統(tǒng)考量。他們同時(shí)在學(xué)習(xí)如何利用人類的聽覺感知,并在更深的層次影響這些體驗(yàn)。你在現(xiàn)實(shí)生活中體驗(yàn)過的部分心理聲學(xué)可以應(yīng)用在VR中,這使得體驗(yàn)在個(gè)人層面上有所不同。
VR音頻的進(jìn)步將會(huì)變成為主流消費(fèi)者優(yōu)化體驗(yàn)的關(guān)鍵,并賦予開拓者創(chuàng)新體驗(yàn)的必備工具。這三種趨勢(shì)在達(dá)到目標(biāo)之前仍有一段很長的路要走,但在未來幾年內(nèi)將會(huì)幫助塑造整個(gè)行業(yè)。
(審核編輯: 智匯張瑜)
分享