【GC 16】體驗以最低限度硬體讓聲音在現實世界中定位的「Waves Nx」

(本新聞經日本 4Gamer.net 同意授權轉載) 2016-08-22 18:40:18 原文出處

  以專業等級音效處理軟硬體聞名的 Waves Audio(以下簡稱為 Waves),在今年 3 月的遊戲開發者大會(Game Developers Conference 2016)上,宣布使用耳機等裝置時,能夠利用聲音在現實世界中定位的「Nx」技術,將會對應 VR 應用,推出針對玩家,支援頭部位置偵測的 3D 音效系統。
 
  之後公司便在募資網站 Kickstarter 上募集 Nx 用頭部位置偵測模組「Nx Head Tracker」的開發資金,並且在成功募集到目標金額後,便邀請媒體「配合科隆遊戲展,除了 Nx Head Tracker 外,還會一起推出運用 Webcam 鏡頭執行頭部偵測功能的相關軟體測試,如果有機會可以前來體驗」。
 
  • image
 
  難得有幸被公司招待,所以這次就要簡單整理一下測試報導,和大家介紹這套裝置的使用體驗。
 

可以強化 VR 投入感的 3D 音效

 
  筆者首先試玩的遊戲,是 HTC 製頭戴裝置「Vive」的 VR 壁球風格遊戲《Racket: Nx》。
 
  《Racket: Nx》以一款使用房間規模場地的壁球風格遊戲來說,其實設計頗為單純。玩家要站在呈現圓筒狀的虛擬空間當中,使用球拍(Vive 專用控制器)來擊球,讓球命中設置在牆壁上的目標。雖然遊戲有時間限制,但是只要球成功擊中目標,就可以延長限制時間,所以必須要盡可能精確擊球打中目標,賺取更多時間和更高分數。
 
  雖然除此之外還有不少比較細節的規則設定,但整體來說是很單純的作品。
 
  • image

    《Racket: Nx》是讓玩家以球拍擊球來破壞黃色目標的遊戲。附帶一提,照片裡的示範玩家,就是這次 Waves 公司派出來負責接待媒體的 Idan Egozy(產品經理)

  但是這個規則單純的《Racket: Nx》,一但開啟了 Nx 的頭部位置偵測 3D 音效功能以後,在玩遊戲時的感覺可以說是截然不同啊。像是球在空中飛行的聲音、擊中牆壁時會發出的聲響等聲音,全部都會從球存在於虛擬空間當中的位置傳來,所以玩家也能以此為輔助,更直接把握到球目前在哪個方位。
 
  雖然說因為球速極快,還不習慣遊戲時,就算能靠音效來判斷球的位置,也還是有可能無法追上,更不要說拿起球拍回擊了,但是非常真實的音效,的確能讓玩家更能投入遊戲。
 
  • image

    正在看球拍的畫面(的鏡像顯示)。分數會顯示在球拍上

  《Racket: Nx》遊戲可以在「Steam VR Store」免費下載試玩版,如果有 Vive 裝置,而且房間大小也能使用房間規模場地 VR 程式的話,請大家一定要親自試試。
 
  另外以 Vive 搭配 Nx 的應用,筆者還試用了另外一種,在虛擬空間當中設置音源,並且在附近自由移動的展示。因為這個應用並沒有遊戲性,也就是所謂的技術展示,所以更能夠清楚掌握聲音的來源、位置,和音源移動的情況。
 
  • image

    在音源附近繞來繞去的筆者

以智慧型手機+α 來實現 3D 音效

 
  在經過上面的體驗後,筆者已經很清楚了解 VR 和 Nx 搭配使用的效果極佳了,但話雖如此,要說到「擁有 Vive 裝置,而且住家環境能充份活用房間規模場地 VR 應用」的玩家,恐怕並不是那麼親民的條件吧。也就是說如果只以上面的體驗來說,大概會讓人覺得「雖然是很強啦,但和我沒關係吧」。
 
  可是 Nx 的實力,就算不搭配 VR HMD,也一樣能充份發揮。實際上就筆者個人感覺,反而是在沒有使用 VR HMD 時,才更能讓人感覺到其厲害之處。
 
  所以說在體驗過應用 Vive 的展示之後,接下來要使用的,就是在網站上募集資金的產品 Nx Head Tracker 了。
 
  這是一個可以裝在普通耳機或是耳麥上的小型裝置,擁有偵測目前頭部方位的功能。只要使用這個裝置,就可以和應用 Vive 的展示一樣,模擬出更自然的音場,是 Nx Head Tracker 最大的賣點。
 
  • image

    因為 Nx Head Tracker 不準拍攝,所以這是 CG 圖片

  展示機的組成可以說是非常簡單,只有一台智慧型手機,一組耳機或是耳麥,再加上一個 Nx Head Tracker。已經存在智慧型手機中的音源有先經過環繞音響處理,但除此之外似乎並沒有特別針對 Nx 多加處理過。
 
  而在這個狀態下,只要在智慧型手機上開啟 Nx 效果處理器,就可以從很普通的雙聲道耳機中,聽到很有立體感的聲音。
 
  就筆者個人感覺來說,應該是「從前方傳來的聲音」,聽起來會比較像是「從前方略高處傳來的聲音」,但左右兩邊則是完全沒有什麼不對勁的感覺。這次準備的音樂是演唱會的錄音,聽起來甚至連台下歌迷的歡呼聲都非常自然,完全形成一個「音域空間」。
 
  附帶一提,這次展示就如同前面提到的一樣,是使用經過環繞立體聲處理的音源,但就算是只用普通雙聲道收音下的音源,似乎也會聽起來更加自然。當然也是因為有頭部位置偵測功能的關係。
 

利用 Webcam 重現 3D 音效!?

 
  最後一個展示,則是讓人體驗利用 Webcam 來執行頭部位置偵測的技術。
 
  這個展示使用的裝置也很簡單,需要準備的器材只有電腦和 Webcam 以及耳機(或耳麥)而已。只要在電腦上執行由 Waves 推出的軟體「Nx app for Windows」,軟體就會透過 Webcam 來判斷使用者目前頭部面向何方,並且配合頭部方位來重現出「正確」的音場。再將處理過的音效從耳機裡播放出去。
 
  • image

    Nx app for Windows 開發版本

  只需要透過 Webcam,就可以即時截取到使用者頭部方向和表情的技術,其實大家應該都在「Facerig」之類的技術中見識過了才對。
 
  而用在音效上,雖然感覺會需要更高的精準度,但是根據 Waves 表示,實際測量誤樂好像不滿 1 度。實際上使用這個裝置來體驗 Nx 的感覺,和使用 Nx Head Tracker 的確是幾乎完全一樣。
 
  只不過人類這種生物的欲望實在是無邊無盡。既然「只要準備好 5.1 聲道或 7.1 聲道的環繞立體聲音源,就能透過這個系統,聽到更有立體感的音效」的話,那就算不是 VR 遊戲,也能體驗到更立體,更自然的遊戲音效了對吧?
 
  而在聽到筆者提出這種問題之後,他們就拿出重製版《毀滅戰士》,讓筆者使用這個裝置來體驗看看。
 
  在實際試玩過後,就結果來說,有沒有使用 Nx app for Windows 並且開啟 Nx 功能,玩遊戲時得到的體驗可以說是完全不同到令人吃驚。因為使用的是動作很激遊戲,所以當然是沒辦法要求到「光聽腳步就知道敵人是從哪個方向走來」這種程度--其實習慣的話搞不好真有可能--,但是給玩家的臨場感和投入感真的是完全不一樣。
 
  而且這次是使用所謂遊戲筆電來執行遊戲,如果再加上大尺寸螢幕,想必還能讓效果更上一層樓。除了 FPS 之外,也應該還有像是競速遊戲或是飛模遊戲等等,許多不同類型的遊戲適合搭配使用。
 
  但話雖如此,音聲延遲是個很令人在意的問題。因為要先透過 Webcam 來偵測頭部位置,然後再基於偵測結果來處理聲音資料,所以對於電腦的負荷一定是比普通播放音源還要吃力。
 
  而就這次的實際體驗,應該是使用能對應 VR 的高性能遊戲筆電,所以是沒有感覺到很明顯的延遲,也就是說如果電腦性能足夠的話,可能是不太需要在意這個問題也說不定。只不過有關於這個部份,應該還是要等完成版本釋出之後再實際測試才能下定論。
 

Nx 的魅力就是能以現有設備實現「讓聲音配合現實世界定位」

 
  Waves 在今後,預定會依照當時在募資網頁上提出的時間表,以 99 美元的價格推出 NX Head Tracker 和 Nx app for Windows 同捆的套裝組合,並且以推出廉價版 NX Head Tracker 為目標,和電腦以及智慧型手機製造商交涉,希望讓 Nx 系統可以成為裝置中的預載軟體。
 
  而使用 Webcam 的電腦版,對於藍芽裝置會碰上審核問題的日本市場來說,應該會是目前最方便使用的軟體技術才對,但很可惜的是目前電腦版的發售時間和價格都尚未確定。
 
  另外筆者還有提問「既然使用攝影機就可以偵測頭部位置,那如果用智慧型手機的內部鏡頭,就算不搭配 Nx Tracker 使用,應該可能組成 Nx 系統才對吧?」,而回答則是「理論上應該可能,實際上目前也正在檢討當中」。
 
  只不過如果是搭配智慧型手機來使用,在看影片或是玩遊戲時一定需要盯著畫面看(也就是內部鏡頭一定是朝向玩家),而另一方面在播放音樂時,又多半是把智慧型手機放在口袋裡面等地方。所以目前應該還是要搭配 Nx Head Tracker 使用吧。
 
  更為擬真,更能讓人投入的體驗,雖然是擁有吸引人的魅力沒錯。但是不管是多有魅力的體驗,想要讓人克服「麻煩」這個障礙,也是一直都很困難。
 
  但就算是在這個前提之下,光是靠現在幾乎是筆電標準配備的 Webcam,就可以實現 3D 音效的技術,想必也很能讓人克服「麻煩」,而擁有充份普及化的潛力。
 
  在今年的遊戲開發者大會上,還同時發表將會對應 Wwise 以及 FMOD 等音效中介軟體,也許玩家可以在不遠的將來,就看到活用 Waves Audio 新技術的遊戲出現在市面上。

 

標籤:

#vr

載入中...

延伸報導

FJ 新作漫畫《女神的考驗》現正於 MOJOIN 平台展開連載
動漫 | 電玩相關動漫畫
0
【TiCA25】東立將於 2025 動漫節邀請《朱音落語》《治癒悖論 deeper》作者來台
活動 | 電玩相關動漫畫
0
台灣角川慶祝在台 25 週年 宣布將在台推出「Kado Plus」輕小說看到飽服務等多項計畫
影劇 | 電玩相關動漫畫
0
BOOK☆WALKER 宣布推出連載館服務 雙 11 活動限期展開
活動 | 電玩相關動漫畫
0
「饅頭娃吊飾 10 周年生日派對快閃店」於東京可愛登場
宅物 | 電玩相關動漫畫
0
Meta Quest 版《三角戰略》搶先試玩 打造獨特的 VR 微縮模型桌遊體驗
PC | 三角戰略
44
靈感來自極限挑戰節目!VR 新作《肌肉忍者 VR》開放試玩版
PC | 肌肉忍者 VR
8
《VR 女友(2024)》女主角「夕陽櫻」樣貌曝光 預計 2025 年 2 月發售
PC | VR 女友(2024)
62
《三角戰略》Meta Quest 版今日發售 面對自身正義的戰略 RPG
PC | 三角戰略
3
人氣舞蹈遊戲新作《Just Dance 舞力全開 2025》及《Just Dance 舞力全開 VR》現已推出
多平台 | 舞力全開 2025
13
2024 VIVE XR & AI Innovation Day 台日齊登場 最新混合式 XR 一體機現場亮相
3C | HTC
3
HTC 與文策院攜手展示 VIVERSE Create 技術平台 推動創作者生態系
3C | HTC
2
【GC 18】擺脫「線」的拘束!HTC 宣布 VIVE 無線模組 9 月起開放預購
活動 | HTC
64
【GC 24】VR 新作《蝙蝠俠:阿卡漢之影》釋出首支遊玩展示影片 預定 10 月推出
活動 | 蝙蝠俠:阿卡漢之影
3
使用握把控制攀爬和抓取!肌肉障礙賽 VR 遊戲《肌肉忍者 VR》正式推出
PC | 肌肉忍者 VR
1
【試玩】PS VR2 專用 FPS《Firewall Ultra》以高品質視線追蹤功能強化 VR 體驗
PS5 | Firewall Ultra
10
藉由紅外線定位技術帶來多元體驗 義大 VR Station《白色懼塔》《失控地鐵》等試玩心得
PC | 奧可森 OXON / 奧瑪司 OMAS VR+
33
《七龍珠》VR 體感遊戲《Master the Kamehameha》試玩 化身 Z 戰士擊出龜派氣功
多平台 | Master the Kamehameha
79
在《FF XV》世界享受釣魚之樂 《深淵怪獸》等 PS VR 專用遊戲遊戲試玩報導
PS4 | PS4 周邊 / PlayStation VR(Project Morpheus)
49
HTC Vive 版本《Holodia》現場試玩影片曝光 在美麗場景邊划船邊健身
活動 | HTC
63