全面迎接體感新紀元 三大遊樂器平台革新遊戲操控介面概觀

　　在 2009 年 E3 展中，三大平台廠商不約而同的發表或推出以革新遊戲操控介面為訴求的產品，包括甫上市的任天堂「Wii 動態強化感測器（Wii MotionPlus）」，採用影像動態捕捉技術的微軟「誕生計畫（Project Natal）」以及導入擴增實境玩法的 SCE「PS 動態控制器（PlayStation Motion Controller）」，顯示操控介面的變革已然成為趨勢。

　　本次的專題將針對這些革新的直覺體感遊戲操控技術進行介紹，讓玩家了解這些技術的歷史沿革、運作原理與應用方式，替即將全面邁入體感操控的遊戲世界做好準備。

◆ 前言：隨時代進化的人機介面

　　打從電子計算機（電腦）問世以來，用來溝通機器與人類的人機介面就不斷的隨著時代推移與技術發展而變化，從最早期的零件與線路插拔，到打洞卡與列表機，再到鍵盤與螢幕，最後來到大家所熟悉的滑鼠，都是朝著自由度更高、更直覺的方向發展。

　　以電腦為基礎所產生的電子遊戲，自然也不會置身於人機介面進化的腳步。而專門針對遊戲用途所設計的遊樂器，則是比用途廣泛的電腦更著重於簡單直覺的操控，因此不論是最初的旋鈕與搖桿，或是延用至今的方向鈕與按鈕，都算是相當簡單易用的設計。

　　不過隨著遊戲規模逐漸提升，遊樂器慣用的控制器也隨之複雜化，從早年任天堂 FC 的 1 方向鈕 + 2 按鈕，一路演變到今日 PS3 / Xbox 360 的 1 方向鈕 + 2 類比搖桿 + 8 按鈕，數量增加數倍，組合增加數十倍，使得較少接觸遊戲的輕玩家族群望之卻步。

【日趨複雜化的遊戲控制器】

FC 控制器（1983 年）	SFC 控制器（1990 年）

Xbox 360 控制器（2005 年）	PS3 控制器（2006 年）

◆「威力手套」大膽嘗試卻以失敗告終

　　企圖改革遊戲操控介面的嘗試可說是從未間斷過，早在 1989 年 Mattel / PAX 就曾推出過 FC 手套型控制器「威力手套」，採用了應用於專業領域的資料手套技術，透過手套上的超音波揚聲器與安裝於螢幕上的超音波偵測器來偵測手部的位置與方向，透過手套中印刷電路彎曲造成的電阻變化來偵測手指的伸屈，讓手部的運動對應到遊戲的操作。

【威力手套】

威力手套

　　威力手套應用了當年相當先進的技術，算是革新操控界面的代表之一。不過受限於成本導致功能與精確度不佳，加上缺乏專屬支援遊戲（共 2 款），拿來玩非專屬遊戲時只能透過繁複設定將控制器的方向鈕與按鈕操作對應到各種手部動作上，比直接使用控制器更不直覺。種種因素使得這款概念新潮的產品，最終淪為雷聲大雨點小的失敗作。

◆「EyeToy」展現視訊體感人機介面可能性

　　之後雖然各種不同設計的控制器周邊層出不窮，不過大都是針對特定應用的專屬產品，對於操控介面並沒有太多的革新，直到 SCE 在 2003 年推出應用影像辨識動作偵測技術的 PS2「EyeToy」攝影機與系列遊戲之後，才真正將嶄新的人機介面應用端上檯面。

【EyeToy】

新版 EyeToy 搭配薄型 PS2

　　EyeToy 是由出身史丹佛大學航太機器人實驗室的 SCEA 研發部專案經理理察馬克思（Richard Marks）自 1999 年起投入研發，使用 USB 視訊攝影機拍攝玩家的動態影像並傳輸到 PS2，透過影像辨識處理來偵測玩家的動作，藉以達成直覺體感的操控方式。

　　EyeToy 的影像辨識技術提供了多樣化的操控應用，像是運動身體觸碰畫面特定物件所延伸出來的拍球、頂球、接球、拳打、腳踢、打鼓等，之外還包括戴上螢光綠手套以雙臂的左右傾斜來操控滑板操控，戴上指套在空中畫出符咒，掃描卡片輸入資料等。

【豐富多變的玩法】

　　由於 EyeToy 的玩法新奇，擺脫一成不變的按鈕操控，也不像跳舞踏墊等周邊只能偵測腳踏的位置，而是能讓全身上下都成為遊戲操控的一部分，而且自己的身影還會出現在遊戲中，更具投入感，因此推出後廣受各階層玩家的歡迎，全球銷售超過 1000 萬組。

【也有以運動健身為訴求的遊戲】

　　不過 EyeToy 仍受限於 2D 影像辨識技術而有許多不足之處，像是光線不足、玩家衣著顏色與背景近似，或是背景有干擾等狀況時，經常會發生誤判的狀況，而且對於玩家身體姿勢的掌握程度有限。因此在 EyeToy 推出後，SCE 仍持續研發各種新技術來強化影像辨識的應用，像是搭配特殊標記來提升精確度，或是採用更先進的 3D 影像辨識技術等。

◆「Wii 遙控器」全面開啟直覺體感操控介面風潮

　　雖然 EyeToy 率先導入了直覺體感操控介面，不過支援範圍有限，並未成為 PS2 遊戲的共通標準，一直到 2006 年底任天堂才以 Wii 真正開啟了直覺體感操控介面的風潮。

【Wii 遙控器】

　　Wii 採用了以遙控器為概念所設計的「Wii 遙控器」，外型由雙手握持的主流設計搖身一變成為單手握持的棒狀設計，並結合 3 軸加速度偵測技術來偵測玩家手部的揮舞動作，透過與紅外線光學定位技術來偵測控制器前端的指向，藉以提供嶄新的操控界面。


　　Wii 遙控器內建 3 軸加速度偵測器，可以偵測控制器朝前後 / 左右 / 上下 3 個方向（軸）移動時所產生的加速度，藉以掌握玩家手持控制器揮舞的動作。由於地心引力所產生的重力加速度也是加速度的一種，因此也能偵測控制器朝前後 / 左右傾斜的角度。

　　Wii 遙控器前端配備紅外線光學攝影機，能偵測安裝在螢幕頂端 / 底部的感應條兩端發出的紅外線光源，藉由兩光源的相對位置來判斷控制器的指向，以提供游標或準星等操作。附屬的雙節棍控制器同樣內建加速度偵測器，因此可以同時偵測左右兩手的動作。


　　由於加速度計偵測器只能偵測移動或是傾斜，無法偵測手腕旋轉或扭轉等細微動作，因此任天堂後續又在 2009 年中推出附加的「Wii 動態強化感測器」，透過內建的陀螺儀偵測器來偵測角速度（轉動）的變化，讓控制器的動作能 1:1 完整對應到遊戲中。


　　雖然加速度計與陀螺儀都是問世已久的技術，不過早期採用的機械式或電子式元件體積龐大成本高昂，並不適合應用於遊戲控制器。近年來則是藉由微機電系統（MEMS）技術的發展，使得這些偵測器能以半導體製程蝕刻在微小的矽晶片上，加上汽車、導航、手機等產品的大量採用，體積成本大幅縮減，因此能順利應用於遊戲控制器。

　　透過加速度偵測與光學定位，讓 Wii 遙控器得以掌握玩家手持控制器的一舉一動，包括揮動的方向、速度與指向。加上便於單手握持的棒狀設計，讓控制器可以搖身一變成為拳套、球棒、釣竿、手電筒、槍砲等各式各樣的裝置，以自然直覺的方式操作。

　　而後續加入的 Wii 動態強化感測器則是補足了原本所欠缺的角速度偵測，讓控制器可以掌握細微的擺動與扭轉，讓球類運動的控球、運球、擊球等操控更為逼真細膩，同時也補足許多玩家熱切期盼的擬真刀劍格鬥玩法，真正達成當年初始規畫時的理想。


　　由於 Wii 採用設計近似電視遙控器且具備直覺體感操控介面的控制器，比起傳統的遊戲控制器來說更容易被未曾或很少接觸遊戲的大眾所接受，特別是家庭主婦與高齡者。加上運動健身與闔家歡樂等親和訴求，因此推出後廣受全球玩家歡迎，即使面對畫面更細緻的高解析度競爭平台，也能成功打出自己的一片天地，成為現世代最暢銷的主機。

　　任天堂後續也在 2009 年 E3 展發表會上發表了以測量脈搏來判斷身心狀態的「Wii 活力偵測器」，雖說這與一般的「體感」概念有點不同，不過也算是一種以身體（狀態）來與遊戲連動的操控方式，也承襲了自 Wii 遙控器到 Wii 平衡板等一貫的健康訴求概念。不過究竟要如何才能讓測量脈搏這件事變得遊戲性十足，仍是個令人好奇的問題。


◆「誕生計畫」展現強烈企圖心的自然使用者介面

　　相較於以活用現成技術達成革新玩法的任天堂來說，微軟在 2009 年 E3 展所發表的「誕生計畫」展現了更強烈的企圖心，透過整合動作捕捉、臉部辨識、語音辨識等多種先進技術，徹底擺脫控制器束縛，打造出以往出現在科幻作品中的自然使用者介面。

【誕生計畫】

誕生計畫攝影機與 Xbox 360

　　與 EyeToy 概念類似的誕生計畫，同樣是以影像辨識為核心技術，最大的差異在於誕生計畫採用了更為先進的 3D 影像辨識技術。除了拍攝傳統 2D 全彩影像之外，也同時還拍攝 3D 距離影像，偵測被攝物體（玩家）與攝影機之間的距離，建構出立體化的影像資料，藉以精確掌握玩家的身形、姿勢與動作，提供以往 2D 影像辨識所無法達成的效果。


　　誕生計畫採用的 USB 視訊攝影機結合 2 組感光元件，1 組可拍攝傳統的 2D 全彩影像，另 1 組可拍攝嶄新的 3D 距離影像。測距方式推測是採用時差測距法（Time-Of-Flight），由攝影機發出遠紅外線脈衝光照射被攝物體，再以感光元件偵測紅外線反射回來的時間，由於反射時間與物體距離成正比，因此可以藉此建構出深淺不一的灰階距離影像。攝影機並內建專屬處理器，提供 3D 影像辨識與動作捕捉應用所需的輔助運算。

結合 2D 全彩影像與 3D 距離影像

　　目前微軟並未公布誕生計畫所採用的攝影機詳細規格，以微軟日前併購的以色列 3D 測距攝影產品技術研發廠商 3DV Systems 研發的「ZCam」3D 攝影機規格來看，該攝影機的測距攝影解析度為 320 × 240（※）60fps，採 8bit 灰階取樣，測距範圍為 0.5～2.5 公尺，精確度為 1～2 公分，推測誕生計畫所採用的攝影機規格應該與 ZCam 相去不遠。

※此為 3D 攝影解析度，2D 攝影解析度為 130 萬像素

ZCam 所拍攝的灰階距離影像，越白代表距離越近

　　由於 3D 影像可以清楚判斷被攝物體的距離，因此可以藉由距離的不同來將玩家身形輪廓與背景精確分離開來，達成去背的效果，不像 2D 影像會因為顏色近似或混雜而難以正確判斷。3D 攝影還能精確掌握玩家四肢前後的位置，只要搭配動作分析技術來追蹤人體各處的關節，就能精確捕捉玩家的一舉一動，並將動作反應在遊戲操控上。

以身體來控制虛擬人偶玩球	這位老兄可不是在打拳，而是在體驗虛擬駕駛

　　在微軟 E3 展發表會中，主導誕生計畫的庫多茲諾達（Kudo Tsunoda）示範了這些技術特色的應用，像是在《Ricochet》中以動作操控虛擬人偶拍球與踢球，在《Paint Party》中揮動雙手潑漆創作，還可以捕捉輪廓剪影當成模板。這些都是 2D 影像辨識難以達成的，而且不需要像傳統動作捕捉那樣在身上安裝感應標記，就能提供近似的效果。

這兩人擺出如此奇怪的姿勢是要做什麼呢？	答案是－創造出大象的剪影

　　在後續的閉門媒體體驗行程中，現場也可以從開發套件的監測螢幕中見識到以顏色區分距離的視覺化 3D 距離影像，以及即時追蹤的人體關節點。由於誕生計畫追蹤的是人體骨架，而不只是單純偵測影像的變動，因此就算有與玩家距離近似的干擾出現，系統也能透過對人體骨架的分析來排除這些不屬於玩家身體的干擾。由於 3D 測距攝影是由攝影機主動發出紅外線，因此就算在昏暗的使用環境下，也不影響動作捕捉的結果。

　　雖然目前的展示中並未提及，不過 3D 測距攝影其實還具備了容易與虛擬 3D 繪圖整合的特性。由於拍攝下來的影像是由 2D 與 3D 影像組合而成的 RGB+D（紅綠藍 + 距離）格式，與 3D 繪圖的 RGB+Z（紅綠藍 + 深度）格式非常近似，因此很容易就能整合拍攝影像與 3D 繪圖，做到像是虛擬蝴蝶環繞玩家身體飛舞這樣的進階擴增實境效果。

　　除了結合 2D + 3D 影像辨識的動作捕捉之外，誕生計畫同時也導入了臉部辨識與語音辨識技術，透過 2D 全彩影像攝影來辨識臉部特徵，麥克風陣列來進行清晰的語音輸入，讓 Xbox 360 可以辨識玩家的身分，自動選擇對應的玩家帳號登入，並透過語音手勢下達指令，不需要動用控制器來進行繁複的操作，就能自然便利的使用系統功能。

　　雖然臉部辨識與語音辨識都是現有硬體就能達成的技術，並不算是誕生計畫獨具的特色，不過對於打造完整自然使用者介面來說，仍是不可或缺的要素。而且這兩項技術納入誕生計畫標準支援項目後，也替遊戲的應用帶來了許多的可能性，例如在誕生計畫示範之一的《麥洛》中，就示範了透過臉部辨識及語音辨識與虛擬角色的自然互動。


　　不過相較於動作捕捉與臉部辨識的應用來說，語音辨識的應用挑戰性反而更大。雖然指令輸入之類的簡單應用並沒有什麼困難，但如果是要達成與虛擬角色的自然互動，那麼將會牽扯到複雜的人工智慧自然語言處理，這是學術界研究數十年仍未能達到滿意程度的難題，離科幻作品中能使用自然語言順暢與人類溝通的電腦仍有很大一段距離。

　　在 E3 展現場實際測試獅頭工作室知名遊戲創作者彼得．莫力紐（Peter Molyneux）領軍研發的虛擬角色《麥洛》時，就能明顯感受到麥洛對語句的理解與反應有許多限制。不過由於目前仍處於初期研發階段，後續仍有改善空間，現階段尚無法就此論斷。

　　結合動作捕捉、臉部辨識、語音辨識技術，企圖打造科幻風格自然使用者介面的誕生計畫，無疑是目前最受注目的直覺體感遊戲操控技術。由於 E3 展中只初步展示了一小部分，因此這個企圖顛覆既有控制器操控介面的計畫，多少也讓人對於未來的發展抱持著許多的疑問。目前包括微軟與合作廠商都還在針對相關應用點子進行腦力激盪，隨著消息的陸續釋出，整個計畫預料將會以更為具體的方式呈現在大眾面前，相當值得期待。

◆「PS 動態控制器」結合雙重技術展現擴增實境潛力

　　最早大舉投入影像辨識操控技術，並率先於 2003 年推出 EyeToy 的 SCE，從 2000 年起就開始由 EyeToy 之父理察馬克思領軍研發各種相關技術。期間曾經在 SIGGRAPH 與 GDC 等技術研討活動中發表相關成果，也曾經申請過各式技術專利，其中包括以視訊攝影機追蹤有色球體等各種特殊標記，或是將虛擬的 3D 繪圖融入實際拍攝影像等。

˙參考資料：SCEA 研發部門研究成果文件資料網頁




　　在 2004 年 GDC 中，SCE 展示了 3D 影像辨識動作捕捉技術的研究成果（※），並將之列為下一代革新人機介面的重點研發項目。不過在 2006 年 PS3 推出後，SCE 並沒有順勢推出具備 3D 測距攝影功能的視訊攝影機，而只推出強化解析度與擷取速度的 2D 視訊攝影機「PS Eye」，3D 影像辨識的實際應用反而是由微軟的誕生計畫拔得頭籌。

※同樣採用 3DV Systems 研發的 3D 測距攝影機


　　面對採用革新設計控制器方案的任天堂，以及捨棄控制器採用 3D 影像辨識方案的微軟，SCE 在 2009 年 E3 展中則是發表了介於兩者之間的「PS 動態控制器（暫稱）」，應用從 EyeToy 時代所累積的 2D 影像辨識技術研發成果，結合與 Wii 遙控器近似的動態偵測功能，來達成革新操控界面的目標，以及融合真實與虛擬的「擴增實境」應用。

理察馬克思發表 PS 動態控制器	發表會上由助手實地示範

　　PS 動態控制器採用與 Wii 遙控器類似的棒狀設計，前端配備會發出不同顏色光線的圓球，透過 PS Eye 視訊攝影機以 2D 影像辨識方式追蹤圓球位置來進行定位，能以不同顏色區分狀態或組別。控制器內建動態偵測與藍牙無線傳輸功能，可以偵測控制器的移動與轉動。結合光學定位與動態偵測資訊，就能判斷出控制器的位置、指向與動作，達成 1:1 的精確操作。控制器上也配置了按鈕，不過目前仍處於原型階段，規格尚未底定。

【PS 動態控制器】

目前仍處於原型階段的 PS 動態控制器

　　PS 動態控制器可說是 EyeToy 團隊多年技術研發累積的成果，雖然沒有採用原本預期的 3D 影像辨識技術，不過仍應用了多年研發的 2D 影像辨識物件追蹤技術，搭配內建的動態偵測技術，同樣可以達成精確的 3D 空間定位，算是另闢蹊徑的折衷方案。不過沒有採用 3D 影像辨識技術，也使得許多先前曾發表過的研發成果未能實際應用到遊戲上。

　　雖然 PS 動態控制器在功能面上與 Wii 遙控器非常接近，不過仍有其獨自的特色，那就是承襲 EyeToy 結合 2D 全彩影像攝影功能來提供的擴增實境玩法。由於 PS Eye 除了擔任定位功能之外，也能捕捉玩家影像輸入到遊戲中，因此可以將遊戲中的虛擬影像與實際拍攝下來的實境影像結合在一起，讓「自己」成為在虛擬遊戲世界中活躍的角色。

【結合實境影像與虛擬影像】

　　在 2009 年 SCE E3 展發表會上，理察馬克思與助手示範了將手中的控制器化為球拍、大劍、鐵扇、光鞭等道具，讓畫面中的自己拿這著些無中生有的虛擬道具來遊玩的擴增實境玩法，之外還展示了高精確度的 3D 空間定位與應用，像是書寫、指標、圈選等，以及雙控制器組合的應用，像是雙手分持盾劍、雙手開弓射箭等。可以看出該控制器除了應用在休閒類型遊戲之外，在第一人稱射擊、即時戰略等傳統類型遊戲也有相當潛力。


【各式應用範例】

　　SCE 目前也正在開發《EyePet》這款 PS Eye 虛擬寵物遊戲，雖然目前看來該遊戲並沒有採用 PS 動態控制器，不過仍展現了讓虛擬寵物在實境影像中活動的擴增實境應用，玩家可透過肢體觸碰與虛擬寵物互動，或是使用特製卡片來控制虛擬道具。雖然技術層面上與 EyeToy 沒有太多不同，不過由於硬體性能的提升，因此整體表現也更為自然生動。


　　相較於科幻味十足的誕生計畫，PS 動態控制器的新鮮感可說是略遜一籌，不過現階段揭示的應用較為具體，也比較容易能融入既有遊戲中，並兼具 Wii 遙控器與誕生計畫的部分長處，算是偏保守穩健的方案。但是相對於以標準控制器方式推出的 Wii 遙控器來說，選購的 PS 動態控制器在普及率與支援度上勢必有所不如。而且雖然發表會展示的都是實機示範，但仍脫離不了技術展示性質，控制器也還是原型產品。SCE 表示 PS 動態控制器會在 2010 年春季推出，不過目前還沒有任何支援遊戲發表，後續發展仍有待觀察。