東芝於 10 月 4、5 兩日在日本千葉幕張展場所舉辦的「2005 年日本最先端電子資訊高科技展覽會(CEATEC JAPAN 2005)」中,展出了使用 Cell 微處理器來進行即時影像辨識與處理的「變臉」技術。
Cell 是由 SONY、東芝與 IBM 所共同開發的新一代高效能微處理器,採用不同於既有微處理器產品的設計,能提供龐大的浮點數運算效能,三家廠商都分別預定將 Cell 應用在自家的產品中,包括 SONY 的 PS3、IBM 的高效能工作站與東芝的高階數位影音家電等等。
本次東芝於 CETEAC 2005 展覽中,展出了自家所研發的 Cell 參考用硬體開發套件與軟體開發環境,並實際展示了相關的研發成果。該參考用開發套件配備有 1 個 Cell 微處理器,1 個由東芝自行研發的「SCC(Super Companion Chip)」多功能輸出入處理晶片,4 個電視協調器(TV Tuner),硬碟與 DVD 光碟機,以及各種擴充端子與影音輸出入介面,預定提供給應用 Cell 的消費性電子產品開發之用。
會中展示了 3 個不同類型的 Cell 軟體研發成果,包括利用多個電視協調器同時進行多頻道的電視錄影,先前曾報導過的 48 個標準電視畫質 MPEG-2 影片同時解碼播放,以及本次最受矚目的「Digital Mirror type F」變臉技術展示。該展示是透過攝影機將操作者的臉孔輸入系統中,使用 Cell 來進行即時的影像辨識與處理,替操作者的臉部加上各種不同的彩裝紋面圖樣或改變操作者的髮型,並即時呈現在與操作者面對面的螢幕上,如同童話故事中的「魔鏡」一般,讓操作者能見識到改頭換面後的自己。
此項技術是透過 Cell 微處理器對所輸入的影像進行即時的辨識與分析,將臉孔轉換為以多邊形所構成的 3D 模型,並以材質貼圖的方式加上各種不同的臉部彩裝樣式,或將髮型替換為各種系統內建的樣式。藉由 Cell 強大的處理效能,該展示可進行每秒 100 次以上的臉部座標追蹤,並以 720 x 480 每秒 30 張畫面即時輸出,即使操作者轉頭、說話、眨眼、改變表情,系統仍可正確追蹤與處理。
該技術不只能應用於臉孔的分析,也能應用於全身動作的分析,以即時處理的方式將操作者的一舉一動對應到 3D 人物模型上。現場展示了一段將走秀的模特兒即時轉換為不同衣著打扮的 3D 人物模型,並與模特兒同步動作的影片,顯示出該技術不只具備「變臉」的能力,還具備「變身」的能力。
該技術除可應用於美容美髮或時裝業者的即時預覽之外,同時也顯示出遊戲應用方面的潛力。由於 PS3 主機同樣是採用 Cell 微處理器,加上 SCE 先前就積極的在 PS2 上推出 EyeToy 類型的影像操作產品,後續也發表將於 PS3 上推出高解析度 IP 攝影機週邊以及運用影像辨識技術操作的遊戲《Eyedentify(暫稱)》,顯示出未來 PS3 遊戲朝玩家影像輸入操作發展的廣闊可能性與龐大潛力。
在未來的 PS3 遊戲中,玩家或許能直接以身體的動作來操作遊戲中角色的一舉一動,直接將真實的臉部表情對應到遊戲角色的表情,藉以實現現有遊戲所無法達成的精確體感操作,或者是創造出嶄新的遊玩方式。對相關技術有興趣的玩家,不妨可以多多留意後續 SCE 新一代 EyeToy 產品的相關發表。
※ 現場照片引用自日本 ASCII 網站 (C) Sony Computer Entertainment Inc.