雷亞遊戲技術總監於 TGDF 探討深度強化學習於《伊甸之魂》的開發經驗

　　從 8 月 8 日起連續兩日在台北國際會議中心舉辦的台北遊戲開發者論壇（TGDF），在今（9）日邀請到雷亞遊戲技術總監李根逸與現場聽眾分享深度強化學習於《伊甸之魂》的開發經驗。

 

• 雷亞遊戲技術總監李根逸

　　李根逸曾參與雷亞遊戲動作類型手機遊戲 《Implosion 聚爆》的開發並專精於遊戲效能與使用者體驗的優化。在雷亞遊戲即將問市的新款即時策略卡牌競技型手機遊戲《Soul of Eden 伊甸之魂》中，除負責帶領工程技術團隊之外，也率領人工智慧團隊研究引入機器學習至遊戲開發領域的各種可能。

 

• 《Implosion 聚爆》

　　李根逸表示，隨著類神經網路的突破、AlphaGo 的成功使雷亞遊戲認為將深度強化學習應用在遊戲的開發上，己經具有足夠的技術水平與邊際效應。

 

　　例如在遊戲開發週期中，可能會經常因為遊戲機制的調整造成 NPC AI 需要做相對應的調整；或者在遊戲平衡的評估上，早期的小型測試比較難得到完整妥善的驗證。雷亞遊戲認為深度強化學習可以一方面簡化程式設計師的工作，另一方面也可以讓遊戲設計師快速地獲得相對完整的驗證結果當參考，加速整個遊戲開發的迭代。

 

• 《伊甸之魂（Soul of Eden）》

　　基於這樣的動機，雷亞遊戲於即將面世的即時策略卡牌競技型手機遊戲《伊甸之魂（Soul of Eden）》中，嘗試透過深度強化學習來讓 AI 自動學習出戰勝的策略，並獲得初步的成果。藉此次機會分享過去實作的經驗、遇到的困難與對於遊戲開發一個新的可能的期待。

 

 

　　李根逸指出，隨著人工智能的高度發展，因此嘗試藉由這樣的技術來改善遊戲製作流程。他坦言，每一款遊戲的根本可以說是其核心玩法，但當玩法發展完成推出遊戲後若要進行其他修改時，在過去往往會面臨是否要打掉重練的窘境，因此在這樣的心態下，想到如果能運用人工智慧讓遊戲在推出前能夠更快獲得回饋，得知目前的作法對不對、好不好，相信能夠在遊戲製作流程上有很大的助益。而透過這樣的工作，更能夠達到自動化來提升效率，讓以往需要多數人力才能完成的工作如可以可以達到事半功倍之效。

 

 

　　李根逸表示，像是大家熟悉的 AlphaGo，其實就是透過不斷的學習吸收大量的資料，讓人工智能得以成長。而就遊戲開發來說 ，過去就有利用人工智慧來檢視單人遊戲的案例。由於單人遊戲通常是以分數為基準，因此可以讓人工智能透過深度學習，直接使用原始輸入的操作和輸出資訊進行強化行為。現今更進一步運用到多人遊戲，也由於變因的增加，導致難度提升許多。以圍棋來說，賽局的可能性千變萬化，跟單人遊戲的分數相比，實在難以運算出有多少種終局可能性。

 

 

　　而回到《伊甸之魂（Soul of Eden）》，究竟遊戲是否平衡、公平，製作團隊要如何得知呢？李根逸指出，以往大多是透過大量的玩家資訊及場次來累積資訊量，進而得知卡牌組合的勝率等遊戲資訊，而透過深度強化學習，期望能達到遊戲開發流程的改善、深度強化學習的突破以及競技對戰遊戲的公平性三個目標。

 

 

　　究竟什麼是平衡、公平其實各有定見，以井字遊戲來說，基本上先手玩家只要在不犯錯的情況下一定不會輸，這樣對於後手玩家的公平性就值得質疑。至於在遊戲中，如果兩方玩家透過同樣的出牌順序、出牌位置等對稱情況進行遊戲的話，理論上應該是不分勝負。不過由於遊戲中的變因相對井字遊戲來說更加變化多端，再加上卡牌的數值或是新增卡牌往往又會對過去的資料產生影響，所以如何克服訓練的速度、深度強化學習的訓練成本以及是否在新增資訊後要重新訓練，則是目前的挑戰與難題。