AI在遊戲領域並不算是一個新鮮事物，幾乎每一款重要遊戲裡都有AI的身影。遊戲AI早期大部分是通過人工規則的方法實現，直到近幾年，才邁入深度學習領域。
從技術角度來說，遊戲也是一塊檢驗AI能力的「試金石」。1997年，IBM生產的國際象棋超級電腦深藍擊敗世界冠軍加里·卡斯帕羅夫，此後「世界上最複雜的棋類遊戲」圍棋就成為了AI的下一個挑戰對象。
2016年，Google旗下DeepMind研發的圍棋AI AlphaGo擊敗韓國著名棋手李世石，這是以深度學習為代表AI的一個重要里程碑。2017年，AlphaGo戰勝世界第一棋手柯潔，自此這個圍棋AI再無人類對手。
AlphaGo對戰李世石
下一塊試金石在哪裡？業界認為複雜策略遊戲可能是下一個裡程碑。比起象棋和圍棋，複雜策略遊戲將為電腦帶來更大挑戰，具體挑戰包括：
1。 地圖複雜，不斷變化，且信息不完全（AI與人類視野一致），不存在最優策略；
2。 操作空間巨大。以5v5 MOBA遊戲為例，10位參與者要在策略規劃、英雄選擇、技能應用、路徑探索及團隊協作上面臨大量、不間斷、即時的選擇，這帶來了極為複雜的局面，預計有高達10的20000次方種操作可能性，而整個宇宙原子總數也只是10的80次方[1]；
3。 需要長期規劃，一切的策略選擇都要以最終勝利為依歸。
如果AI能在如此複雜的環境中，學會和人一樣實時感知、分析、理解、推理、決策并行動，那麼AI就可能在多變、複雜的真實環境中發揮更大的作用[1]。
也就是說，AI的目的並不是要在遊戲裡戰勝人類，而是通過越來越複雜的遊戲訓練，最終解決現實生活中的問題。
目前世界頂級科技公司都在推進此類研究。2019年，人工智慧非盈利組織OpenAI開發的OpenAI Five戰勝《Dota 2》TI18的冠軍團隊OG。
《Dota 2》
同年，DeepMind宣布旗下遊戲AI AlphaStar在《星際爭霸 2》天梯榜上神族、人族和蟲族三種族都達到宗師段位，碾壓99.8%的人類對手。
《星際爭霸2》
2017年，騰訊AI Lab與天美工作室群旗下遊戲《王者榮耀》展開AI聯合研究，研發策略型AI絕悟，寓意是「絕佳領悟力」[1]。2019年，絕悟在與職業選手賽區聯隊的5v5競技中獲勝，這表明絕悟已達《王者榮耀》電競職業水平[1]。
在賽區聯隊全隊覆滅后， 絕悟的兵線尚未到達，下路高地塔還有過半血量，絕悟果斷選擇四人輪流抗塔，無兵線強拆塔。* 注：賽事尾聲，賽區聯隊團滅后，絕悟未直接推水晶，而是計算整體收益后，選擇先推最後一個高地塔，再推水晶直至勝利[2]。
同時期，絕悟的1v1版本SUPEX 戰隊在2100多場頂級業餘玩家體驗測試中勝率達到 99.8%[2]。
未來遊戲AI將如何發展？為了回答這個問題，我們邀請到了一位來自騰訊AI Lab的專家，以及三位做遊戲的天美人，請他們聊一聊自己喜歡的NPC，還有對遊戲AI未來的暢想。
兩位讓我印象深刻的遊戲NPC：
1。 《生化危機4》裏面的Ashley。當她站在高處，Leon用武器瞄準裙底，她就會兩腿一閉，雙手遮裙，雙膝微彎，故作矜持地說：Hey，what are you looking at？當然她也會重複這一句台詞（囧）。
《生化危機4》
2。 《合金裝備 2》裏面的士兵。因為這是一款動作潛入類遊戲，所以通過躲避士兵的巡邏完成任務是最大的樂趣，比如故意放一本美女雜誌吸引士兵的注意力，Snake頂一個紙箱子就能矇混過關。當然這些士兵大部分都是憨憨，規則固定，沒有其他的變化。
《合金裝備 2》
上面兩個NPC的AI都是基於傳統的規則（Rule-Based）編寫出來的，一般都是有限狀態機或者行為樹，這個方法好處是簡單直接，缺點也很明顯，不夠擬人，缺乏行為多樣性，或者本身能力不夠。
注：早期遊戲中的AI，大部分是通過人工規則的方法來實現的，這類方法就包括了有限狀態機和行為樹[3]。
有限狀態機的方法是定義有限的行為狀態，通過判別條件來觸發不同的狀態轉移。這個方法的優點是設計簡單、容易實現，缺點在於隨狀態增多而急劇複雜[3]。
行為樹也是一個在遊戲中比較常用的方法，它通過窮舉所有行為作為節點，條件驅動下逐級遍歷確定當前行為。這個方法的優點是邏輯清晰，容易拓展，缺點在於難以適應複雜行為，且實現擬人化非常困難[3]。
相比於傳統AI，現在基於模型learning的AI，在引入深度學習和強化學習的方法之後， 在行為多樣性和完成任務的能力方面有了質的提升，比如AlphaGo在圍棋上超越人類的表現，騰訊的絕悟在《王者榮耀》達到職業水準，絕覓在《穿越火線：槍戰王者》裏面作為PVE模式的AI。
注：近期的AI遊戲研究，大部分是基於深度學習的方法，主要包含兩大類，一個是監督學習或模仿學習，一個是強化學習[3]。
監督學習是通過海量有標記的訓練數據為基礎，推導出行為預測函數。這個方法的優點在於能夠模擬不同級別的目標行為，做到很好的擬人化。缺點在於過度依賴於數據，特別是標註數據的質量[3]。
強化學習通過構建獎勵和懲罰刺激環境的角度出發，優化AI行為邏輯。這個方法的優點在不依賴已有數據並且能夠探索出新的策略，甚至於超越當前人類的認知[3]。
以《王者榮耀》遊戲AI絕悟為例，達到《王者榮耀》電競職業水平的絕悟版本建立了基於「觀察-行動-獎勵」的深度強化學習模型，無需人類數據，從白板學習（Tabula Rasa）開始，讓AI自己與自己對戰，一天的訓練強度高達人類440年[1]。
AI從0到1摸索成功經驗，勤學苦練，既學會了如何站位、打野、輔助保護和躲避傷害等遊戲常識。更驚喜的是，AI也探索出了不同於人類常規做法的全新策略。團隊還創建One Model模型提升訓練效率，優化通信效率提升AI的團隊協作能力，使用零和獎懲機制讓AI能最大化團隊利益，使其打法果斷，有舍有得[1]。
個人認為，AI+遊戲要更深入地結合，需要具備下面三個能力：
1。 擬人化：顧名思義，AI要足夠像人，即針對不同的場景（State），能做出不同的反應（Action），這個反應是符合人的邏輯的，並且具備多樣性和隨機性。騰訊的絕悟在《王者榮耀》，絕覓在《穿越火線：槍戰王者》的PVE的嘗試，通過模仿學習（Imitation learning），結合人類玩家數據和強化學習的方法（Learning from demostration），取得了不錯的效果。
《穿越火線：槍戰王者》PVE模式「電競傳奇」中，AI敵人有著十分接近人類玩家的行為模式 —— 不僅懂得尋找掩體，還會各種跳、蹲合理躲避槍線，有著清晰合理的戰術選擇，甚至還有小身位，二段跳，擊殺后切刀等操作細節[4]。
2。 能力分級：在遊戲中一味地強調AI超越人類水平不是目的，人在玩遊戲過程中，AI旗鼓相當，或者根據喜好匹配其能力更有可玩性才是目標，比如在戰術競技類型的遊戲裏面，傳統AI只能「送快遞」，如果可以根據玩家水平定製不同能力的AI，遊戲肯定會更有意思。基於強化學習和模仿學習，AI具備不同級別甚至風格的能力是可控的。
3。 擁有常識和推理：比如知道門是可以開的，窗戶可以爬出去，過河可以通過游泳或者橋這些常識和推理能力。常識和知識的推理，AI技術還處於發展階段。
最後說一下我理想中的遊戲，是一個江湖，如同西部世界之於美國，武俠之於中國，這個江湖裡面，AI能學習到不同的行為準則（Policy），各司其職有著合理並且多樣性，一定會帶來如同真實世界的無窮可玩性。
《西部世界》
《最後生還者》中，艾莉有時也會拔出槍戰鬥，但在受到威脅時她可能會猶豫不決，最後為了保命才扣動扳機，這時我覺得她像個真人一樣。
《最後生還者》
廣義AI的目標是讓機器能做出與人類相似的思維或行為，而遊戲AI只希望讓玩家感覺到NPC在像人一樣行動或思考。這其中的區別在於，遊戲是圍繞玩家打造的。對遊戲製作者來說，遊戲AI是否聰明並不重要，讓玩家獲得更好的遊戲體驗才是最重要的。
未來的遊戲AI能根據玩家的行為做出反饋，記得玩家之前做過的事情，能和周圍環境互動，甚至會有自己的作息表，NPC有自己的活動路線，他們有自己的生活區域。玩家是通過視覺和聽覺來理解遊戲世界的，AI的行為只有被看到或聽到才是有效的，能帶給玩家出色觀感體驗的AI才是好AI。對於不同的品類，遊戲AI可能會呈現不一樣的玩法。
在PVP這種對戰類的品類中，可以看到可以看到像基於深度強化學習訓練所得到的強AI，如《王者榮耀》的絕悟，圍棋的AlphaGo，《星際爭霸 2》的AlphaStar等。但如果玩家一直挑戰無法戰勝的敵人，會有很大的挫敗感，久而久之，就喪失了遊戲的樂趣。可以通過生成各種不同難度的殘局，通過「福利」來鼓勵玩家不斷挑戰，玩家在調整的過程中，自身技能也能得到成長。
在PVE中，AI可以用於控制環境、事件和NPC上。通過AI的加持，天氣變化，交通，以及可交換物會更加動態，從而獲得更加真實的交互體驗。例如《模擬人生》中的人會自動坐到椅子上，躺到床上；《巫師3》中，白天才會開業的商人。
《巫師3》
未來的AI不僅可以用於控制NPC的行為，還能掌管整個遊戲，或者說設計整個遊戲。隨著遊戲的進行，遊戲AI可以為玩家隨機生成地圖和關卡，類似《無人深空》中程序生成的星球。或者通過提煉設計規則，讓AI自動完成整個關卡的搭建。只要玩家願意玩下去，就有無窮盡的關卡可供探索。
《無人深空》
AI還可以利用機器學習、數據發掘等方式來對玩家的行為數據進行學習，根據每個玩家的習慣來定製生成最適合他的元素。或者根據全體玩家的反饋來修改、優化遊戲的整體設計。在《GTA 6》中，英偉達利用AI來生成虛擬的街道，相信有一天，由AI生成的遊戲也會成為現實。
隨著AI技術在遊戲中的廣泛落地，我們和遊戲的交互方式可以得到擴充，遊戲中通過語音輸入，玩家可以和NPC對話，夥伴AI可能成為我們真正的知心好友。玩家通過更真實，更豐富的交互體驗，能在虛擬世界中體驗不一樣的人生。
最近幾年玩的遊戲裡，NPC表現方面給我印象最深刻的，毫無疑問是《荒野大鏢客2》—— 逼真的畫面渲染，無處不在的交互細節，好萊塢級別的台詞、配音和演出，天衣無縫地結合在一起。這部作品把通過擬真觸及人類感情這件事推到了新的高度，而眾多NPC里，給我印象最深刻的要數德奇·范德林。
《荒野大鏢客2》
對幫派成員的愛護，再干一票的野心，時而表露出來的私心，失利后的疑神疑鬼卻強裝鎮定。。。。。。各種複雜的情感夾雜在一起，讓人捉摸不透，而這正是人性最複雜的地方。
藉助精彩的演出給我留下深刻印象的NPC還有不少，比如《使命召喚：現代戰爭 2》里在戰火里回頭扶起受傷主角的Ghost，《最後生還者》里的艾莉，都是「人味」滿滿。
《使命召喚：現代戰爭 2》
然而這些NPC都有一個致命的問題：重複遊玩就立刻失去人性—— 永遠重複著你第一次玩的時候的台詞和行為，提醒你這隻是一場事先編排好的演出，和時下流行的機器學習AI並沒有什麼關係。
除了圍棋AI吊打頂尖人類選手，機器學習/神經網路AI還在很多領域都取得了驚人的成果，但在遊戲中的應用，AI技術似乎還停留在戰鬥這種易於抽象為具體輸入輸出參數的行為和策略上。距離模擬一個活生生的人，還有比較遙遠的距離，畢竟人實在是太複雜了。
不過人心複雜不妨礙我們從外表開始，比如愛丁堡大學的Method Studios成功的把神經網路應用在了3D角色在各種地形的行走動作表現上。
截圖來自視頻「Phase-Functioned Neural Networks for Character Control[5]」
這將極大地豐富遊戲角色與場景的交互表現，比如開始在各個電視台上崗的AI主持人，雖然只能不苟言笑地播報新聞，但是已然有些真假難辨了。
未來我們可以期待AI用於對人物神態、台詞和行為的全方面模擬，像真人一樣給出豐富多彩的交互反饋，更重要的是，各行各業都可以共享AI虛擬人物的研究成果，讓AI在各個方面更像人一樣為人類服務。
個人覺得《GTA》系列里的AI最有人味，每次交流的時候都有可能觸發不同的事件，感覺未來的NPC將更加智能。有大數據和學習的支持，AI不再是通過策劃的腳本與玩家冷冰冰地交流。
隨著硬體機能的增強，渲染畫面將進一步提升，當然也有可能依託現在的雲遊戲技術把大規模渲染放到伺服器上，實時的光線追蹤的畫面將不是夢。
另外，隨著圖像識別和語音識別技術的發展，未來可能有更多的外設 ，像《黑客帝國》里一樣，我們的動作或者語言都會推動遊戲劇情的發展，不再需要生硬的按鍵。NPC當然也將擁有更多的智能，比如可能存在記憶等 ，不再像現在的遊戲裡NPC那樣生硬。
來源：遊戲葡萄
"複雜的" - Google 新聞
March 23, 2020 at 02:10PM
https://ift.tt/2xms2Qs
你在遊戲裡遇見的最有「人味」的NPC 是誰？-科技新聞 - 臺灣新浪網
"複雜的" - Google 新聞
https://ift.tt/3d3dcyJ
Shoes Man Tutorial
Pos News Update
Meme Update
Korean Entertainment News
Japan News Update
Bagikan Berita Ini
0 Response to "你在遊戲裡遇見的最有「人味」的NPC 是誰？-科技新聞 - 臺灣新浪網"
Post a Comment