生物體的進(jìn)化速度需要數(shù)百萬年才能計(jì)算出來，而人工智能的進(jìn)化速度是肉眼可見的。

圖片來自網(wǎng)絡(luò)

半百年前，人類需要用一臺(tái)重達(dá)1270公斤的電腦來對(duì)抗象棋大師時(shí)，根本沒有想到過半個(gè)世紀(jì)后，王者榮耀的AI可以進(jìn)化到職業(yè)電競(jìng)水平，這就是王者榮耀的AI——“絕悟”，它可以模仿玩家離線對(duì)局的樣本，為了突破上限，又采用了AI自對(duì)局的強(qiáng)化學(xué)習(xí)，然后在“絕悟挑戰(zhàn)”中測(cè)試強(qiáng)度。

《王者榮耀》執(zhí)行制作人、騰訊天美L1工作室總經(jīng)理黃藍(lán)梟在STAC首屆科創(chuàng)聯(lián)誼會(huì)上表示，“絕悟”是一個(gè)多智能體系統(tǒng)，即大量能夠自主決策的AI共同協(xié)作，以實(shí)現(xiàn)一個(gè)共同且具有挑戰(zhàn)性的目標(biāo)。

此外，王者榮耀團(tuán)隊(duì)還開放了王者的核心機(jī)制，與騰訊AILab、相關(guān)高校、研究機(jī)構(gòu)等合作，對(duì)多主體進(jìn)行研究。希望通過這些研究成果，能夠在其他行業(yè)領(lǐng)域推廣應(yīng)用，為工業(yè)機(jī)器人、救災(zāi)機(jī)器人等提供幫助。

圖片來自網(wǎng)絡(luò)

做王者榮耀AI的前沿研究。

多元智能系統(tǒng)統(tǒng)(大量具有自主決策能力的AI共同協(xié)作，以達(dá)到同一目標(biāo))是前沿人工智能技術(shù)的核心研究領(lǐng)域，經(jīng)過多年的研究，已被廣泛應(yīng)用于各行各業(yè)。例如無人倉(cāng)庫，多智能體機(jī)器人完成大規(guī)模倉(cāng)庫管理；智能交通車輛協(xié)同系統(tǒng)，實(shí)現(xiàn)無人駕駛；智能工業(yè)機(jī)器人，物聯(lián)網(wǎng)等領(lǐng)域。而多代理技術(shù)都能很好地應(yīng)用下來提高生產(chǎn)效率。

在游戲研發(fā)過程中，王者榮耀團(tuán)隊(duì)發(fā)現(xiàn)MOBA游戲機(jī)制具有很強(qiáng)的多人協(xié)作性，在非對(duì)稱信息下的游戲空間很大，合作競(jìng)技性很強(qiáng)，非常適合于采用多代理人工智能技術(shù)來提高生產(chǎn)和測(cè)試效率。

如果AI技術(shù)能夠?qū)W習(xí)人類在如此復(fù)雜的環(huán)境中實(shí)時(shí)感知、分析、理解、推理、決策和行動(dòng)，它將在變化的、復(fù)雜的現(xiàn)實(shí)環(huán)境中扮演更重要的角色。

基于這一背景，基于王者榮耀游戲的特性，王者榮耀團(tuán)隊(duì)與騰訊AILab合作，在王者繼續(xù)進(jìn)行人工智能相關(guān)的技術(shù)研究和應(yīng)用實(shí)踐，研究并開發(fā)出多智能體產(chǎn)品“絕悟”。

使AI學(xué)會(huì)像人一樣做出決定。

圖片來自網(wǎng)絡(luò)

“絕悟”這個(gè)名字的寓意是“絕悟”，它的技術(shù)研發(fā)始于2017年，并于2018年12月通過了頂級(jí)業(yè)余水平測(cè)試。

在2019年8月2日于吉隆坡舉行的王者榮耀冠軍杯半決賽特設(shè)環(huán)節(jié)上，“絕悟”以5v5職業(yè)選手賽區(qū)聯(lián)隊(duì)帶來的水平測(cè)試獲勝，升級(jí)到王者榮耀電競(jìng)職業(yè)級(jí)別。

與之相比，“絕悟”1v1版也首次公開亮相，在上海舉行的國(guó)際數(shù)碼互動(dòng)娛樂展上，ChinaJoy向頂級(jí)業(yè)余玩家開放了為期四天的體驗(yàn)測(cè)試。在為期4天的2100場(chǎng)考試中，“絕悟”只輸4場(chǎng)，勝率達(dá)99.81%。

職業(yè)描述AI打王者榮耀的場(chǎng)景是——非完全信息多智能體協(xié)同零和即時(shí)游戲。簡(jiǎn)單地說，AI需要在信息不完全、復(fù)雜性高的情況下做出復(fù)雜而快速的決策。

圖片來自網(wǎng)絡(luò)

10個(gè)參與者面對(duì)著一幅信息不全的巨大地圖，其中包括戰(zhàn)略規(guī)劃、英雄選擇、技能運(yùn)用、路徑探索和團(tuán)隊(duì)合作，這些都給他們帶來了極其復(fù)雜的情況，其中預(yù)期可能發(fā)生10的20000次方種操作，而整個(gè)宇宙原子總數(shù)只有10的80個(gè)方種操作。

從王者本身的實(shí)踐層面上，玩家可以在限時(shí)開放的「絕悟」挑戰(zhàn)中體驗(yàn)AI的能力，在遇到隊(duì)友掉線時(shí)，也可以把掉線的隊(duì)友交給AI托管，但是AI并不能主宰比賽，勝負(fù)的決定權(quán)仍掌握在所有玩家手中，此外，「絕悟」只在實(shí)驗(yàn)室環(huán)境下才能使用。

“絕悟”也在新英雄設(shè)計(jì)和游戲數(shù)值調(diào)整中起到了重要作用，為AI最終探索游戲打法和勝率提供參考，幫助規(guī)劃優(yōu)化游戲設(shè)計(jì)。

在2020年11月的一次平衡調(diào)整中，王者團(tuán)隊(duì)想要提高公孫離的強(qiáng)度，“絕悟”對(duì)調(diào)整后的公孫離進(jìn)行了模擬對(duì)戰(zhàn)，結(jié)果顯示改變后的勝率+2.42個(gè)百分點(diǎn)，但部分體驗(yàn)服玩家認(rèn)為這將嚴(yán)重削弱公孫離。

圖片來自網(wǎng)絡(luò)

由“絕悟”到“開悟”

經(jīng)實(shí)踐驗(yàn)證，王者榮耀與騰訊AILab團(tuán)隊(duì)開放了多智能體研究過程中所沉淀下來的技術(shù)資產(chǎn)，建立了開悟開放平臺(tái)，打造了以王者榮耀核心技術(shù)為支撐，面向用戶低成本進(jìn)行多智能體算法研究、教學(xué)和驗(yàn)證的教學(xué)科研平臺(tái)。

他說：“我們開放王者的核心機(jī)制，提供標(biāo)準(zhǔn)界面、核心算法、脫敏訓(xùn)練、評(píng)估工具和計(jì)算集群等，讓教師和同學(xué)進(jìn)行多智能體機(jī)器學(xué)習(xí)算法研究，交流學(xué)習(xí)結(jié)果，對(duì)算法結(jié)果進(jìn)行反復(fù)迭代升級(jí)。將來還可以提供給其他有需要的研究機(jī)構(gòu)進(jìn)行更接近工業(yè)化進(jìn)程的研究，”王者榮耀執(zhí)行制作人、騰訊天美L1工作室總經(jīng)理黃藍(lán)梟說。

到2020年，王者榮耀將與騰訊AILab、騰訊大學(xué)、騰訊游戲?qū)W院共同舉辦首屆“王者榮耀·開悟AI+游戲大賽”，邀請(qǐng)18所頂尖大學(xué)的老師和同學(xué)在“開悟AI+游戲大賽”上進(jìn)行學(xué)術(shù)研究和交流，并提供全方位的資源支持。

"多個(gè)智能體相互學(xué)習(xí)協(xié)作是很困難的，需要確定每個(gè)智能體的目標(biāo)，并劃分主輔關(guān)系，實(shí)現(xiàn)這樣復(fù)雜的設(shè)計(jì)成本很高。"中國(guó)科學(xué)院自動(dòng)化研究所興軍亮團(tuán)隊(duì)提出了一個(gè)自我提升式強(qiáng)化學(xué)習(xí)框架，智能體可以先通過模仿學(xué)習(xí)，再通過自我互動(dòng)而進(jìn)階進(jìn)化，再加上他們提出的一個(gè)新策略，可以有效地緩解多智能學(xué)習(xí)中的常見問題。

通過一年的實(shí)踐，活動(dòng)取得了良好的成果，驗(yàn)證了王者榮耀在游戲環(huán)境中人工智能技術(shù)賦能的思路。

圖片來自網(wǎng)絡(luò)

助產(chǎn)學(xué)，共享AI+游戲新生態(tài)。

《王者榮耀》制作人、騰訊天美L1工作室總經(jīng)理黃藍(lán)梟在STAC首屆科創(chuàng)聯(lián)誼會(huì)上宣布，將與國(guó)內(nèi)頂尖大學(xué)共同建立“多智能體人工智能科研教學(xué)聯(lián)盟”，為更多的高校教師和學(xué)生賦能，為教師、學(xué)生和業(yè)界伙伴提供低門檻、內(nèi)容豐富且穩(wěn)定可靠的學(xué)術(shù)研究和交流場(chǎng)景，這一場(chǎng)景將在國(guó)內(nèi)高校中率先展開。

“人工智能是國(guó)家的重大戰(zhàn)略，騰訊游戲公司副總裁、騰訊游戲?qū)W院院長(zhǎng)夏琳表示，騰訊游戲公司將與各高校進(jìn)行深度產(chǎn)教融合，重點(diǎn)培養(yǎng)AI+游戲的新興科技人才。

與此同時(shí)，聚焦王者榮耀等游戲AI領(lǐng)域的科研，與國(guó)內(nèi)外重點(diǎn)大學(xué)和國(guó)家重點(diǎn)實(shí)驗(yàn)室不斷輸出對(duì)行業(yè)有價(jià)值的科研成果，AI將在國(guó)內(nèi)持續(xù)發(fā)展，未來可期。

隨著人類與科技的交融，王者榮耀不斷地投入，讓AI由0到1去學(xué)習(xí)進(jìn)化，并發(fā)展出一套合理的行為模式，其中的經(jīng)驗(yàn)、方法和結(jié)論，短期內(nèi)可以為游戲業(yè)、電競(jìng)業(yè)帶來直接的推動(dòng)和幫助，有望在更大范圍內(nèi)產(chǎn)生更深遠(yuǎn)的影響，如醫(yī)療、制造業(yè)、無人駕駛、農(nóng)業(yè)、智慧城市等。從長(zhǎng)遠(yuǎn)來看，AI+游戲的研究，將推動(dòng)AI的最終目標(biāo)——探索和發(fā)展通用AI問題。