OpenAI曾在2017年戰(zhàn)勝Dota2世界頂級玩家Dendi，本月初戰(zhàn)勝了由職業(yè)選手和解說員組成的半職業(yè)戰(zhàn)隊，這一系列出彩的表現(xiàn)提升了人們對人工智能再次奪冠的期望。8月22日在溫哥華舉行的TI8上，OpenAI聯(lián)合創(chuàng)始人兼CTO格雷格·布羅克曼（Greg Brockman）帶著全新的OpenAI Five如期而至，卻接連兩場輸給巴西站隊和中國戰(zhàn)隊，據(jù)悉，巴西戰(zhàn)隊目前世界排名第14位，這至少說明一直想挑戰(zhàn)人類“最強”的人工智能，目前還不能在Dota2電競場上打敗人類。

機器的短板

正如專注于游戲領(lǐng)域AI研究的邁克·庫克在Twitter上所說，“機器人在即時即地的反應(yīng)上做得很好，但宏觀層面決策的表現(xiàn)卻很糟糕�！監(jiān)penAI計劃在當(dāng)?shù)貢r間周三、周四、周五連比三場，由于比賽采取三局兩勝制，OpenAI在輸給中國戰(zhàn)隊之后，就結(jié)束TI8之旅。

兩場比賽分別持續(xù)了51分鐘和45分鐘，從數(shù)據(jù)來看，OpenAI Five在比賽開始的前20－35分鐘內(nèi)確實有很大的勝算。以AI的計算能力來看，OpenAI Five不乏出彩的表現(xiàn)，比如“圍剿”孤立的英雄，近距離進行技能釋放，血量計算等。在與巴西戰(zhàn)隊paiN的較量中，AI也拿到比對手更多的“人頭”。畢竟，人工智能就是一臺機器，可以獲取游戲后端給予的精確的數(shù)字反饋，比如英雄狀態(tài)和英雄間距離等信息。但是在戰(zhàn)略上，人工智能遠不及人類，執(zhí)著于擊打Roshan、莫名其妙的在家、塔下插眼、在沒有對手的時候放大收野。

這種精準(zhǔn)的計算和不穩(wěn)定的戰(zhàn)略恰好反映了AI是如何學(xué)會打Dota的，OpenAI使用強化學(xué)習(xí)訓(xùn)練AI從頭自學(xué)，在一遍遍嘗試中堅持下來有效的動作。因此也導(dǎo)致了OpenAIFive在面對訓(xùn)練中沒有遇到的情況時束手無策，從事OpenAIDota項目的軟件工程師蘇珊·張表示，“如果AI在比賽中遇見了之前從未有過的情況，很難立即調(diào)整。同時，在訓(xùn)練過程中，機器人在判斷采取何種行動時，最多會提前14分鐘。沒有任何一種機制讓機器人部署超過14分鐘的長期戰(zhàn)略。”所以，AI的這一缺陷，在兩場比賽中展露無遺。

在比賽開始前，格雷格·布羅克曼曾對TheVerge表示，公司曾進行一場內(nèi)部員工投票，認為OpenAIFive獲勝的可能性不到50％，這是普遍的共識。但是他補充說，真正重要的是AI的進步速度。AI在接近某戰(zhàn)隊水平時，就與他們打比賽，一、兩周之后，AI就能超過他們，這樣的事情已經(jīng)“驗證”很多次了。

不可否認的是AI強大的學(xué)習(xí)能力，即便完敗巴西、中國戰(zhàn)隊，OpenAI的AI選手也遠遠超越早期的電子競技機器人。

“OpenAI Five”

在體育和游戲中，人工智能與人類的對抗有著悠久的歷史。IBM開發(fā)的深藍計算機在1996年成為了第一個與世界象棋冠軍較量并贏得比賽的電腦系統(tǒng)。戰(zhàn)勝越來越具有挑戰(zhàn)性的人類冠軍則慢慢成為衡量人工智能進步的標(biāo)準(zhǔn)。

2016年3月，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進行圍棋人機大戰(zhàn)，以4：1的總比分勝出；之后，AlphaGo以網(wǎng)絡(luò)圍棋手“Master”的身份為與中日韓數(shù)十位圍棋高手進行對決，以60勝零負收場。此后，DeepMind團隊公布全新強化學(xué)習(xí)算法——AlphaZero，僅僅通過自我對弈的方式就達到超越人類的水平。

去年，谷歌旗下的DeepMind和馬斯克創(chuàng)建的非盈利研究實驗室OpenAI合作研究一種根據(jù)人類反饋進行強化學(xué)習(xí)的新方法，并發(fā)表論文《Deep reinforcement learning from human preferences》（根據(jù)人類偏好進行的深度強化學(xué)習(xí)）。要建立一個安全的AI系統(tǒng)，其中很重要的一步是不再讓人類給AI系統(tǒng)寫目標(biāo)函數(shù)，因為這都可能導(dǎo)致AI行為偏離軌道或引發(fā)危險。新算法只需要人類逐步告訴AI，兩種AI推薦的動作中哪一種更好，AI由此推測人類的需求進行學(xué)習(xí)，比如新算法用來自人類評價員的900次二選一反饋學(xué)會了后空翻。OpenAI和DeepMind希望通過新算法來提高人工智能的安全性。

DeepMind憑借Alpha Go不負眾望，同樣專注在強化學(xué)習(xí)領(lǐng)域的OpenAI則是放眼于Dota2上，因為在數(shù)學(xué)計算上，電競游戲比象棋或者圍棋更復(fù)雜。這件看似“不正經(jīng)”的事情，對于人工智能來說卻是巨大的挑戰(zhàn)，游戲中需要AI團隊協(xié)同作戰(zhàn)、布局長期戰(zhàn)略、制定復(fù)雜決策。如果賦予AI的這些技能可以通過游戲磨練“精進”，便可以加以運用到現(xiàn)實生活中。這也恰巧符合OpenAI的建立初衷——吸取所有的人類優(yōu)點，建立安全的通用機器人。