作者：小巖

編輯：彩云

4月19日，F(xiàn)acebook母公司Meta重磅推出了Llama3。

即便大家現(xiàn)在對于大廠和巨頭頻繁迭代AI模型的行為已經(jīng)見怪不怪，Meta的Llama3仍舊顯得與眾不同，因?yàn)檫@是迄今最強(qiáng)大的開源AI模型。

Meta推出了重磅級產(chǎn)品Llama，顯然是劍有所指的，其中的寓意也很明顯，即是要在激烈的行業(yè)競爭中追趕領(lǐng)先者OpenAI。由此，我們也能看出Mata在AI領(lǐng)域的雄心壯志。

成為最強(qiáng)開源模型，Llama3究竟是怎樣煉成的？

之所以說Llama3是“最強(qiáng)開源”，是因?yàn)樗�在模型架�?gòu)，預(yù)訓(xùn)練數(shù)據(jù)，擴(kuò)大預(yù)訓(xùn)練規(guī)模以及指令微調(diào)方面都做出了重要的調(diào)教。

在模型架構(gòu)方面，Llama 3 采用了相對標(biāo)準(zhǔn)的純解碼器 transformer 架構(gòu)。與 Llama 2 相比，Llama 3更進(jìn)行了幾項(xiàng)關(guān)鍵改進(jìn)。Llama 3 使用了一個(gè) 128K token 的 tokenizer，它能更有效地編碼語言，從而大幅提高模型性能；Meta還在 8B 和 70B 大小的模型中都采用了分組查詢關(guān)注，以便提高Llama3的運(yùn)行效率；此外，Meta還在8192 個(gè) token 的序列上對模型進(jìn)行了訓(xùn)練，并使用掩碼來確保自注意力不會(huì)跨越文檔邊界。

訓(xùn)練數(shù)據(jù)方面，Meta 表示，要訓(xùn)練出最佳的語言模型，最重要的是策劃一個(gè)大型且高質(zhì)量的訓(xùn)練數(shù)據(jù)集。根據(jù)數(shù)據(jù)現(xiàn)實(shí)，Llama 3 在超過 15T 的 token 上進(jìn)行了預(yù)訓(xùn)練，訓(xùn)練數(shù)據(jù)集是 Llama 2 的7倍，包含的代碼數(shù)量達(dá)到了Llama 2 的4倍。為了應(yīng)對多語言使用情況，Llama 3 的預(yù)訓(xùn)練數(shù)據(jù)集中有超過5%的部分是高質(zhì)量的非英語數(shù)據(jù)，涵蓋 30 多種語言。而為了確保Llama 3始終在最高質(zhì)量的數(shù)據(jù)上進(jìn)行訓(xùn)練，Meta還開發(fā)了一系列數(shù)據(jù)過濾管道，諸如啟發(fā)式過濾器，NSFW 過濾器，語義重復(fù)數(shù)據(jù)刪除方法，文本分類器等，以便更好的預(yù)測數(shù)據(jù)質(zhì)量。與此同時(shí)，Meta還進(jìn)行了大量實(shí)驗(yàn)，確保 Llama 3 在各種使用情況下都能表現(xiàn)出色，包括瑣事問題，STEM，編碼，歷史知識(shí)等。

在擴(kuò)大預(yù)訓(xùn)練規(guī)模方面，為了讓Llama 3 模型有效利用預(yù)訓(xùn)練數(shù)據(jù)，Meta 為下游基準(zhǔn)評估制定了一系列詳細(xì)的 scaling laws。這些 scaling laws 使他們能夠選擇最佳的數(shù)據(jù)組合，并就如何更好地使用訓(xùn)練計(jì)算做出最佳決定。更重要的是，在實(shí)際訓(xùn)練模型之前，scaling laws允許他們預(yù)測最大模型在關(guān)鍵任務(wù)上的性能，這有助于 Llama 3 在各種用例和功能中都能發(fā)揮強(qiáng)大的性能。

在指令微調(diào)方面，為了在聊天用例中充分釋放預(yù)訓(xùn)練模型的潛力，Meta 對指令微調(diào)方法進(jìn)行了創(chuàng)新，在后期訓(xùn)練方法中結(jié)合了監(jiān)督微調(diào)（SFT），拒絕采樣，近似策略優(yōu)化（PPO）以及直接策略優(yōu)化（DPO）。

官方表示即將推出400B+版本...開源的400B+足夠令人期待。

此次Llama3的發(fā)布，還有一點(diǎn)惹人矚目，那就是Meta官方表示，即將在不久的未來推出400B+版本。

Meta 官方表示，Llama 3 8B 和 70B 模型只是 Llama 3 系列模型的一部分，他們后續(xù)還將推出更多版本，其中就包括模型參數(shù)超過 400B 的 Llama 3 版本，這一版本目前仍在訓(xùn)練中。

在接下來的幾個(gè)月中，Meta會(huì)持續(xù)推出新功能：屆時(shí)會(huì)有更多的模態(tài)；更長的上下文窗口；更多不同大小版本的模型；更強(qiáng)的性能等。關(guān)于Llama 3研究論文也一應(yīng)推出。

另外，Llama 3 模型將很快會(huì)在AWS，Databricks，Google Cloud，Hugging Face，Kaggle，IBM WatsonX，Microsoft Azure，NVIDIA NIM 以及Snowflake 上提供，并得到 AMD，AWS，Dell，Intel，NVIDIA 以及Qualcomm 硬件平臺(tái)的支持。

當(dāng)然，大家最期待的，還是即將推出的，參數(shù)超過400B+的版本。目前Llama3模型的最強(qiáng)參數(shù)是70B。這個(gè)數(shù)據(jù)已經(jīng)十分優(yōu)秀了，完全有能力和GPT-4-Turbo，Mistral-Large，Claude3-Opus相媲美。不過，相較于巨頭的最強(qiáng)模型，仍舊存在不小的差距。這也是大家如此期待400B+版本的重要原因。

400B+的版本仍在訓(xùn)練中，單就目前釋放出的評測結(jié)果來看已經(jīng)非常強(qiáng)了，堪稱Llama開源size中的“超大杯選手”。據(jù)悉，該模型的訓(xùn)練成本會(huì)達(dá)到1億美元。 目前我們還不清楚Meta是否會(huì)開源“超大杯”。一旦開源，對于國內(nèi)的大模型公司來說無疑是個(gè)重大利好。相信在此之后，也會(huì)有很多公司爭先跟上，推出后續(xù)的應(yīng)用。但凡事都有兩面，對于OpenAI，Anthropic，Mistral，Google這些巨頭而言，這未必是個(gè)好消息。

“開源大模型”時(shí)代以來，AI會(huì)越來越失控嗎？

AI大模型如雨后春筍般不斷冒出，大家在見識(shí)到AI愈發(fā)強(qiáng)大，愈發(fā)智能的同時(shí)，也會(huì)感知到危機(jī)感。

AI是否會(huì)變得越來越失控？

對此，Meta CEO 馬可.扎克伯格也在最近接受的訪談中表達(dá)了自己的觀點(diǎn)。他認(rèn)為，AI的定位應(yīng)該在于“一項(xiàng)非常基礎(chǔ)性的技術(shù)”。它的存在應(yīng)該像計(jì)算機(jī)一樣，將催生一系列全新的應(yīng)用。人們之所以會(huì)誕生AI會(huì)失控，很大程度上是因?yàn)樗�發(fā)展的速度太快了，一時(shí)之間我們無法適應(yīng)。

但在扎克伯格看來，這種情況不太可能發(fā)生，因?yàn)檫@其中存在很多物理方面的限制。但有一點(diǎn)毋庸置疑：AI將真正改變我們的工作方式，為人們提供創(chuàng)新的工具去做不同的事情。它將使人們能夠更自由地追求他們真正想做的事情。

事實(shí)上，我們無法預(yù)知AI未來的發(fā)展路徑究竟是怎樣的，是會(huì)真的造福人類，還是會(huì)給人類帶來災(zāi)難。但有一點(diǎn)值得肯定：開源的AI系統(tǒng)確實(shí)有助于建立一個(gè)更公平，更平衡競技場。如果開源的機(jī)制可以運(yùn)作成功，那應(yīng)該會(huì)成為大家所期待的未來。

       原文標(biāo)題 : 新火種AI|號(hào)稱“史上最強(qiáng)大開源模型”的Llama3，憑什么價(jià)值百億美金？