2021年4月19~23日，EACL2021因疫情影響于線上正式召開，這是計(jì)算語言學(xué)和自然語言處理領(lǐng)域的重要國際會議，在Google Scholar計(jì)算語言學(xué)刊物指標(biāo)中排名第七。深蘭科技DeepBlueAI團(tuán)隊(duì)參加了Shared Task on Sarcasm and Sentiment Detection in Arabic 比賽，并在其兩個子任務(wù)諷刺檢測和情感識別中，分別獲得了第二名和第三名的好成績，在深蘭榮譽(yù)榜上再添新篇。

獲獎技術(shù)方案分享

任務(wù)介紹

諷刺檢測要求識別一段文字中是否包含諷刺的內(nèi)容，諷刺是當(dāng)前情感分析系統(tǒng)的主要挑戰(zhàn)之一，因?yàn)榫哂兄S刺性的句子通常用積極的表達(dá)方式去表示消極的情感。文本所表達(dá)的情感以及作者真正想表達(dá)的情感之間存在不同，這種情況給情感分析系統(tǒng)帶來了巨大的挑戰(zhàn)。

諷刺檢測、情感識別在其他語言中引起了很大的關(guān)注，但是在阿拉伯語上則沒有太多進(jìn)展，該任務(wù)則是針對阿拉伯語，針對給定的一個推特文本，判斷是積極、消極或者中立情感，以及是否具有諷刺性。

數(shù)據(jù)分析
任務(wù)數(shù)據(jù)集名字為ArSarcasm－v2［1］，數(shù)據(jù)包含以下幾個字段，tweet， sarcasm， sentiment， dialect，tweet代表推特文本，sarcasm為諷刺檢測的標(biāo)簽，sentiment為情感分類的標(biāo)簽，dialect表示當(dāng)前文本確切屬于阿拉伯語中的哪個方言。

數(shù)據(jù)集統(tǒng)計(jì)如上圖所示，Arsarcasm－V2 共有12548條訓(xùn)練文本，其中MSA占比達(dá)到了68．2％，Maghrebi占比較少，僅有42條。此外我們還分析了具有諷刺文本中的情感分布情況，占比如下圖所示�？梢钥闯鲋S刺文本中89％具有消極情感，只有3％具有正面情感，可見諷刺一般情況下傳遞消極的信息。

模型

模型采用當(dāng)前比較流行的預(yù)訓(xùn)練模型，因?yàn)檎Z言為阿拉伯語，我們采用了專門針對阿拉伯語的預(yù)訓(xùn)練模型bert－large－arabertv02［2］，以及多語言預(yù)訓(xùn)練模型xlm－roberta－large［3］。其中模型結(jié)構(gòu)如下，選取模型多層［CLS］位置的輸出進(jìn)行加權(quán)平均得到［CLS］位置向量，然后經(jīng)過全連接層，之后經(jīng)過Multi－sample dropout［4］得到損失。對于諷刺檢測為二分類，我們采用Binary Cross Entropy 損失函數(shù)，對于情感識別為三分類，我們采用Cross Entropy損失函數(shù)。

Multi－sample dropout 是dropout的一種變種，傳統(tǒng) dropout 在每輪訓(xùn)練時會從輸入中隨機(jī)選擇一組樣本（稱之為 dropout 樣本），而 multi－sample dropout 會創(chuàng)建多個 dropout 樣本，然后平均所有樣本的損失，從而得到最終的損失，multi－sample dropout 共享中間的全連接層權(quán)重。通過綜合 M 個 dropout 樣本的損失來更新網(wǎng)絡(luò)參數(shù)，使得最終損失比任何一個 dropout 樣本的損失都低。這樣做的效果類似于對一個 minibatch 中的每個輸入重復(fù)訓(xùn)練 M 次。因此，它大大減少訓(xùn)練迭代次數(shù)，從而大幅加快訓(xùn)練速度。因?yàn)榇蟛糠诌\(yùn)算發(fā)生在 dropout 層之前的BERT層中，Multi－sample dropout 并不會重復(fù)這些計(jì)算，所以對每次迭代的計(jì)算成本影響不大。實(shí)驗(yàn)表明，multi－sample dropout 還可以降低訓(xùn)練集和驗(yàn)證集的錯誤率和損失。

訓(xùn)練策略

任務(wù)自適應(yīng)預(yù)訓(xùn)練（TAPT）［5］，在當(dāng)前和任務(wù)相關(guān)的數(shù)據(jù)集上進(jìn)行掩碼語言模型（MLM）訓(xùn)練，提升預(yù)訓(xùn)練模型在當(dāng)前數(shù)據(jù)集上的性能。

對抗訓(xùn)練是一種引入噪聲的訓(xùn)練方式，可以對參數(shù)進(jìn)行正則化，從而提升模型的魯棒性和泛化能力。我們采用FGM （Fast Gradient Method）［6］，通過在嵌入層加入擾動，從而獲得更穩(wěn)定的單詞表示形式和更通用的模型，以此提升模型效果。

知識蒸餾［7］由Hinton在2015年提出，主要應(yīng)用在模型壓縮上，通過知識蒸餾用大模型所學(xué)習(xí)到的有用信息來訓(xùn)練小模型，在保證性能差不多的情況下進(jìn)行模型壓縮。我們將利用模型壓縮的思想，采用模型融合的方案，融合多個不同的模型作為teacher模型，將要訓(xùn)練的作為student模型。

假設(shè)：采用arabertv模型，F(xiàn)1得分為70，采用不同參數(shù)、不同隨機(jī)數(shù)，訓(xùn)練多個arabertv 模型融合后F1可以達(dá)到71；在采用xlm－roberta模型，訓(xùn)練多個模型后與arabertv模型進(jìn)行融合得到最終的F1為72�；�于最后融合的多個模型，采用交叉驗(yàn)證的方式給訓(xùn)練集打上 soft label，此時的soft label已經(jīng)包含多個模型學(xué)到的知識。隨后再去訓(xùn)練arabertv模型，模型同時學(xué)習(xí)soft label以及本來hard label，學(xué)習(xí)soft label采用MSE損失函數(shù)，學(xué)習(xí)hard label依舊采用交叉熵?fù)p失，通過這種方式訓(xùn)練出來的arabertv模型的F1可以達(dá)到71點(diǎn)多，最后將蒸餾學(xué)出來的模型再與原來的模型融合，得到最后的結(jié)果。

模型融合

為了更好地利用數(shù)據(jù)，我們采用7折交叉驗(yàn)證，針對每一折我們使用了兩種預(yù)訓(xùn)練模型，又通過改變不同的參數(shù)隨機(jī)數(shù)種子以及不同的訓(xùn)練策略訓(xùn)練了多個模型，之后對訓(xùn)練集和測試集進(jìn)行預(yù)測。為了更好地融合模型，我們針對諷刺檢測采用了線性回歸模型進(jìn)行融合，針對情感識別模型，采用支持向量機(jī)SVM進(jìn)行融合。

實(shí)驗(yàn)結(jié)果

評價標(biāo)準(zhǔn)，針對諷刺檢測，只評價諷刺類的F1，針對情感分類則對各個類的F1求平均，為了更好地評估模型的好壞，我們采用7折交叉驗(yàn)證的形式，以下結(jié)果是交叉驗(yàn)證結(jié)果的平均。

從下表中可以看出，無論是諷刺檢測任務(wù)還是情感分類任務(wù)都是XLM－Roberta 模型相對好一些，經(jīng)過TAPT和知識蒸餾后效果都有著顯著提升。對于諷刺檢測因?yàn)椴煌�模型之間分?jǐn)?shù)相差比較大，直接求平均效果不行，而采用線性回歸后則達(dá)到了一個不錯的水平，由于諷刺檢測類別不平衡，我們將閾值調(diào)整為0．41，即大于0．41為1類。同樣在情感分類任務(wù)中，由于多個模型之間的性能相差較大直接求平均也會造成性能的下降，我們最終采用SVM進(jìn)行模型融合。

參考文獻(xiàn)

［1］ Farha I A， Zaghouani W， Magdy W． Overview of the wanlp 2021 shared task on sarcasm and sentiment detection in arabic［C］／／Proceedings of the Sixth Arabic Natural Language Processing Workshop． 2021．

［2］ Antoun W， Baly F， Hajj H． Arabert： Transformer－based model for arabic language understanding［J］． arXiv preprint arXiv：2003．00104， 2020．

［3］ Conneau A， Khandelwal K， Goyal N， et al． Unsupervised cross－lingual representation learning at scale［J］． arXiv preprint arXiv：1911．02116， 2019．

［4］ Inoue H ． Multi－Sample Dropout for Accelerated Training and Better Generalization［J］．  2019．

［5］ Gururangan S， Marasovi? A， Swayamdipta S， et al． Don＇t Stop Pretraining： Adapt Language Models to Domains and Tasks［J］． arXiv preprint arXiv：2004．10964， 2020．

［6］ Miyato T， Dai A M， Goodfellow I． Adversarial training methods for semi－supervised text classification［J］． arXiv preprint arXiv：1605．07725， 2016．

［7］ Hinton G， Vinyals O， Dean J． Distilling the knowledge in a neural network［J］． arXiv preprint arXiv：1503．02531， 2015