背景

??在假新聞檢測領域，目前的方法主要集中在文本和視覺特征的集成上，但不能有效地利用細粒度和粗粒度級別的多模態(tài)信息。此外，由于模態(tài)之間缺乏相關性或每個模態(tài)所做的決策之間存在矛盾，它們還存在歧義問題，如圖一，為了克服這些挑戰(zhàn)，本文提出了一個用于假新聞檢測的多粒度多模態(tài)融合網絡(MMFN)。
??MMFN分別使用兩個基于transformer的預訓練模型來編碼文本和圖像的令牌級特征。多模態(tài)模塊融合細粒度特征，同時考慮到CLIP編碼器編碼的粗粒度特征。為了解決歧義問題，設計了基于相似性加權的單模態(tài)分支，以自適應地調整多模態(tài)特征的使用。

模型

??MMFN的網絡設計如圖2所示，由多模態(tài)特征編碼器、多粒度特征融合模塊、單模態(tài)分支和基于CLIP相似度的模態(tài)加權以及分類器組成。

??具體來說，這篇文章使用了三種預訓練的編碼器對多模態(tài)特征進行編碼，分別是基于transformer的BERT和SWIN-T，基于對比學習的CLIP。
??需要注意的是，BERT和SWIN-T的輸出都是token級的，BERT的輸出表示為$T^b=[t_1^b,t_2^b,...,t_{nw}^b]$，其中$t_i^b$表示文本嵌入中第i個token（也就是第i個詞）的最后一個隱藏狀態(tài)的輸出，$d_b$是單詞嵌入的維度。SWIN-T的輸出表示為$V^s=[v_1^s,v_2^s,...,v_{n_p}^s]$，其中，$v_i^s\in R^{s_s}$為模型最后一層輸出處對應于輸入的第i個patch的隱藏狀態(tài)，𝑛𝑝為SWIN-T中的patch數(shù)，$d_s$為視覺嵌入的隱藏大小。
??CLIP文本和圖片編碼器的結果為$X^c=[t^c,v^c]$，分別表示圖片和文本模態(tài)的嵌入向量，他們處于同一個嵌入空間。
??拿到了這些特征后，本文的單模態(tài)分支就是把BERT和SWIN-T的token級向量進行平平均池化，然后和CLIP的編碼結果拼起來經過一個映射頭，作為兩個單模態(tài)分支特征，即：$$F^t={\Phi }_T(\overline{T_b};t^c)$$$$F^v={\Phi }_V(\overline{V_s};v^c)$$??接下來我們看粗細粒度的多模態(tài)融合模塊，所謂細粒度，就是把$T_b$和$V_s$分別送入兩個transformer架構的共注意力機制模塊，得到互相加權后的文本和圖片細粒度特征：$$F^{vt}=CT((T^b{W}^t),(V^s{W}^v))$$$$F^{t}v=CT((V^s{W}^v),(T^b{W}^t))$$??然后通過幾個全連接層把互相加權過的細粒度特征和粗粒度特征融合：$$M^f=FF{N}_1(F^{vt};F^{tv})$$$$M^c=FF{N}_2(t^c;v^c)$$$$F^m=similarity?{\Phi }_M(M^f,M^c)$$??similarity是通過CLIP特征算出來的模態(tài)間余弦相似度，作者認為，如果直接將單模態(tài)分支表示發(fā)送給分類器進行決策，分類器可能更傾向于使用具有更深網絡的多模態(tài)表示來擬合結果，而單模態(tài)分支可能會干擾決策并導致更嚴重的歧義問題。因此使用CLIP余弦相似度作為多模態(tài)特征加權的系數(shù)來指導分類器的學習過程，也就是給多模態(tài)特征加權。
??將三個分支的特征送入分類頭得到pre，損失函數(shù)是交叉熵。

實驗

??使用的數(shù)據(jù)集是2017年MM文章提出的Twitter和Weibo，以及Fakenewsnet中的Gossipcop，得到了SOTA效果：

??消融實驗：

??在微博的測試集上進行的T-SNE降維可視化：