Mistral 7B 比Llama 2更好的開源大模型
Mistral 7B是一個(gè)70億參數(shù)的語(yǔ)言模型，旨在獲得卓越的性能和效率。Mistral 7B在所有評(píng)估的基準(zhǔn)測(cè)試中都優(yōu)于最好的開放13B模型（Llama 2），在推理、數(shù)學(xué)和代碼生成方面也優(yōu)于最好的發(fā)布34B模型（Llama 1）。Mistral 7B模型利用分組查詢注意力（GQA）進(jìn)行更快的推理，再加上滑動(dòng)窗口注意力（SWA），在降低推理成本的情況下有效處理任意長(zhǎng)度的序列。

本文學(xué)習(xí)分組查詢注意力（GQA）的論文： GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
論文鏈接：
https://arxiv.org/abs/2305.13245

摘要

只使用單個(gè)鍵值頭的多查詢注意力（MQA）大大加快了解碼器推理的速度。然而，MQA可能會(huì)導(dǎo)致質(zhì)量下降，而且更嚴(yán)重的是，為了更快的推理而訓(xùn)練單獨(dú)的模型可能是不可取的。論文（1）提出了一種使用5%的原始預(yù)訓(xùn)練計(jì)算將現(xiàn)有的多頭語(yǔ)言模型檢查點(diǎn)升級(jí)為具有MQA的模型的方法，以及（2）引入分組查詢注意力（GQA），這是多查詢注意力的一種推廣，它使用中間數(shù)量（多于一個(gè)，少于查詢頭的數(shù)量）的鍵值