LlamaFactory 前言

LLaMA Factory 是一個用于微調(diào)大型語言模型的強大工具，特別是針對 LLaMA 系列模型。

可以適應(yīng)不同的模型架構(gòu)和大小。

支持多種微調(diào)技術(shù)，如全參數(shù)微調(diào)、LoRA（ Low-Rank Adaptation ）、QLoRA（ Quantized LoRA ）等。

還給我們提供了簡單實用的命令行接口。

支持多 cpu 訓練，多任務(wù)微調(diào)，還有各種內(nèi)存優(yōu)化技術(shù)，如梯度檢查點、梯度累積等。

支持混合精度訓練，提高訓練效率。

本文不再贅述 LlamaFactory 的安裝過程

LlamaFactory參數(shù)基本設(shè)置

打開我們 LlamaFactory 的 web 運行界面，進入根目錄執(zhí)行下列命令：

llamafactory-cli webui

看到下列界面

在瀏覽器打開我們開啟的 webui 界面 http://127.0.0.1:7860：

我們依次來解釋每個參數(shù)的選擇：

這里是語言選擇

選擇 zh 即可。

模型選擇

選擇適合自己的模型，這里都會從 Hugging Face 里面下載，

這一步是自定義路徑

一般就用選擇好的默認路徑即可。

微調(diào)方法：

這里有三種，full全參數(shù)微調(diào)， Freeze（凍結(jié)部分參數(shù)） LoRA&