????????接觸大模型有一段時(shí)間了，最近學(xué)習(xí)了一下使用LLaMA-Factory來(lái)對(duì)開(kāi)源大模型進(jìn)行微調(diào)，LLaMA-Factory是一個(gè)非常好用的開(kāi)源微調(diào)大模型工具，GitHub:LLaMA-Facotry，相關(guān)的介紹可以直接去官方網(wǎng)站上去查看。
????????本文基于Ubuntu系統(tǒng)對(duì)使用LLaMA-Factory來(lái)對(duì)qwen2-1.5B模型進(jìn)行微調(diào)；
1.安裝部署
1.1.下載LLaMA-Factory
1.2.安裝conda
????????在Ubuntu上安裝Conda，可以使用Miniconda，這是Conda的一個(gè)輕量級(jí)版本。以下是安裝Miniconda的步驟：
????下載Miniconda安裝腳本：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
????腳本可執(zhí)行：
chmod +x Miniconda3-latest-Linux-x86_64.sh
????運(yùn)行安裝腳本：
./Miniconda3-latest-Linux-x86_64.sh
????安裝完成后，會(huì)在home下會(huì)創(chuàng)建miniconda3目錄，然后會(huì)自動(dòng)在.bashrc下面加入PATH
export PATH="/home/user/miniconda3/bin:$PATH"
????????重啟終端或重新加載配置文件（例如，使用source ~/.bashrc）以激活Conda環(huán)境，安裝完成后，您可以通過(guò)運(yùn)行conda --version來(lái)檢查Conda是否正確安裝。
????????ubuntu中安裝好conda之后，系統(tǒng)終端界面前面出現(xiàn)（base)字樣，永久取消base字樣辦法：
1、在新終端中輸入：vim ～/.bashrc
2、在打開(kāi)的文件最后加上一句命令：conda deactivate
3、重新打開(kāi)終端即可消除base字樣。
1.3.創(chuàng)建虛擬環(huán)境
????創(chuàng)建一個(gè)名字為llama_factory的虛擬環(huán)境，只需創(chuàng)建一次
conda create --name llama_factory python=3.10
????激活虛擬環(huán)境
conda activate llama_factory
????進(jìn)入LLaMA-Factory文件夾
cd LLaMA-Factory
????安裝配置文件
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[torch,metrics]
1.4.下載開(kāi)源大模型
????????可以選擇自己常用的 LLM，包括 ChatGLM，BaiChuan，Qwen，LLaMA 等，把下載好的模型保存到LLaMA-Factory文件夾下。
????????下載 qwen2-1.5B模型的命令：
git lfs install
git clone https://huggingface.co/Qwen/Qwen2-1.5B # huggingface下載
git clone https://www.modelscope.cn/qwen/Qwen2-1.5B.git # modelscope下載
????下載不下來(lái)的話，直接翻墻到對(duì)應(yīng)目錄，點(diǎn)擊下載也可以；
????下載完，新建Qwen/Qwen2-1.5B模型文件夾，將下載內(nèi)容放入該文件夾，然后將模型文件夾放在LLaMA-Factory目錄下，供后面訓(xùn)練的時(shí)候使用；
2.訓(xùn)練
????????在LLaMA-Factory項(xiàng)目中，單顯卡可以用命令或web頁(yè)面訓(xùn)練，多顯卡只能用用命令的方式，當(dāng)前系統(tǒng)是單顯卡，所以使用的web頁(yè)面訓(xùn)練，另外web頁(yè)面也比較直觀，在LLaMA-Factory目錄下，執(zhí)行以下命令：
python3 src/webui.py
????執(zhí)行完后，終端會(huì)顯示如下：
Web界面如下
????界面分上下兩部分：
????上半部分是模型訓(xùn)練的基本配置，有如下參數(shù)：
模型名稱：可以使用常用的模型，包括 ChatGLM，BaiChuan，Qwen，LLaMA 等
模型路徑：輸入框填寫(xiě)我們之前下載的模型的地址。
微調(diào)方式：
????full：將整個(gè)模型都進(jìn)行微調(diào)。
????freeze：將模型的大部分參數(shù)凍結(jié)，只對(duì)部分參數(shù)進(jìn)行微調(diào)。
????lora：將模型的部分參數(shù)凍結(jié)，只對(duì)部分參數(shù)進(jìn)行微調(diào)，但只在特定的層上進(jìn)行微調(diào)。
????模型斷點(diǎn)（適配器）：在未開(kāi)始微調(diào)前為空，微調(diào)一次后可以點(diǎn)擊刷新斷點(diǎn)（適配器）按鈕，會(huì)得到之前微調(diào)過(guò)的斷點(diǎn)（適配器）。
下半部分是一個(gè)頁(yè)簽窗口，分為T(mén)rain、Evaluate、Chat、Export四個(gè)頁(yè)簽，
????微調(diào)先看Train界面：
訓(xùn)練階段：選擇訓(xùn)練階段，分為預(yù)訓(xùn)練（Pre-Training）、指令監(jiān)督微調(diào)（Supervised Fine-Tuning）、獎(jiǎng)勵(lì)模型訓(xùn)練（Reward Modeling）、PPO 、DPO 五種
這里我們選擇指令監(jiān)督微調(diào)（Supervised Fine-Tuning）。
數(shù)據(jù)集
????數(shù)據(jù)格式：
[
????{
????????"instruction": "用戶指令（必填）",#通常用于存儲(chǔ)指示模型生成輸出的指令
????????"input": "用戶輸入（選填）",
????????"output": "模型回答（必填）",
????????"system": "系統(tǒng)提示詞（選填）",
????????"history": [
????????????????["第一輪指令（選填）", "第一輪回答（選填）"],
????????????????["第二輪指令（選填）", "第二輪回答（選填）"]
????????]
????}
]
????????如果采用自行準(zhǔn)備的數(shù)據(jù)集，要在 LLaMA Factory目錄下data目錄下的dataset_info.json添加新數(shù)據(jù)集信息，llm_data.json是按照上面的數(shù)據(jù)格式構(gòu)造的訓(xùn)練樣本數(shù)據(jù)。
"llm_type":{
????"file_name":"llm_data.json"
}
????????以上都設(shè)置及準(zhǔn)備好后，點(diǎn)擊開(kāi)始就開(kāi)始微調(diào)訓(xùn)練了，輸出目錄為：
LLaMA-Factory/saves/Qwen2-1.5B/lora/train_2024-07-16-14-53-45
????????訓(xùn)練過(guò)程中可以在終端下看到詳細(xì)日志輸出：
訓(xùn)練完成后，會(huì)在webui界面顯示訓(xùn)練完畢。
3.驗(yàn)證推理
????1.在網(wǎng)頁(yè)界面，選擇Chat，加載模型，檢查點(diǎn)路徑：train_2024-07-16-14-53-45，推理數(shù)據(jù)類型：bfloat16，加載完成后，就可以進(jìn)行聊天了
????2.導(dǎo)出模型，選擇Export選項(xiàng)，導(dǎo)出目錄/home/LLM/QwenSft
然后可以通過(guò)代碼來(lái)進(jìn)行驗(yàn)證，實(shí)現(xiàn)如下：
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)
path = '/home/LLM/QwenSft'
def chat_with_qwen(content):
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cpu', trust_remote_code=True)
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": content}
]
text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to("cpu")
generated_ids = model.generate(**model_inputs,max_new_tokens=512)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
????本文簡(jiǎn)單總結(jié)了一下使用LLaMA-Factory開(kāi)源工具來(lái)訓(xùn)練開(kāi)源大模型的一個(gè)基本流程，后面會(huì)繼續(xù)深入了解，有新的收獲會(huì)繼續(xù)更新文章，感謝https://zhuanlan.zhihu.com/p/691239463
