普通開發(fā)者也能微調(diào) Qwen3.5 9B：Kaggle + Unsloth + LoRA 全流程拆解

我看了一份很適合入門的微調(diào)開源教程：github.com/R6410418/Jackrong-llm-finetuning-guideackrong-llm-finetuning-guide，它的定位很明確，面向初學(xué)者和開發(fā)者，把大模型微調(diào)從“聽起來很貴的技術(shù)活”，拆成一條可以在 Kaggle / Colab 上復(fù)現(xiàn)的工程管線

Jackrong LLM 微調(diào)教程項(xiàng)目總覽

倉庫里已經(jīng)給出了 Qwen3.5 9B 的 Kaggle SFT notebook，主線是：

Kaggle 環(huán)境
  -> Unsloth 加載 Qwen3.5 9B
  -> 4-bit 節(jié)省顯存
  -> LoRA / PEFT 微調(diào)
  -> 多源數(shù)據(jù)清洗
  -> qwen3-thinking 模板
  -> response-only SFT
  -> 保存 LoRA / 合并 16-bit / 導(dǎo)出 GGUF

如果你第一次做開源模型微調(diào)，我建議從 Qwen3.5 9B 入手

原因有三個(gè)

第一，9B 這個(gè)尺寸剛剛好它比 4B 更有表達(dá)能力，又比 27B、35B 輕很多，Kaggle 這種免費(fèi)或低成本云環(huán)境還有折騰空間

第二，Qwen3.5 本身很強(qiáng)官方模型卡顯示，Qwen3.5 9B 是 9B 參數(shù)、32 層、4096 hidden size，原生上下文長度 262,144 tokens，對(duì)長文本、代碼、推理、多語言場(chǎng)景都比較友好

第三，Unsloth 已經(jīng)把訓(xùn)練門檻壓低了Unsloth 文檔明確支持 Qwen3.5 家族微調(diào)，包括 0.8B、2B、4B、9B、27B、35B-A3B、122B-A10B 等型號(hào)對(duì)個(gè)人開發(fā)者來說，這類工具鏈的價(jià)值很直接：少踩環(huán)境坑，少爆顯存，快點(diǎn)看到 loss 往下走

這里也要提前說一個(gè)最新版文檔里的提醒：Unsloth 當(dāng)前不推薦在 Qwen3.5 上做 QLoRA / 4-bit 訓(xùn)練，原因是量化差異偏高；如果你有足夠顯存，優(yōu)先考慮 bf16 LoRA本文拆的是 Jackrong Kaggle notebook 的可復(fù)現(xiàn)路線，它為了壓低 Kaggle 資源門檻使用了 4-bit 加載，適合學(xué)習(xí)鏈路；嚴(yán)肅實(shí)驗(yàn)建議把 bf16 LoRA 也納入對(duì)照組

這個(gè)教程到底教什么？

Jackrong 這個(gè)倉庫的核心價(jià)值，是把微調(diào)流程變成了一套“可跑的教材”

它包含幾類東西：

• 多語言 README：中文、英文、韓文、日文都有

• 訓(xùn)練 notebook：Qwen3.5 9B、Qwopus3.5 27B、Qwopus3.5 35B、Llama3.2-R1 GRPO

• 高保真蒸餾數(shù)據(jù)集：倉庫里列了 24 個(gè)數(shù)據(jù)集，覆蓋推理、數(shù)學(xué)、代碼、多輪對(duì)話、寫作反饋等方向

• 訓(xùn)練后導(dǎo)出：LoRA 保存、16-bit 合并、GGUF 量化上傳

這套教程的目標(biāo)很樸素：讓你從瀏覽器打開 notebook 開始，一路看到訓(xùn)練、保存、發(fā)布

如果你是第一次做微調(diào)，最難的地方通常不在某一個(gè) API，而在“每一步為什么這么做”這份教程最值得借鑒的地方，也在它的數(shù)據(jù)處理部分

第一步：準(zhǔn)備 Kaggle 環(huán)境和密鑰

Qwen3.5 9B 的 notebook 先讓你在 Kaggle Secrets 里準(zhǔn)備兩個(gè)密鑰：

WANDB_API_KEY
HF_TOKEN

WANDB_API_KEY 用來登錄 Weights & Biases，記錄訓(xùn)練日志、loss 曲線、實(shí)驗(yàn)參數(shù)

HF_TOKEN 用來登錄 Hugging Face，后面如果你要上傳 LoRA、合并模型或 GGUF 文件，就會(huì)用到

這里有個(gè)很重要的習(xí)慣：不要把 API Key 直接寫進(jìn) notebook

教程里用的是 Kaggle Secrets：

from kaggle_secrets import UserSecretsClient

 user_secrets = UserSecretsClient()
secret_value_0 = user_secrets.get_secret("WANDB_API_KEY")

 import wandb
wandb.login(key=secret_value_0)

這一步看起來小，實(shí)戰(zhàn)里很關(guān)鍵很多初學(xué)者第一次上傳 notebook，就把 token 一起傳到了公開平臺(tái)這個(gè)坑很低級(jí)，也很疼

第二步：安裝 Unsloth、Transformers 和 TRL

教程里的安裝邏輯會(huì)區(qū)分 Colab 和普通環(huán)境Kaggle 里直接裝 Unsloth：

!pip install unsloth
!pip install transformers==5.3.0
!pip install --no-deps trl==0.22.2

這幾個(gè)包分別管不同層：

• unsloth ：負(fù)責(zé)高效加載模型、4-bit、LoRA、訓(xùn)練優(yōu)化

• transformers ：負(fù)責(zé)模型、tokenizer、推理和底層兼容

• trl ：負(fù)責(zé) SFTTrainer 這類訓(xùn)練封裝

版本最好跟 notebook 保持一致大模型訓(xùn)練環(huán)境最怕“差一點(diǎn)能跑”，尤其是 transformers、trl、bitsandbytes、accelerate 這幾類包，一旦版本互相打架，報(bào)錯(cuò)會(huì)非常玄學(xué)

第三步：加載 Qwen3.5 9B

教程使用 Unsloth 的 FastLanguageModel.from_pretrained 加載模型：

from unsloth import FastLanguageModel
import torch


 model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Qwen3.5-9B",
    max_seq_length=16384,
    load_in_4bit=True,
    load_in_8bit=False,
    full_finetuning=False,
)

這里有幾個(gè)參數(shù)要看懂

model_name="unsloth/Qwen3.5-9B"：使用 Unsloth 適配過的 Qwen3.5 9B 權(quán)重，方便后續(xù)訓(xùn)練notebook 原文里 namespace 寫成了 Unsloth，Hugging Face 頁面上的規(guī)范寫法是小寫 unsloth，建議讀者按規(guī)范寫

max_seq_length=16384：訓(xùn)練上下文設(shè)置成 16KQwen3.5 9B 的官方上下文更長，但訓(xùn)練時(shí)上下文越長，顯存和時(shí)間開銷越大16K 是一個(gè)比較務(wù)實(shí)的起點(diǎn)

load_in_4bit=True：按 Jackrong notebook 的路線，用 4-bit 加載模型以降低顯存占用需要注意，Unsloth 當(dāng)前文檔對(duì) Qwen3.5 的 QLoRA / 4-bit 訓(xùn)練給了謹(jǐn)慎提醒；如果顯存夠，優(yōu)先試 bf16 LoRA

full_finetuning=False：采用 LoRA 這種參數(shù)高效微調(diào)路線全參微調(diào)對(duì)顯存、存儲(chǔ)、訓(xùn)練穩(wěn)定性都更挑剔，入門階段先用 LoRA 更穩(wěn)

一句話概括：這一步是在告訴機(jī)器，“我想用省顯存的方式，把 Qwen3.5 9B 先請(qǐng)進(jìn)來”

第四步：加 LoRA 適配器

LoRA 的本質(zhì)，是凍結(jié)大部分原始權(quán)重，只訓(xùn)練一小部分低秩矩陣這樣訓(xùn)練更輕，保存也更輕

教程里給的核心參數(shù)是：

r = 64
lora_alpha = 64
lora_dropout = 0
bias = "none"
use_gradient_checkpointing = "unsloth"
random_state = 3407

目標(biāo)模塊覆蓋注意力和 MLP：

target_modules=[
    "q_proj", "k_proj", "v_proj", "o_proj",
    "gate_proj", "up_proj", "down_proj",
    "out_proj",
]

我在本地讀 notebook 時(shí)發(fā)現(xiàn)一個(gè)細(xì)節(jié)：LoRA 那個(gè) cell 的括號(hào)和縮進(jìn)疑似有誤，直接運(yùn)行可能會(huì)報(bào)語法錯(cuò)誤讀者照著跑的時(shí)候，可以改成下面這種結(jié)構(gòu)：

model = FastLanguageModel.get_peft_model(
    model,
    r=64,
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
        "out_proj",
    ],
    lora_alpha=64,
    lora_dropout=0,
    bias="none",
    use_gradient_checkpointing="unsloth",
    random_state=3407,
    use_rslora=False,
    loftq_config=None,
)

如果你對(duì)顯存沒把握，可以把 r 從 64 降到 32 或 16rank 越高，適配能力通常越強(qiáng)，顯存和訓(xùn)練時(shí)間也會(huì)跟著漲

第五步：數(shù)據(jù)處理才是微調(diào)的命門

很多人做微調(diào)，第一反應(yīng)是調(diào)參數(shù)實(shí)際上，微調(diào)里最影響結(jié)果的通常是數(shù)據(jù)

這個(gè)教程的數(shù)據(jù)處理值得仔細(xì)看

Qwen3.5 9B notebook 里用了兩類數(shù)據(jù)：

Jackrong/Competitive-Programming-python-blend：抽樣 700 條
stepfun-ai/Step-3.5-Flash-SFT：抽樣 100000 條

第一類數(shù)據(jù)偏代碼、算法、推理它本身是一個(gè)混合 SFT 數(shù)據(jù)集，主要圍繞 Python 競(jìng)賽編程，也混入少量 C++、SWE、推理聊天數(shù)據(jù)

第二類數(shù)據(jù)規(guī)模更大，是主訓(xùn)練數(shù)據(jù)來源notebook 里為了適配 Kaggle 臨時(shí)存儲(chǔ)，會(huì)隨機(jī)抽取 5 個(gè) JSON 文件，再從中清洗樣本

數(shù)據(jù)處理流程大概是這樣：

加載原始數(shù)據(jù)
  -> 隨機(jī)抽樣
  -> 統(tǒng)一 conversations 格式
  -> 移除 system message
  -> 規(guī)范 user / assistant 角色
  -> 合并連續(xù)同角色消息
  -> 確保 user 和 assistant 交替
  -> 強(qiáng)制 assistant 輸出含 
                
 ... 
        
  -> 套用 qwen3-thinking chat template
  -> 合并兩個(gè)數(shù)據(jù)集
  -> shuffle
  -> 按 text 去重
  -> 過濾超過 16K tokens 的樣本

這里最有意思的是 ...

教程會(huì)把 assistant 輸出統(tǒng)一成：

 
        
推理過程


 最終答案

如果原始輸出里已經(jīng)有 think block，就抽取并規(guī)范；如果沒有，就補(bǔ)一個(gè)空的 think block

這一步的目的，是讓模型學(xué)會(huì)一種穩(wěn)定的“先組織思路，再輸出答案”的格式Jackrong 的 Neo 模型卡也提到，訓(xùn)練時(shí)用了 response-only masking，并把 assistant 的 作為響應(yīng)起點(diǎn)

這對(duì)推理模型很重要你希望模型變強(qiáng)，訓(xùn)練數(shù)據(jù)里就要有穩(wěn)定的行為結(jié)構(gòu)數(shù)據(jù)格式亂，模型學(xué)到的風(fēng)格也會(huì)亂

第六步：套用 qwen3-thinking 模板

notebook 里使用的是：

from unsloth.chat_templates import get_chat_template


 tokenizer = get_chat_template(
    tokenizer,
    chat_template="qwen3-thinking",
)

然后將 conversations 轉(zhuǎn)成最終訓(xùn)練文本：

def formatting_prompts_func(examples):
    convos = examples["conversations"]
    texts = [
        tokenizer.apply_chat_template(
            convo,
            tokenize=False,
            add_generation_prompt=False,
        )
        for convo in convos
    ]
    return {"text": texts}

這一步很容易被忽略

模型訓(xùn)練看到的并非你腦子里的 JSON 結(jié)構(gòu)，它看到的是 token 序列chat template 決定了 user、assistant、特殊標(biāo)記、生成提示怎么拼在一起

微調(diào) Qwen3.5 這種帶 thinking 風(fēng)格的模型，模板最好保持一致模板亂了，模型輕則輸出格式漂移，重則訓(xùn)練目標(biāo)和推理格式對(duì)不上

第七步：用 SFTTrainer 開始訓(xùn)練

教程使用 TRL 的 SFTTrainer：

from trl import SFTTrainer, SFTConfig


 trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    eval_dataset=None,
    args=SFTConfig(
        dataset_text_field="text",
        per_device_train_batch_size=6,
        gradient_accumulation_steps=6,
        warmup_ratio=0.04,
        num_train_epochs=2,
        learning_rate=2e-4,
        logging_steps=1,
        optim="adamw_8bit",
        weight_decay=0.001,
        lr_scheduler_type="linear",
        seed=3407,
        save_steps=100,
        save_total_limit=1,
        save_strategy="steps",
        report_to="wandb",
        output_dir="/kaggle/working/",
    ),
)

這里最值得關(guān)注的是有效 batch：

per_device_train_batch_size = 6
gradient_accumulation_steps = 6
有效 batch 約等于 36

在顯存有限的情況下，梯度累積非常好用它不會(huì)一次塞進(jìn) 36 條樣本，會(huì)分 6 次前向和反向，累積梯度后再更新

學(xué)習(xí)率 2e-4 對(duì) LoRA SFT 來說屬于常見起點(diǎn)教程里也備注了，長訓(xùn)練可以降到 2e-5如果你訓(xùn)練的是高質(zhì)量小數(shù)據(jù)，學(xué)習(xí)率太大容易把模型風(fēng)格帶偏

第八步：只訓(xùn)練 assistant 的回答

教程里還有一個(gè)很關(guān)鍵的步驟：

from unsloth.chat_templates import train_on_responses_only


 trainer = train_on_responses_only(
    trainer,
    instruction_part="<|im_start|>user\n",
    response_part="<|im_start|>assistant\n 
 
 " 
 ,
)

這一步叫 response-only training

簡(jiǎn)單講，訓(xùn)練時(shí)只讓模型為 assistant 部分承擔(dān) loss，user prompt 部分會(huì)被 mask 掉

為什么這么做？

因?yàn)槲覀兿ＭＰ蛯W(xué)會(huì)“如何回答”，而用戶輸入只是條件把用戶輸入也納入 loss，很多時(shí)候會(huì)浪費(fèi)訓(xùn)練信號(hào)，還可能讓模型學(xué)習(xí)復(fù)讀 prompt

尤其是對(duì)指令微調(diào)來說，response-only masking 是很實(shí)用的工程習(xí)慣

第九步：訓(xùn)練、保存、上傳

開始訓(xùn)練：

trainer.train()

如果中斷，可以從 checkpoint 恢復(fù)：

trainer.train(resume_from_checkpoint=True)

保存 LoRA：

model.save_pretrained("qwen_lora")
tokenizer.save_pretrained("qwen_lora")

合并 16-bit 并上傳 Hugging Face：

model.push_to_hub_merged(
    repo_id,
    tokenizer,
    save_method="merged_16bit",
    token=hf_token,
)

導(dǎo)出 GGUF：

model.push_to_hub_gguf(
    repo_id,
    tokenizer,
    quantization_method=["q4_k_m"],
    token=hf_token,
)

這里教程給了一個(gè)很現(xiàn)實(shí)的提醒：Kaggle 臨時(shí)存儲(chǔ)空間有限，實(shí)際可用大約 92GB導(dǎo)出全套 GGUF 量化文件時(shí)，空間可能不夠

更穩(wěn)的方式是：先在 Kaggle 上傳合并后的 16-bit 模型，再去 Colab 或本地更大磁盤環(huán)境里做 GGUF 全量導(dǎo)出

實(shí)戰(zhàn)避坑清單

第一，Qwen3.5 的 4-bit 訓(xùn)練要謹(jǐn)慎

Jackrong notebook 為了讓 Kaggle 環(huán)境更容易跑起來，采用了 load_in_4bit=True但 Unsloth 最新微調(diào)文檔提醒，Qwen3.5 模型不推薦 QLoRA / 4-bit 訓(xùn)練，原因是量化差異偏高如果你只是學(xué)習(xí)完整鏈路，可以先復(fù)現(xiàn) notebook；如果你要做嚴(yán)肅模型迭代，建議優(yōu)先準(zhǔn)備能跑 bf16 LoRA 的環(huán)境，并把 4-bit 結(jié)果當(dāng)成低成本實(shí)驗(yàn)組

第二，倉庫里的大數(shù)據(jù)文件可能受 Git LFS 配額影響

我本地 clone 時(shí)，普通 clone 在一個(gè) LFS 數(shù)據(jù)文件上失敗，原因是倉庫 LFS budget 超限解決方式是跳過 LFS smudge：

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/R6410418/Jackrong-llm-finetuning-guide.git

這樣文檔、notebook、README 都能拿到真正訓(xùn)練時(shí)，數(shù)據(jù)可以從 Hugging Face Hub 拉

第三，數(shù)據(jù)質(zhì)量比數(shù)據(jù)量更重要

教程里的 Qwen3.5-reasoning-700x 數(shù)據(jù)卡也提醒，蒸餾數(shù)據(jù)可能含少量計(jì)算錯(cuò)誤或邏輯問題訓(xùn)練前建議抽樣檢查，尤其是數(shù)學(xué)、代碼、金融、醫(yī)學(xué)這類高敏場(chǎng)景

第四，16K 上下文是務(wù)實(shí)選擇

Qwen3.5 9B 官方上下文很長，但微調(diào)階段直接拉滿上下文，顯存和訓(xùn)練時(shí)間都會(huì)急劇上升先用 16K 跑通流程，再根據(jù)業(yè)務(wù)調(diào)整，會(huì)舒服很多

第五，LoRA rank 別一上來就拉滿

r=64 可以作為教程復(fù)現(xiàn)參數(shù)你如果只是做風(fēng)格、格式、輕量領(lǐng)域適配，r=16 或 r=32 往往也值得試

第六，推理能力和格式服從之間會(huì)有取舍

Jackrong 的 Qwen3.5-9B-Neo 模型卡里提到，這一版更強(qiáng)調(diào)結(jié)構(gòu)化推理，IFEval 指令跟隨指標(biāo)有回落這個(gè)提醒很真誠，也很適合寫進(jìn)自己的實(shí)驗(yàn)記錄里

這是 Neo 模型卡里給出的 LM Eval Harness 截圖之一，重點(diǎn)看它把微調(diào)前后結(jié)果擺在一起，便于讀者理解“提升”和“回落”都要記錄

Jackrong Qwen3.5-9B-Neo LM Eval Harness 截圖

第七，GGUF 量化參數(shù)里不要帶尾隨空格

notebook 里的 GGUF 導(dǎo)出 cell 寫的是 quantization_method=["q4_k_m "]，字符串末尾多了一個(gè)空格建議改成 quantization_method=["q4_k_m"]，和 Unsloth 文檔中的 q4_k_m 寫法保持一致

誰適合照著這套教程學(xué)？

我建議這幾類人重點(diǎn)看：

• 想第一次完整跑通 SFT 的開發(fā)者

• 想訓(xùn)練一個(gè)數(shù)學(xué)、代碼、邏輯推理小模型的團(tuán)隊(duì)

• 想理解 格式、response-only training、chat template 的同學(xué)

• 想把模型發(fā)布成 Hugging Face / GGUF / Ollama 可用形態(tài)的玩家

如果你的目標(biāo)是生產(chǎn)級(jí)模型，這份教程更像起點(diǎn)你還需要補(bǔ)上評(píng)測(cè)集、A/B 測(cè)試、安全過濾、數(shù)據(jù)授權(quán)審查、訓(xùn)練日志復(fù)盤、推理參數(shù)調(diào)優(yōu)

但作為入門教材，它已經(jīng)把最難的那條鏈路鋪好了

最后

微調(diào)這件事，真正有意思的地方在于：你開始從“調(diào)用模型的人”，變成“改造模型的人”

Qwen3.5 9B 這種模型，對(duì)個(gè)人開發(fā)者很友好它足夠強(qiáng)，也足夠輕再加上 Unsloth、Kaggle、Hugging Face 這些工具，門檻已經(jīng)低到可以動(dòng)手試

我的建議很簡(jiǎn)單：

先別想著訓(xùn)練一個(gè)全能模型先選一個(gè)清晰任務(wù)，比如：

• Python 算法題解

• 中文長文總結(jié)

• 企業(yè)內(nèi)部 FAQ

• 專業(yè)術(shù)語問答

• 固定格式報(bào)告生成

準(zhǔn)備一批高質(zhì)量樣本，按教程里的思路清洗成統(tǒng)一 conversations 格式，套上 qwen3-thinking 模板，跑一次 LoRA SFT

訓(xùn)練完成后，拿同一批測(cè)試題做對(duì)比：

base Qwen3.5 9B
vs
你的 LoRA / merged model

只要你能清楚看到“哪里變好了，哪里變差了”，這次微調(diào)就有價(jià)值

大模型時(shí)代，最好的學(xué)習(xí)方式依然很樸素：讀代碼，跑實(shí)驗(yàn)，看結(jié)果，改數(shù)據(jù)，再來一輪

這條路，真的可以從一個(gè) Kaggle notebook 開始

.5

制作不易，如果這篇文章覺得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注，給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看，若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見！