介紹
在 SwiftUI-MLX本地大模型開發、SwiftUI-MLX本地大模型開發(二)與 SwiftUI-MLX本地大模型開發(三)中,我們解決了基本使用、定制模型、使用本地模型、更改模型存儲路徑、轉換模型、iPad運行等問題,但使用的都是別人訓練好的模型。本文將介紹,如何基于一個通用 LLM 進行微調,使該模型成為個人的“專屬”模型。
環境
pip install mlx
pip install mlx-lm
pip install transformers
數據
- 新建文件
train.jsonl
、valid.jsonl
與test.jsonl
,分別用于訓練、驗證與測試。 - 根據模型說明文件,準備數據,格式如下。本文以
ticoAg/Chinese-medical-dialogue
進行微調。
{"text": "你是誰?\n我是你的私人智能小助手,我叫羊羊。"}
{"text": "地球有多大?\n地球的半徑大約是6371公里。"}
...
微調
- 微調時可以指定
--model
、--data
、--adapter-path
等參數。 - 成功之后,會在
adapters
目錄下生成多個.safetensors
文件。
mlx_lm.lora \
--train \
--model /Users/yangfan/Documents/huggingface/models/mlx-community/Llama-3.2-1B-Instruct-4bit \
--adapter-path /Users/yangfan/Desktop/adapters \
--data /Users/yangfan/Desktop/Data \
--batch-size 1 \
合并
mlx_lm.fuse \
--model /Users/yangfan/Documents/huggingface/models/mlx-community/Llama-3.2-1B-Instruct-4bit \
--adapter-path /Users/yangfan/Desktop/adapters \
--save-path /Users/yangfan/Desktop/Llama-3.2-1B-Instruct-4bit-fused # 新模型目錄
代碼
import MLXLLM
import MLXLMCommon
import SwiftUI
// MARK: - 注冊自定義模型
extension MLXLLM.ModelRegistry {
public static let localModel = ModelConfiguration(
directory: URL(fileURLWithPath: "/Users/yangfan/Desktop/Llama-3.2-1B-Instruct-4bit-fused"),
overrideTokenizer: "PreTrainedTokenizer",
defaultPrompt: ""
)
}
struct ContentView: View {
// 提示詞
@State private var prompt: String = "小孩扁桃體炎總哭飲食注意點是什么?"
// 輸出結果
@State private var response: String = ""
@State private var isLoading: Bool = false
var body: some View {
VStack(spacing: 16) {
// 頂部輸入區域
HStack {
TextField("輸入提示詞...", text: $prompt)
.textFieldStyle(.roundedBorder)
.font(.system(size: 16))
Button {
response = ""
Task {
do {
try await generate()
} catch {
debugPrint(error)
}
}
} label: {
Text("生成")
.foregroundStyle(.white)
.padding(.horizontal, 16)
.padding(.vertical, 8)
.background(prompt.isEmpty ? Color.gray : Color.blue)
.cornerRadius(8)
}
.buttonStyle(.borderless)
.disabled(prompt.isEmpty || isLoading)
}
.padding(.horizontal)
.padding(.top)
// 分隔線
Rectangle()
.fill(Color.gray.opacity(0.2))
.frame(height: 1)
// 響應展示區域
if response != "" {
ResponseBubble(text: response)
}
Spacer()
}
if isLoading {
ProgressView()
.progressViewStyle(.circular)
.padding()
}
}
}
extension ContentView {
// MARK: 文本生成
func generate() async throws {
isLoading = true
// 加載模型
let modelConfiguration = ModelRegistry.localModel
let modelContainer = try await LLMModelFactory.shared.loadContainer(configuration: modelConfiguration) { progress in
print("正在下載 \(modelConfiguration.name),當前進度 \(Int(progress.fractionCompleted * 100))%")
}
// 生成結果
let _ = try await modelContainer.perform { [prompt] context in
let input = try await context.processor.prepare(input: .init(prompt: prompt))
let result = try MLXLMCommon.generate(input: input, parameters: .init(), context: context) { tokens in
let text = context.tokenizer.decode(tokens: tokens)
Task { @MainActor in
self.response = text
self.isLoading = false
}
return .more
}
return result
}
}
}
struct ResponseBubble: View {
let text: String
var body: some View {
ScrollView {
VStack(alignment: .leading, spacing: 8) {
Text("AI")
.font(.system(size: 16))
.foregroundColor(.gray)
Text(text)
.font(.system(size: 16))
.lineSpacing(4)
.padding()
.background(Color.blue.opacity(0.1))
.cornerRadius(12)
}
}
.padding(.horizontal)
}
}
效果
-
原始模型效果。
原始模型效果.gif -
微調模型效果。
微調模型.gif