上半部分介紹了如何從BERT模型提取嵌入，下半部分介紹如何針對下游任務進行微調，分為四個任務。
下游任務：
微調方式：
- 分類器層與BERT模型一起更新權重（通常情況且效果更好）
- 僅更新分類器層的權重而不更新BERT模型的權重。BERT模型僅作為特征提取器
1 情感分類任務
1.1 任務說明
對句子進行情感分析，判斷一個句子是積極情緒還是消極情緒。
1.1 代碼
1.1.1 requirements
- 注意！裝完transformers、nlp、evaluate后需要指定multiprocess和dill的版本，否則可能會沖突。
transformers==4.27.4
nlp==0.4.0
evaluate==0.4.0
multiprocess==0.70.12
dill==0.3.4
torch
1.1.2 加載數據集
- 查看所有數據集：https://huggingface.co/datasets
- 加載數據集：
load_dataset - 數據集切片：
load_dataset中split用法：https://huggingface.co/docs/datasets/v0.4.0/splits.html
from nlp import load_dataset
dataset = load_dataset('imdb', split=['train[:10%]', 'test[:100]'])
print('dataset: {}'.format(dataset))
train_set = dataset[0]
test_set = dataset[1]
print('train_set[0]: {}'.format(train_set[0]))
print('test_set[0]: {}'.format(test_set[0]))
print('train_set: {}'.format(train_set))
print('test_set: {}'.format(test_set))
1.1.3 創建模型
- 創建模型：
AutoModelForSequenceClassification.from_pretrained() - AutoModelForSequenceClassification會依據數據集和標簽自動選擇合適的序列分類任務的模型
- 模型實際上使用的是BertForSequenceClassification，在BERT模型的基礎上添加了線性層的分類器
from transformers import AutoModelForSequenceClassification
id2label = {0: "NEGATIVE", 1: "POSITIVE"}
label2id = {"NEGATIVE": 0, "POSITIVE": 1}
model = AutoModelForSequenceClassification.from_pretrained(
'bert-base-uncased', num_labels=2, id2label=id2label, label2id=label2id
)
1.1.4 創建詞元分析器并處理數據集
- 創建預訓練好的詞元分析器：
AutoTokenizer.from_pretrained() - 對數據集批量進行詞元分析：首先定義處理函數
preprocess_function，其次使用map函數作用于數據集，其中batched=True表示批量處理 -
truncation=True表示對超出模型限定標記長度之外的文本進行裁剪
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
def preprocess_function(examples):
return tokenizer(examples['text'], truncation=True)
train_set = train_set.map(preprocess_function, batched=True)
test_set = test_set.map(preprocess_function, batched=True)
1.1.5 使用DataCollatorWithPadding補齊句子
-
DataCollatorWithPadding：把一批樣本補齊到這批樣本最長句子的長度而非整個數據集的最大長度從而加快補齊速度
from transformers import DataCollatorWithPadding
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)
1.1.6 定義評估標準
- 情感分類任務使用acc進行評估：
evaluate.load('accuracy')
import evaluate
accuracy = evaluate.load('accuracy')
def compute_metrics(eval_pred):
predictions, labels = eval_pred
predictions = np.argmax(predictions, axis=1)
return accuracy.compute(predictions=predictions, references=labels)
1.1.7 定義訓練參數
from transformers import TrainingArguments
training_args = TrainingArguments(
output_dir='./results', # 模型結果輸出目錄
logging_dir='./logs', # 日志輸出目錄
optim='adamw_torch', # 優化器
learning_rate=2e-5, # 學習率
per_device_train_batch_size=8, # 訓練時batch_size
per_device_eval_batch_size=8, # 驗證時batch_size
num_train_epochs=10, # 訓練輪數
weight_decay=0.01,
warmup_steps=500,
evaluation_strategy='epoch', # 每輪訓練完成時評估模型
save_strategy='epoch', # 每輪訓練完成時保存模型
load_best_model_at_end=True,
metric_for_best_model='accuracy',
)
1.1.8 定義訓練器
from transformers import Trainer
trainer = Trainer(
model=model, # 模型
args=training_args, # 訓練參數
train_dataset=train_set, # 訓練集
eval_dataset=test_set, # 驗證集
tokenizer=tokenizer, # 詞元分析器
data_collator=data_collator, # 數據整理器
compute_metrics=compute_metrics # 評估標準
)
1.1.9 訓練
trainer.train()
trainer.evaluate()
# {'eval_loss': 1.4403954992303625e-05, 'eval_accuracy': 1.0, 'eval_runtime': 1.3039, 'eval_samples_per_second': 76.692, 'eval_steps_per_second': 9.97, 'epoch': 10.0}
1.1.10 預測
from transformers import pipeline
text = 'This was a masterpiece. Not completely faithful to the books, but enthralling from beginning to end. Might be my favorite of the three.'
classifier = pipeline('sentiment-analysis', model='./results/model_path', tokenizer='bert-base-uncased')
result = classifier(text)
print(result)
# [{'label': 'POSITIVE', 'score': 0.9999701976776123}]
參考資料
[1]. BERT基礎教程Transformer大模型實戰
[2]. huggingface官網文本分類任務指南：https://huggingface.co/docs/transformers/tasks/sequence_classification
[3]. pipline文檔: https://huggingface.co/docs/transformers/main_classes/pipelines
