任務(wù)
**建立模型通過(guò)長(zhǎng)文本數(shù)據(jù)正文(article)，預(yù)測(cè)文本對(duì)應(yīng)的類別(class) **
數(shù)據(jù)
注 : 報(bào)名參賽或加入隊(duì)伍后，可獲取數(shù)據(jù)下載權(quán)限。
數(shù)據(jù)包含 2 個(gè) csv 文件：
train_set.csv：此數(shù)據(jù)集用于訓(xùn)練模型，每一行對(duì)應(yīng)一篇文章。
文章分別在“字”和“詞”的級(jí)別上做了脫敏處理。
共有四列：
- 第一列是文章的索引(id)，
- 第二列是文章正文在“字”級(jí)別上的表示，即字符相隔正文(article)；
- 第三列是在“詞”級(jí)別上的表示，即詞語(yǔ)相隔正文(word_seg)；
- 第四列是這篇文章的標(biāo)注(class)。
注：每一個(gè)數(shù)字對(duì)應(yīng)一個(gè)“字”，或“詞”，或“標(biāo)點(diǎn)符號(hào)”?！白帧钡木幪?hào)與“詞”的編號(hào)是獨(dú)立的！
test_set.csv：此數(shù)據(jù)用于測(cè)試。
數(shù)據(jù)格式同 train_set.csv，但不包含 class。
注：test_set與train_test中文章id的編號(hào)是獨(dú)立的。 友情提示：請(qǐng)不要嘗試用excel打開(kāi)這些文件！由于一篇文章太長(zhǎng)，excel可能無(wú)法完整地讀入某一行！
評(píng)分標(biāo)準(zhǔn)
評(píng)分算法
binary-classification
采用各個(gè)品類F1指標(biāo)的算術(shù)平均值，它是 Precision 和 Recall 的調(diào)和平均數(shù)。
其中，Pi 是表示第 i 個(gè)種類對(duì)應(yīng)的 Precision， Ri 是表示第 i 個(gè)種類對(duì)應(yīng) Recall。 AB 榜的劃分方式和比例：
【1】評(píng)分采用AB榜形式，提交文件必須包含測(cè)試集中所有用戶的預(yù)測(cè)值。排行榜顯示A榜成績(jī)，競(jìng)賽結(jié)束后2小時(shí)切換成B榜單。B榜成績(jī)以選定的兩次提交或者默認(rèn)的最后兩次提交的最高分為準(zhǔn)，最終比賽成績(jī)以B榜單為準(zhǔn)。
【2】此題目的AB榜是隨機(jī)劃分，A榜數(shù)據(jù)占50%，B榜使用全量測(cè)試集，即占100%。
挑戰(zhàn)賽任務(wù)背景
文本分類
- 這個(gè)比賽的任務(wù)就是文本分類，是自然語(yǔ)言處理 (NLP) 領(lǐng)域里一項(xiàng) 最最基本的任務(wù)。
- 但這個(gè)任務(wù)的難點(diǎn)就是在于，文本的長(zhǎng)度非常長(zhǎng)， 大約3000個(gè)詞，一般任務(wù)也就300詞。
- 而文本的長(zhǎng)度過(guò)長(zhǎng)對(duì)文本的 智能解析帶來(lái)了很多挑戰(zhàn)。
概念
- 字
- 詞
- 中文分詞
用傳統(tǒng)的監(jiān)督學(xué)習(xí)模型對(duì)一段文 本進(jìn)行分類的基本過(guò)程
這里提前假設(shè):
已經(jīng)有了一個(gè)學(xué)習(xí)的機(jī)器學(xué)習(xí)模型 f，供你使用
注:函數(shù)輸出的類別是我們事先人為約定好，比如我讓數(shù)字4代表政治類， 數(shù)字3代表科技類，...
比賽數(shù)據(jù)
訓(xùn)練數(shù)據(jù)集
測(cè)試數(shù)據(jù)集
求解問(wèn)題的本質(zhì)
求一個(gè)數(shù)學(xué)函數(shù)(又可稱為機(jī)器學(xué)習(xí)模型):
使模型預(yù)測(cè)能力更強(qiáng)
哪些機(jī)器學(xué)習(xí)算法
- 傳統(tǒng)的監(jiān)督學(xué)習(xí)算法(西瓜書(shū)各章節(jié)都有對(duì)應(yīng))
- 比如，對(duì)數(shù)幾率回歸/支持向量機(jī)/樸素貝葉斯/決策樹(shù)/集成學(xué)習(xí) 等
- 深度學(xué)習(xí)
- 比如 cnn/rnn/attention 等模型
源碼解析
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Thu Jun 20 21:17:51 2019
@author: iosdevlog
"""
""" 導(dǎo)入所需要的軟件包 """
import pandas as pd
from sklearn.linear_model import LogisticRegression #導(dǎo)入線性回歸庫(kù)
from sklearn.feature_extraction.text import CountVectorizer #導(dǎo)入特征提取庫(kù)
print("開(kāi)始")
"""
@ 代碼功能簡(jiǎn)介： 從硬盤上讀取已下載好的數(shù)據(jù)，并進(jìn)行簡(jiǎn)單處理
@ 知識(shí)點(diǎn)定位：數(shù)據(jù)預(yù)處理
"""
#讀取文件，并且刪除無(wú)關(guān)東西
df_train = pd.read_csv("./train_set.csv")
df_test = pd.read_csv("./test_set.csv")
df_train.drop(columns =["article", "id"], inplace = True ) # 為什么要?jiǎng)h除這兩個(gè)列? id 列無(wú)意義，不需要用 article，可直接刪除
df_test.drop(columns =["article"], inplace = True )
"""
@ 代碼功能簡(jiǎn)介：將數(shù)據(jù)集中的字符文本轉(zhuǎn)換成數(shù)字向量，以便計(jì)算機(jī)能夠進(jìn)行處理
（一段數(shù)字 ---> 一個(gè)向量）
@ 知識(shí)點(diǎn)定位：特征工程
"""
# 獲取特征向量
vectorizer = CountVectorizer(ngram_range = (1,2), min_df = 3, max_df = 0.9, max_features = 100000) # 特征提取
vectorizer.fit(df_train["word_seg"]) # 為什么要訓(xùn)練這一列內(nèi)容? 要先學(xué)習(xí)整個(gè)數(shù)據(jù)集的詞的 DF（文檔詞頻）
x_train = vectorizer.transform(df_train["word_seg"]) #特征轉(zhuǎn)為特征向量
x_test = vectorizer.transform(df_test["word_seg"])
y_train = df_train["class"] - 1 # 這里為啥要給所有的類別都減去 1? 減 1 是代碼習(xí)慣問(wèn)題，讓 class 從 0 計(jì)數(shù)
"""
@ 代碼功能簡(jiǎn)介：訓(xùn)練一個(gè)分類器
@ 知識(shí)點(diǎn)定位：傳統(tǒng)堅(jiān)督學(xué)習(xí) 之 線性邏輯回歸模型
"""
lg = LogisticRegression(C = 4, dual = True) # 邏輯回歸初始化
lg.fit(x_train, y_train) # 進(jìn)行訓(xùn)練，模型保存在 lg 里面
"""
根據(jù)上面訓(xùn)練好的分類器對(duì)測(cè)試集的每個(gè)樣本進(jìn)行預(yù)測(cè)
"""
y_test = lg.predict(x_test) # 用模型進(jìn)行測(cè)試
"""
將測(cè)試集的預(yù)測(cè)結(jié)果保存至本地
"""
# 根據(jù)上面訓(xùn)練好的分類器對(duì)測(cè)試集的每個(gè)樣本進(jìn)行預(yù)測(cè)
df_test["class"] = y_test.tolist() # 測(cè)試結(jié)果轉(zhuǎn)為列表，并且放入測(cè)試文檔的類別里面。問(wèn)題5：測(cè)試文檔沒(méi)有類別這個(gè)列。這行代碼會(huì)自動(dòng)給測(cè)試文檔添加一個(gè)類別列。
df_test["class"] = df_test["class"] + 1 # 為什么又要給所有類別分別加 1
df_result = df_test.loc[:, ["id", "class"]] # 從測(cè)試集里面拿到 ["id", "class"] 列的內(nèi)容
df_result.to_csv("./result.csv", index = False) #測(cè)試結(jié)果轉(zhuǎn)為提交的CSV格式
print("結(jié)束")
如何提高模型性能
- 數(shù)據(jù)預(yù)處理
- 特征工程
- 機(jī)器學(xué)習(xí)算法
- 模型集成
參考：
“達(dá)觀杯”文本智能處理挑戰(zhàn)賽_賽體與數(shù)據(jù)
Kaggle: Starter:“達(dá)觀杯”文本分類挑戰(zhàn)賽新手入門代碼
深度之眼
