1. TFIDF介紹
1.1 基本概念
TF(Term Frequency)：代表詞頻，表示詞在某篇文章中出現的頻次，一般情況下詞頻越大，代表該詞在本篇文章中重要度比較高（此處是過濾掉停用詞stopword之后的詞）
IDF(Inverse Document Frequency)：逆文檔頻率，即在整個詞庫中，某個詞的權重。
如對于非常常見的詞（的，是），賦予最小的權重
對于較常見的詞（中國），賦予較小的權重
對于很少常見的詞，賦予較大的權重
其中，詞語由t表示，文檔由d表示，語料庫由D表示。詞頻TF(t,d)是詞語t在文檔d中出現的次數。文件頻率DF(t,D)是包含詞語的文檔的個數。
TF-IDF：TF值和IDF值的乘積，TF-IDF的值越大，代表這個詞對該篇文章的重要度越大，取排名前幾的詞可以作為該篇文章的關鍵詞。
1.2 計算公式
TF：計算較為簡單，首先對文檔進行分詞，去掉停用詞之后，統(tǒng)計每個詞出現的次數，由于多篇文章的長短不一致，所以需要對這個值進行標準化，如下：
TF = 某個詞在文章中出現的頻次/文章總詞數 或者
TF = 某個詞在文章中出現的頻次 / 擁有最高頻次的詞的頻次
IDF計算公式
其中|D|為語料庫中文檔數，公式中使用log函數，當詞出現在所有文檔中時，它的IDF值變?yōu)?。加1是為了避免分母為0的情況。
通過公式可以看出，IDF與詞的常見程度成反比。
1.3 應用
平時在工作中用到TFIDF一般是獲取文章關鍵詞，結合余弦向量相似度獲取兩篇文章相似度
2. Spark MLlib計算TFIDF
在Spark MLlib中 TFIDF分為TF (+hashing) 和 IDF。
2.1. TF
HashingTF 是一個Transformer，在文本處理中，接收詞條的集合然后把這些集合轉化成固定長度的特征向量。這個算法在哈希的同時會統(tǒng)計各個詞條的詞頻。
Spark.mllib 中實現詞頻率統(tǒng)計使用特征hash的方式，原始特征通過hash函數，映射到一個索引值。后面只需要統(tǒng)計這些索引值的頻率，就可以知道對應詞的頻率。這種方式避免設計一個全局1對1的詞到索引的映射，這個映射在映射大量語料庫時需要花費更長的時間。但需要注意，通過hash的方式可能會映射到同一個值的情況，即不同的原始特征通過Hash映射后是同一個值。為了降低這種情況出現的概率，我們只能對特征向量升維。i.e., 提高hash表的桶數，默認特征維度是 2^20 = 1,048,576.
如下圖所示為將對分詞的文檔集合進行hashingTF向量轉化，設置hash桶為2000，得出的hashingTF值為：
//文檔集合
val data:RDD[(Int, String)] = spark.parallelize(Seq(
(0, "I heard about Spark and I love Spark"),
(0, "I wish Java could use case classes"),
(1, "Logistic regression models are neat")))
//空格分詞
val doc_words: RDD[(Int, Array[String])] = data.map(doc => (doc._1, doc._2.toLowerCase().split(" ")))
//HashingTF->把句子Hash成特征向量,這里設置Hash表的桶數為2000
val hashTF = new HashingTF(numFeatures = 2000)
//將每個文檔轉成hash和詞頻向量
val tf_feature = doc_words.map(x=>(hashTF.transform(x._2.toSeq)))
tf_feature.map(x=>println(x))
//結果為：(2000,[240,333,1105,1329,1357,1777],[1.0,1.0,2.0,2.0,1.0,1.0])
// (2000,[213,342,489,495,1329,1809,1967],[1.0,1.0,1.0,1.0,1.0,1.0,1.0])
// (2000,[286,695,1138,1193,1604],[1.0,1.0,1.0,1.0,1.0])
可以看出，分詞序列被變換成一個稀疏特征向量，其中每個單詞都被散列成了一個不同的索引值，特征向量在某一維度上的值即該詞匯在文檔中出現的次數。
2.2. IDF
IDF：在一個數據集上應用它的fit() 方法，產生一個IDFModel。 該IDFModel 接收特征向量（由HashingTF產生）,產生一個IDFModel, IDFModel是一個Transformer，調用它的transform()方法，即可得到每一個單詞對應的TF-IDF度量值。。使用IDF來對單純的詞頻特征向量進行修正，使其更能體現不同詞匯對文本的區(qū)別能力。
val idf = new IDF()
val idf_model = idf.fit(tf_feature) //生成IDF Model
val tf_idf = idf_model.transform(tf_feature)
tf_idf.collect().map(println)
//結果為：
//(2000,[240,333,1105,1329,1357,1777],[0.6931471805599453,0.6931471805599453,1.3862943611198906,0.5753641449035617,0.6931471805599453,0.6931471805599453])
//(2000,[213,342,489,495,1329,1809,1967],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.28768207245178085,0.6931471805599453,0.6931471805599453])
//(2000,[286,695,1138,1193,1604],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453])
3. TFIDF優(yōu)缺點
優(yōu)點：簡單快速，結果符合實際情況
缺點：單純以詞頻衡量詞的重要性，不夠全面，有時重要的詞出現的次數不多，而且對詞的出現位置沒有設置，出現位置靠前的詞和出現位置靠后的詞的重要性一樣，可以對全文的第一段或者每一段的第一句給予較大的權重。
參考：
http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
http://dblab.xmu.edu.cn/blog/1473-2/
