1.Motivation
? ? social emotion detection ,主要集中于預測讀者的emotion,針對這個任務,有很多基于圖模型的,將emotion看作是隱藏的變量。
? ? 1.并且一般都使用Bag-of-words的假設:忽略了詞的順序、文檔中的每個詞的sentiment/emotion分配不依賴于之前的單詞的sentiment/emotion分配。這樣簡單的假設忽略了文檔中的結構性信息,然而這些信息對于social emotion detection 是非常重要的。2.只是在一個level上檢測emotion
2.related work
? ? 社交情感檢測主要有兩種方法:
1.discriminative model based
? ? 把任務變成了情感分類問題
2.topic model based
????將sentiment或者social emotions當作是隱含的變量,在topic model中加入了一個sentiment/emotion層。
3.topic models for sentiment analysis
Hidden topic Markov model(HTMM)對單詞的topic進行建模,將文檔中單詞的topic作為馬爾可夫鏈,topic transition 只能發生在句子之間,Hidden topic sentiment model (HTSM)擴展了HTMM,將句子的aspect和情緒標簽的組合作為馬爾可夫鏈。它假定一個句子中的單詞具有相同的aspect標簽和情緒標簽,并限制transition,假定只有一個情緒極性可以與文檔中的特定aspect相關聯。
本文的模型是受到HTSM 的啟發,但是和HSTM 有幾點不同:
①HSTM只考慮了兩種情感極性,簡單地將emotion transition當作一個switch變量,但是TET對多種情感transition建模,考慮了情感依賴。
②HTSM使用預定義的aspect,并對帶有aspect標簽的文檔進行訓練,而我們的數據中沒有此類信息;
③與HTSM的假設不同的是,HTSM假設文檔中的一個主題只能與一個極性相關聯,在TET中,不同的情緒可以與文檔中的同一個主題相關聯,因為同一個主題可以引起不同讀者的不同情緒。
3.This paper
?本文中,為了充分利用document中隱含的結構性信息, 提出了topic-emotion transition model(TET),通過將連續的句子中的topic和emotion建模為馬爾科夫鏈,
? ? 本文中的假設:1.相同句子中的單詞共享相同的emotion和topic 2.在相鄰的句子之間可能有topic和emotion的轉移。
? ? 本文同時檢測document和sentence level的emotion;本文學習情感transition,并在連續的句子中同時對emotion和topic transition建模
4.Method
????首先hidden TET模型將每個句子作為基本的結構單元,然后相同句子中的所有單詞共享相同的topic和emotion標簽,TET通過一個馬爾科夫模型,在連續的句子中同時對emotion和topic transition建(為了避免BOW假設)
(1)hidden TET model
一些公式定義:
document 集合,D = {d1,d2,...d|D|}
sentence 集合, S = {s1,s2,...,smd}
{1,2,...,V} : word的V個不同的索引
{1,2,...,E} : emotion label 的索引,一共有E個不同的label
{1,2,...,T} : topic label的索引,一共有T個不同的label
對于給定的文檔d,假設(文檔特定的主題-情感比例)document-specific topic-emotion proportion?θd是從一個共享的狄利克雷分布中提取的i.e., θd~Dir(α)
在d中的md句子中,每一個句子都有Nsi單詞,并與一個情感標簽ei和一個主題標簽ti相關聯,這個標簽是從一個特定于文檔的馬爾可夫鏈中提取出來的。
接下來,首先描述了 在呈現整體的生成步驟之前,怎樣對emotion和topic transition建模
(2)topic transition
使用ψi作為switch 變量來 si-1和si之間是否有一個topic的轉換
本文使用的是一些相鄰句子之間的語言特征來guide主題轉換
ψi =
?e是特征的權重,ft()是topic轉移特征函數,si,si-1,si+1是輸入,輸出一個可以描述topic 轉移的特征向量,
特征包括:
①si和si-1之間的cosine相似度
②si和si-1的長度之比
③si在d中的相對位置
④si和si-1與si和si+1的cosine相似度的差異性
(3)emotion transition
?τi,句子si的情感轉移矩陣(E*E),為了初始化?τ,假設有一個情感詞典,情感詞典由一組詞和它們各自的情感分布組成(情感分布:每個單詞都與多個不同強度的情感標簽聯系在一起。)使用ES(w,e)來表示與emotion e有關的單詞w的情感得分。假設一些emotion可能和其他的emotion有關聯性,這種關聯信息可以用來指導emotion transition的生成。
使用皮爾森系數,被用來作為測量兩種emotion ej和ek之間的相互關系的概率。,λej,ek,[-1,1],0 的時候是無關,1是正相關,-1是負相關。使用(λej,ek+1)/2,使皮爾森系數的變化范圍為[0,1]。
皮爾森系數作為權重,對句子si-1中的ej和句子si中的ek的情感得分的歸一化并相加。
(4)Generative Process
? ψi(控制si和si-1的topic transition)、τi(si的emotion轉移矩陣)、ej(si-1的emotion)、ek(si的emotion)的組合確定了topic-emotion transition:
①ψi = 0 ,j=k,si的topic和emotion label都沒有變化
②ψi = 1 ,j=k,ei = ei-1,ti 不等于 ti-1
③ψi = 1 ,j不等于k,new emotion and new topic?
(5)parameter estimation
使用EM算法來評估TET模型的參數,由于TET可以看做是一個特殊的隱馬爾科夫模型,所以可以在每次迭代的E-step中應用自定義的前向后向算法和Viterbi算法來積累足夠的統計數據,然后在Mstep中更新參數
TET 中的隱變量是emotion label e和topic label t, emotion transition indicator τ和topic transition indicator?ψ,
將句子si的(ei; ti; ψi; τi)作為document d 的馬爾科夫鏈的隱狀態,
transition function?p(ei | tijτi;ei-1;ei; i; ei-1; ti-1; θ; si-1; si; ?; λ; γ)
????需要迭代更新的參數是θ,ψ,小e;超參數是α,β需要人工設定,λ包含情感關聯是預先計算好的。
CDd,e,t是d中和e、t有關系的word 的總數;CDw,e,t表示單詞w與 ?情感標簽e和主題標簽t ?關聯的次數。
????在E步中,執行了前向反算法和維特比算法,并積累了足夠的統計量。
在M步中,參數θ,ψ,小e被更新,小e是通過優化交叉熵loss函數來更新的
(5)Emotion Lexicon Generation from Training Data
? ? 在TET中,情感詞典的先驗知識被用來計算ES和初始化ψ。
? ? 本文使用兩種方法來構建情感詞典,
①使用現有的情感詞典DUTIR來生成,叫作CEV。雖然有很多高質量的英文情感詞典,但是中文的情感詞典是很少的,CEV包含7個一級情感類別和21個二級情感類別,但是不能直接拿來用在這個任務中,因為情感分類沒有一一對應上,所以進行了人工匹配。對于CEV中的item,我們將其對應情感類別的情感得分分配到0:9,并將剩下的0.1平均分配給所有其他情感類別,詞典叫作lex_cev。
②第二種方法是,從訓練數據中生成,Mte = Mtd * Mde,
(term-by-emotion matrix = term-by-document matrix *?document-by-emotion matrix)
具體來說,
對于term-by-emotion matrix?,我們通過在訓練集中使用每個文檔的讀者情感投票來獲得它的cell value, ? ? ? ? 對于term-by-document matrix,使用不同的加權策略來設置每個cell的value,包括原始頻率、歸一化頻率和TF-IDF,并將每一行規范化,以確保所有的值總和為1。
5.Experiments
實驗數據集:news dataset 2016、
baseline 被分成兩類,判別模型和topic模型
判別模型有 三個子模型:word-level models,neural network based model和KNN-like model
word-level model:emotion-term model (ET)和supervised Unigram model(SWAT)
neural network based model :CNN, CNN-SVM(使用CNN構造特征,使用SVM來分類)
KNN-like model是社交意見挖掘模型(SOMN)
topic-model based :joint sentiment/topic model(JST)、 aspect and sentiment unification model (ASUM)、emotion-topic ?model (ETM), contextual sentiment topic model(CSTM)、multilabel supervised topic model、sentiment latent topic model(MSTM), affective topic model(ATM)
α設置為0.01,β設置為0.001,γ設置為0.001,
評估度量:Acc@1 :排名第一的預測結果的準確性
and AP:為所有document的平均Pearson相關系數。
6.Results
1.word- level model假設單詞之間相互獨立的,忽略上下文.
基于神經網絡的方法比word-level model的效果更好,但是比生成模型的效果差。
SOMN使用了embedding來構造document的網絡,在一定程度上考慮了詞匯之間的語義關聯。比生成模型的結果要稍微好一些。但是它并沒有直接對主題/情感transition進行建模。
2.topic model with latent topics encoding document-level global context 獲得更好的結果,但是他們都沒有考慮相鄰句子之間的聯系,只有ASUM考慮了句子的結構。
3.TET model 對topic/emotion transition進行encode放入生成模型中,所以能夠實現最好的效果。
1.extracted topics
除了social emotion classification,TET還能提取topics,為了評估模型所捕獲的主題和情緒的有效性,使用公式6 提取的主題和情感組合的 前10個詞 如圖6所示。可以看出,大多數話題都與社會新聞中的一些事件相對應。
2.Sentence-level Emotion Classification
ND16是以讀者視角來標注的新聞文章,RenCECps 是帶有作者觀點的博客。
JST的sentence-level 分類結果:通過累加句子中單詞的emotion獲得,因為JST不直接將情感標簽分配給句子。
ASUM的結果是最差的,因為ASUM 是對每個句子添加情感標簽,但是JST使對每個單詞 添加情感標簽,而TET則考慮后驗概率。
RenCECps的結果要比ND16的結果差,因為RenCECps用語句級的稀疏情緒評分和句子層次的情感分類進行標注,比文檔級的情感分類更加困難。
7.conclusion
1.文本提出了隱topic-emotion transition模型,該模型通過對連續句子的情緒和主題的transition建模,將其作為馬爾可夫鏈。在TET中,我們使用句子的語言特征來指導主題的transition。從情感詞匯中計算出的情感關聯,利用數據自動構建詞典來指導情感transition。在參數估計中采用了自定義的前向后向算法。實驗表明,我們的模型在文檔級和句子級情感檢測方面都優于最先進的方法。