1.Motivation
? ? social emotion detection ，主要集中于預測讀者的emotion，針對這個任務，有很多基于圖模型的，將emotion看作是隱藏的變量。
? ? 1.并且一般都使用Bag-of-words的假設：忽略了詞的順序、文檔中的每個詞的sentiment/emotion分配不依賴于之前的單詞的sentiment/emotion分配。這樣簡單的假設忽略了文檔中的結構性信息，然而這些信息對于social emotion detection 是非常重要的。2.只是在一個level上檢測emotion
2.related work
? ? 社交情感檢測主要有兩種方法：
1.discriminative model based
? ? 把任務變成了情感分類問題
2.topic model based
????將sentiment或者social emotions當作是隱含的變量，在topic model中加入了一個sentiment/emotion層。
3.topic models for sentiment analysis
Hidden topic Markov model（HTMM）對單詞的topic進行建模，將文檔中單詞的topic作為馬爾可夫鏈，topic transition 只能發生在句子之間，Hidden topic sentiment model (HTSM)擴展了HTMM，將句子的aspect和情緒標簽的組合作為馬爾可夫鏈。它假定一個句子中的單詞具有相同的aspect標簽和情緒標簽，并限制transition，假定只有一個情緒極性可以與文檔中的特定aspect相關聯。
本文的模型是受到HTSM 的啟發，但是和HSTM 有幾點不同：
①HSTM只考慮了兩種情感極性，簡單地將emotion transition當作一個switch變量，但是TET對多種情感transition建模，考慮了情感依賴。
②HTSM使用預定義的aspect，并對帶有aspect標簽的文檔進行訓練，而我們的數據中沒有此類信息;
③與HTSM的假設不同的是，HTSM假設文檔中的一個主題只能與一個極性相關聯，在TET中，不同的情緒可以與文檔中的同一個主題相關聯，因為同一個主題可以引起不同讀者的不同情緒。
3.This paper
?本文中，為了充分利用document中隱含的結構性信息， 提出了topic-emotion transition model（TET），通過將連續的句子中的topic和emotion建模為馬爾科夫鏈，
? ? 本文中的假設：1.相同句子中的單詞共享相同的emotion和topic 2.在相鄰的句子之間可能有topic和emotion的轉移。
? ? 本文同時檢測document和sentence level的emotion；本文學習情感transition，并在連續的句子中同時對emotion和topic transition建模
4.Method
????首先hidden TET模型將每個句子作為基本的結構單元，然后相同句子中的所有單詞共享相同的topic和emotion標簽，TET通過一個馬爾科夫模型，在連續的句子中同時對emotion和topic transition建（為了避免BOW假設）
（1）hidden TET model
一些公式定義：
document 集合，D = {d1,d2,...d|D|}
sentence 集合， S = {s1,s2,...,smd}
{1,2,...,V} : word的V個不同的索引
{1,2,...,E} : emotion label 的索引，一共有E個不同的label
{1,2,...,T} : topic label的索引，一共有T個不同的label
對于給定的文檔d，假設（文檔特定的主題-情感比例）document-specific topic-emotion proportion?θd是從一個共享的狄利克雷分布中提取的i.e., θd～Dir(α)
在d中的md句子中，每一個句子都有Nsi單詞，并與一個情感標簽ei和一個主題標簽ti相關聯，這個標簽是從一個特定于文檔的馬爾可夫鏈中提取出來的。
接下來，首先描述了 在呈現整體的生成步驟之前，怎樣對emotion和topic transition建模
（2）topic transition
使用ψi作為switch 變量來 si-1和si之間是否有一個topic的轉換
本文使用的是一些相鄰句子之間的語言特征來guide主題轉換
ψi =
?e是特征的權重，ft()是topic轉移特征函數，si，si-1，si+1是輸入，輸出一個可以描述topic 轉移的特征向量，
特征包括：
①si和si-1之間的cosine相似度
②si和si-1的長度之比
③si在d中的相對位置
④si和si-1與si和si+1的cosine相似度的差異性
（3）emotion transition
?τi，句子si的情感轉移矩陣（E*E），為了初始化?τ，假設有一個情感詞典，情感詞典由一組詞和它們各自的情感分布組成（情感分布：每個單詞都與多個不同強度的情感標簽聯系在一起。）使用ES(w,e)來表示與emotion e有關的單詞w的情感得分。假設一些emotion可能和其他的emotion有關聯性，這種關聯信息可以用來指導emotion transition的生成。
使用皮爾森系數，被用來作為測量兩種emotion ej和ek之間的相互關系的概率。，λej,ek，[-1,1]，0 的時候是無關，1是正相關，-1是負相關。使用（λej,ek+1）/2，使皮爾森系數的變化范圍為[0,1]。
皮爾森系數作為權重，對句子si-1中的ej和句子si中的ek的情感得分的歸一化并相加。
（4）Generative Process
? ψi（控制si和si-1的topic transition）、τi（si的emotion轉移矩陣）、ej（si-1的emotion）、ek（si的emotion）的組合確定了topic-emotion transition：
①ψi = 0 ，j=k，si的topic和emotion label都沒有變化
②ψi = 1 ，j=k，ei = ei-1，ti 不等于 ti-1
③ψi = 1 ，j不等于k，new emotion and new topic?
（5）parameter estimation
使用EM算法來評估TET模型的參數，由于TET可以看做是一個特殊的隱馬爾科夫模型，所以可以在每次迭代的E-step中應用自定義的前向后向算法和Viterbi算法來積累足夠的統計數據，然后在Mstep中更新參數
TET 中的隱變量是emotion label e和topic label t， emotion transition indicator τ和topic transition indicator?ψ，
將句子si的(ei; ti; ψi; τi)作為document d 的馬爾科夫鏈的隱狀態，
transition function?p(ei | tijτi;ei-1;ei; i; ei-1; ti-1; θ; si-1; si; ?; λ; γ)
????需要迭代更新的參數是θ，ψ，小e；超參數是α，β需要人工設定，λ包含情感關聯是預先計算好的。
CDd,e,t是d中和e、t有關系的word 的總數；CDw,e,t表示單詞w與 ?情感標簽e和主題標簽t ?關聯的次數。
????在E步中，執行了前向反算法和維特比算法，并積累了足夠的統計量。
在M步中，參數θ，ψ，小e被更新，小e是通過優化交叉熵loss函數來更新的
（5）Emotion Lexicon Generation from Training Data
? ? 在TET中，情感詞典的先驗知識被用來計算ES和初始化ψ。
? ? 本文使用兩種方法來構建情感詞典，
①使用現有的情感詞典DUTIR來生成，叫作CEV。雖然有很多高質量的英文情感詞典，但是中文的情感詞典是很少的，CEV包含7個一級情感類別和21個二級情感類別，但是不能直接拿來用在這個任務中，因為情感分類沒有一一對應上，所以進行了人工匹配。對于CEV中的item，我們將其對應情感類別的情感得分分配到0:9，并將剩下的0.1平均分配給所有其他情感類別，詞典叫作lex_cev。
②第二種方法是，從訓練數據中生成，Mte = Mtd * Mde，
（term-by-emotion matrix = term-by-document matrix *?document-by-emotion matrix）
具體來說，
對于term-by-emotion matrix?，我們通過在訓練集中使用每個文檔的讀者情感投票來獲得它的cell value， ? ? ? ? 對于term-by-document matrix，使用不同的加權策略來設置每個cell的value，包括原始頻率、歸一化頻率和TF-IDF，并將每一行規范化，以確保所有的值總和為1。
5.Experiments
實驗數據集：news dataset 2016、
baseline 被分成兩類，判別模型和topic模型
判別模型有 三個子模型：word-level models，neural network based model和KNN-like model
word-level model：emotion-term model （ET）和supervised Unigram model（SWAT）
neural network based model ：CNN， CNN-SVM(使用CNN構造特征，使用SVM來分類)
KNN-like model是社交意見挖掘模型（SOMN）
topic-model based ：joint sentiment/topic model（JST）、 aspect and sentiment unification model (ASUM)、emotion-topic ?model (ETM), contextual sentiment topic model(CSTM)、multilabel supervised topic model、sentiment latent topic model（MSTM）， affective topic model(ATM)
α設置為0.01，β設置為0.001，γ設置為0.001，
評估度量：Acc@1 ：排名第一的預測結果的準確性
and AP：為所有document的平均Pearson相關系數。
6.Results
1.word- level model假設單詞之間相互獨立的，忽略上下文.
基于神經網絡的方法比word-level model的效果更好，但是比生成模型的效果差。
SOMN使用了embedding來構造document的網絡，在一定程度上考慮了詞匯之間的語義關聯。比生成模型的結果要稍微好一些。但是它并沒有直接對主題/情感transition進行建模。
2.topic model with latent topics encoding document-level global context 獲得更好的結果，但是他們都沒有考慮相鄰句子之間的聯系，只有ASUM考慮了句子的結構。
3.TET model 對topic/emotion transition進行encode放入生成模型中，所以能夠實現最好的效果。
1.extracted topics
除了social emotion classification，TET還能提取topics，為了評估模型所捕獲的主題和情緒的有效性，使用公式6 提取的主題和情感組合的 前10個詞 如圖6所示。可以看出，大多數話題都與社會新聞中的一些事件相對應。
2.Sentence-level Emotion Classification
ND16是以讀者視角來標注的新聞文章，RenCECps 是帶有作者觀點的博客。
JST的sentence-level 分類結果：通過累加句子中單詞的emotion獲得，因為JST不直接將情感標簽分配給句子。
ASUM的結果是最差的，因為ASUM 是對每個句子添加情感標簽，但是JST使對每個單詞 添加情感標簽，而TET則考慮后驗概率。
RenCECps的結果要比ND16的結果差，因為RenCECps用語句級的稀疏情緒評分和句子層次的情感分類進行標注，比文檔級的情感分類更加困難。
7.conclusion
1.文本提出了隱topic-emotion transition模型，該模型通過對連續句子的情緒和主題的transition建模，將其作為馬爾可夫鏈。在TET中，我們使用句子的語言特征來指導主題的transition。從情感詞匯中計算出的情感關聯，利用數據自動構建詞典來指導情感transition。在參數估計中采用了自定義的前向后向算法。實驗表明，我們的模型在文檔級和句子級情感檢測方面都優于最先進的方法。
