缺失值

在問卷數據或實驗數據中，經常會包含由于未作答、設備故障或誤編碼數據的緣故出現缺失值。在R中，缺失值以符號NA（Not Available，不可用）表示。不可能出現的值（例如，被0除的結果） 通過符號NaN（Not a Number，非數值）來表示。

1. 缺失值得識別與可視化

首先我們來安裝兩個R包，VIM和mice包。

> install.packages(c("VIM","mice"))

本次分析使用的數據集sleep就是VIM包中包含的數據集，來源于Allison和Chichetti (1976)的研究。
自變量：生態學變量、體質變量
因變量：睡眠變量
生態學變量包含：物種被捕食程度（Pred），睡眠時的暴露程度（Exp），面臨的總危險度（Danger）。體質變量包含：體重（BodyWgt，單位kg），腦重（BrainWgt，單位g），壽命（Span，單位年），妊娠期（Gest，單位為天）。
睡眠變量包含：做夢時長（Dream），不做夢時長（NonD）以及它們的和（Sleep）。

1.1 is.na( )函數

函數 is.na( ) 允許你檢測缺失值是否存在，作用于一個對象上，也將返回一個相同大小的對象，如果某個元素是缺失值，相應的位置將被改寫為TRUE，不是缺失值的位置則為FALSE。

> is.na(head(sleep))
  BodyWgt BrainWgt  NonD Dream Sleep  Span  Gest  Pred   Exp Danger
1   FALSE    FALSE  TRUE  TRUE FALSE FALSE FALSE FALSE FALSE  FALSE
2   FALSE    FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  FALSE
3   FALSE    FALSE  TRUE  TRUE FALSE FALSE FALSE FALSE FALSE  FALSE
4   FALSE    FALSE  TRUE  TRUE FALSE  TRUE FALSE FALSE FALSE  FALSE
5   FALSE    FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  FALSE
6   FALSE    FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  FALSE

由圖可以看出，所有顯示TRUE的地方都是缺失值。

1.2 complete.cases( )函數

該可以用來識別矩陣或數據框中沒有缺失值的行。若每行都包含完整實例，則返回TRUE的邏輯向量；若每行有一個或多個缺失值，則返回FALSE。

> complete.cases(head(sleep))
[1] FALSE  TRUE FALSE FALSE  TRUE  TRUE

可以看出1、3、4行存在缺失值。

> head_sleep <- head(sleep)
> print(head_sleep[complete.cases(head_sleep)])    #只輸出不含缺失值的列
  BrainWgt Sleep Span Pred
1   5712.0   3.3 38.6    3
2      6.6   8.3  4.5    3
3     44.5  12.5 14.0    1
4      5.7  16.5   NA    5
5   4603.0   3.9 69.0    3
6    179.5   9.8 27.0    4
> head_sleep <- head(sleep)
> print(head_sleep[complete.cases(head_sleep),])    #只輸出不含缺失值的行
  BodyWgt BrainWgt NonD Dream Sleep Span Gest Pred Exp Danger
2    1.00      6.6  6.3   2.0   8.3  4.5   42    3   1      3
5 2547.00   4603.0  2.1   1.8   3.9 69.0  624    3   5      4
6   10.55    179.5  9.1   0.7   9.8 27.0  180    4   4      4

1.3 md.pattern( ) 函數

mice包中的md.pattern，形成缺失表。

> md.pattern(head_sleep)
  BodyWgt BrainWgt Sleep Gest Pred Exp Danger Span NonD Dream  
3       1        1     1    1    1   1      1    1    1     1 0
2       1        1     1    1    1   1      1    1    0     0 2
1       1        1     1    1    1   1      1    0    0     0 3
        0        0     0    0    0   0      0    1    3     3 7

1.4 aggr ( ) 函數

aggr ( ) 是VIM包中的函數，可以形成缺失圖。

aggr(sleep, prop = F, number = T)    #表示用數字而不是比例

prob：當為TRUE時，顯示為缺失值的占比；當為FALSE時，顯示為缺失值的數量；
number：是否顯示數值，默認為FALSE，不顯示缺失值的占比或數量。

image

2. 缺失值的處理

2.1 推理恢復

根據變量之間的關系來填補或恢復缺失值，通過推理，數據的恢復可能是準確的或近似的。

2.2 行刪除

把包含一個或多個缺失值的行刪除，稱作行刪除法，或個案刪除，大部分統計軟件包默認采用的是行刪除法。
通過函數 na.omit( ) 移除所有含有缺失值的觀測。na.omit( ) 可以刪除所有含有缺失數據的行。

 na.omit(head_sleep)
  BodyWgt BrainWgt NonD Dream Sleep Span Gest Pred Exp Danger
2    1.00      6.6  6.3   2.0   8.3  4.5   42    3   1      3
5 2547.00   4603.0  2.1   1.8   3.9 69.0  624    3   5      4
6   10.55    179.5  9.1   0.7   9.8 27.0  180    4   4      4

2.3 簡單插補

當然，我們有時并不想把缺失的行直接刪除，因為這樣難以避免造成了數據的損失。簡單插補是用均值，中位數或眾數來替換變量中缺失的值。將初始數據集中的屬性分為數值屬性和非數值屬性來分別進行處理。

如果空值是數值型的，就根據該屬性在其他所有對象的取值的平均值來填充該缺失的屬性值；
如果空值是非數值型的，就根據統計學中的眾數原理，用該屬性在其他所有對象的取值次數最多的值(即出現頻率最高的值)來補齊該缺失的屬性值。

2.4 高級插補

對缺失值的高級處理方式有很多，大致有回歸插補、多重插補、熱卡插補，K最近距離鄰法等等，現在只介紹多重插補的原理：
多重插補（MI）是一種基于重復模擬的處理缺失值的方法，它從一個包含缺失值的數據集中生成一組數據完整的數據集（即不包含缺失值的數據集，通常是3-10個）。每個完整數據集都是通過對原始數據中的缺失數據進行插補而生成的。在每個完整的數據集上引用標準的統計方法，最后，把這些單獨的分析結果整合為一組結果。

多重插補法大致分為三步：

• 為每個空值產生一套可能的插補值，這些值反映了無響應模型的不確定性；每個值都被用來插補數據集中的缺失值，產生若干個完整數據集合。
• 每個插補數據集合都用針對完整數據集的統計方法進行統計分析。

• 對來自各個插補數據集的結果進行整合，產生最終的統計推斷，這一推斷考慮到了由于數據插補而產生的不確定性。該方法將空缺值視為隨機樣本，這樣計算出來的統計推斷可能受到空缺值的不確定性的影響。

  
  
  image

基于mice包的分析通常符合以下分析過程：

library(mice)
imp <- mice(data seed=m)
fit <- with( imp, lm())
po<- pool(fit)
summary(po)

• mydata是一個包含缺失值的矩陣或數據框。
• imp是一個包含m個插補數據集的列表對象，同時還含有完成插補過程的信息。默認地， m為5。
• analysis是一個表達式對象，用來設定應用于m個插補數據集的統計分析方法。方法包括做線性回歸模型的 lm() 函數、做廣義線性模型的 glm() 函數、做廣義可加模型的 gam()，以及做負二項模型的nbrm()函數。表達式在函數的括號中，~的左邊是響應變量， 右邊是預測變量（用+符號分隔開）。
• fit是一個包含m個單獨統計分析結果的列表對象。
• pooled是一個包含這m個統計分析平均結果的列表對象。

現在我們嘗試插補之前的sleep數據：

library(mice)
data(sleep,package="VIM")
imp<-mice(sleep,seed=1234)

fit<-with(imp,lm(Dream~Span+Gest))
pooled<-pool(fit)
summary(pooled)

完全按照上面的抄就可以，summary之后可以看到：

summary(pooled)
         term     estimate   std.error  statistic       df      p.value
1 (Intercept)  2.531560872 0.260063277  9.7344035 44.41076 1.379785e-12
2        Span -0.004478330 0.011716849 -0.3822128 55.79406 7.037555e-01
3        Gest -0.004022046 0.001481345 -2.7151303 53.29365 8.909314e-03

可以通過檢查分析過程所創建的對象來獲取更多的插補信息。例如，來看imp對象的匯總信息：

imp
Class: mids
Number of multiple imputations:  5 
Imputation methods:
 BodyWgt BrainWgt     NonD    Dream    Sleep     Span     Gest     Pred      Exp   Danger 
      ""       ""    "pmm"    "pmm"    "pmm"    "pmm"    "pmm"       ""       ""       "" 
PredictorMatrix:
         BodyWgt BrainWgt NonD Dream Sleep Span Gest Pred Exp Danger
BodyWgt        0        1    1     1     1    1    1    1   1      1
BrainWgt       1        0    1     1     1    1    1    1   1      1
NonD           1        1    0     1     1    1    1    1   1      1
Dream          1        1    1     0     1    1    1    1   1      1
Sleep          1        1    1     1     0    1    1    1   1      1
Span           1        1    1     1     1    0    1    1   1      1
Number of logged events:  7 
  it im  dep meth   out
1  1  1 Span  pmm Sleep
2  1  1 Gest  pmm Sleep
3  2  4 Span  pmm Sleep
4  2  4 Gest  pmm Sleep
5  2  5 Span  pmm Sleep
6  2  5 Gest  pmm Sleep

從輸出結果可以看到，五個數據集同時被創建，預測均值（pmm）匹配法被用來處理每個含 缺失數據的變量。BodyWgt、BrainWgt、Pred、Exp和Danger沒有進行插補（" "），因為它們并沒有缺失數據。VisitSequence從左至右展示了插補的變量，從NonD開始，以Gest結束。最后，預測變量矩陣（PredictorMatrix）展示了進行插補過程的含有缺失數據的變量，它們利 用了數據集中其他變量的信息.（在矩陣中，行代表插補變量，列代表為插補提供信息的變量，1 和0分別表示使用和未使用。）