缺失值插補2(轉)

缺失值的處理有3種:不處理(做建模鐵定不選),刪除(可以考慮),數據補差(99%的同僚選擇)
而補差的方式主要用下面的5類,重點是第五個,插值法
1. 補插均值/中位數/眾數
2. 使用固定值 .
3. 最近鄰補插
4. 回歸方法
5. 插值法
插值法又包含好多種:(1)拉格朗日插值法(最容易看的懂的,用的人較多,用錯的也多)(2)牛頓插值法(3)Hermite插值 (4)分段插值 (5)樣條插值 (后三種相對用的較少)
(1)拉格朗日插值法(劃重點)
其原理百度就是構建一個多項式,這個多項式很厲害,假如說我們的數據是城市里的銀行位置坐標,那這個多項式就是一條過所有銀行的公路,所以,當我們要問50km外的銀行在哪兒時,我們順著這條路算就可以算出來。當然,算出來的坐標只是一個近似值。(當給出的已知銀行坐標點越多,近似誤差越小)。
關于拉格朗日多項式的構建原理,這里不說了,百度各種解釋,這里只說一下它的優缺點:優點就是過程簡單,很容易找到插值,而且還是唯一的。缺點也明顯,就是當已知的點很多時候,階數也會很高,所以不適合插那些百十來個數據點的題。處理十來個的還是很好的。(我個人建議還是用牛頓)
(2)牛頓插值法8
相比較與拉格朗日,其優點是當新增加插值點時,得到的擬合函數變化不大。其原理解釋還是看百度或者找老師問吧,我的理解就是從第一個插值點開始修路,每修到一個銀行就進行一次校正(高階差商我的理解),然后這樣的話插未知點就準一點。所以用的比較多吧也。

舉例1:向量類型判斷缺失值is.na和缺失值的填補which

(x<-c(1,2,3,NA))

is.na(x) #返回一個邏輯向量,TRUE為缺失值,FALSE為非缺失值

table(is.na(x)) #統計分類個數

sum(x) #當向量存在缺失值的時候統計結果也是缺失值

sum(x,na.rm = TRUE) #很多函數里都有na.rm=TRUE參數,此參數可以在運算時移除缺失值

(x[which(is.na(x))]<-0) #可以用which()函數代替缺失值,which()函數返回符合條件的響應位置

舉例2:數據框類型判斷缺失值is.na、缺失值的填補which、缺失值所在行的刪除na.omit

(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))

is.na(test) #test中空值的判斷

which(is.na(test),arr.ind = T) #arr.ind=T可以返回缺失值的相應行列坐標

test[which(is.na(test),arr.ind = T)]<-0 #結合which進行缺失替代

(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))) #na.omit函數可以直接刪除值所在的行

舉例3:識別缺失值的基本語法匯總

str(airquality)

complete.cases(airquality) #判斷個案是否有缺失值

airquality[complete.cases(airquality),] #列出沒有缺失值的行

nrow(airquality[complete.cases(airquality),]) #計算沒有缺失值的樣本量

airquality[!complete.cases(airquality),] #列出有缺失的值的行

nrow(airquality[!complete.cases(airquality),]) #計算有缺失值的樣本量

is.na(airquality$Ozone) #TRUE為缺失值,FALSE為非缺失值

table(is.na(airquality$Ozone))

complete.cases(airquality$Ozone) #FALSE為缺失值,TRUE為非缺失值

table(complete.cases(airquality$Ozone))

可用sum()和mean()函數來獲取關于缺失數據的有用信息

sum(is.na(airquality$Ozone)) #查看缺失值的個數

sum(complete.cases(airquality$Ozone)) #查看沒有缺失值的個數

mean(is.na(airquality$Ozone)) #查看缺失值的占比

mean(is.na(airquality)) #查看數據集airquality中樣本有缺失值的占比

舉例4:探索缺失值模式

列表缺失值探索

library(mice)

md.pattern(airquality)

圖形缺失值探索

library(VIM)

aggr(airquality,prop=FALSE,number=TRUE)

aggr(airquality,prop=TRUE,number=TRUE) #生成相同的圖形,但用比例代替了計數

aggr(airquality,prop=FALSE,number=FALSE) #選項numbers = FALSE(默認)刪去數值型標簽

舉例5:刪除缺失值

airquality[complete.cases(airquality),] #方法一:刪除缺失值行

na.omit(airquality) #方法二:刪除缺失值的行

舉例6:缺失值回歸模型插補

newnhanes2<-nhanes2

sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2數據集中第4列NA的行標識

datatr<-newnhanes2[-sub,] #方法一:將第4列不為NA的數存入數據集datatr中

datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #方法二:將第4列不為NA的數存入數據集datatr中

datate<-newnhanes2[sub,] #方法一:將第4列為NA的數存入數據集datate中

datate<-newnhanes2[is.na(newnhanes2[,4]),] #方法二:將第4列為NA的數存入數據集datate中

fit<-lm(chl~age,data = datatr) #利用datatr中age為自變量,chl為因變量構建線性回歸模型lm

newnhanes2[sub,4]<-round(predict(fit,datate)) #利用datate中數據按照模型fit對nhanes2中chl中的缺失數據進行預測

舉例7:缺失值隨機森林插補

library(missForest)

z<-missForest(airquality) #用隨機森林迭代彌補缺失值

air.full<-z$ximp

zz<-missForest(nhanes2)

nhanes2.full<-zz$ximp

舉例8:線性回歸模型插補

mice::md.pattern(airquality)

index1<-is.na(airquality$Ozone) #對Ozone變量進行缺失值處理

dput(colnames(airquality)) #求出變量列名稱

Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #訓練集,需注意什么時候用!,什么時候用-

Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #測試集

fit<-lm(Ozone~.,data = Ozone_train) #建立線性回歸模型

summary(fit)

airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )

index2<-is.na(airquality$Solar.R) #Solar.R變量進行缺失值處理,Ozone變量數據已補齊

Solar.R_train<-airquality[!index2,] #訓練集

Solar.R_test<-airquality[index2,] #測試集

Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)

summary(Solar.R_fit)

airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)

mice::md.pattern(airquality)

舉例:knn和bag缺失值插補(利用caret包中的preProcess函數,method參數有多種方式可選)

question<-read.csv("問卷調研數據.csv")

question<-question[,-1]

str(question)

for(i in 1:ncol(question)){

question[,i]<-as.factor(question[,i])

} #批量修改為因子類型

str(question)

舉例9:利用KNN算法進行缺失值插補(只能對數值型變量處理)

question<-read.csv("問卷調研數據.csv")

question<-question[,-1]

mice::md.pattern(question) #列表缺失值探索

library(caret)

knn.model<-preProcess(question,method = "knnImpute") #KNN處理數值型數據(歐式距離),不能處理因子型數據

question1<-predict(knn.model,newdata = question)

install.packages("RANN")

mice::md.pattern(question1)

table(question1$性別) #不是之前的1和2了

table(question$性別)

最后結果:knn不適合處理該數據,需要做啞變量處理,再套模型

舉例10:利用袋裝算法進行缺失值插補(只能對數值型變量處理)

question<-read.csv("問卷調研數據.csv")

question<-question[,-1]

mice::md.pattern(question) #列表缺失值探索

library(caret)

bag.model<-preProcess(question,method = "bagImpute") #bag算法模型建立

install.packages("ipred")

question2<-predict(bag.model,question) #預測結果

mice::md.pattern(question2) #列表缺失值探索

table(question2$性別)

最后結果:bag算法不適合處理該數據

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,505評論 6 533
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,556評論 3 418
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,463評論 0 376
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,009評論 1 312
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,778評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,218評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,281評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,436評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,969評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,795評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,993評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,537評論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,229評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,659評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,917評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,687評論 3 392
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,990評論 2 374

推薦閱讀更多精彩內容