#####缺失值判斷以及處理#####
#舉例1：向量類型判斷缺失值is.na和缺失值的填補which
(x<-c(1,2,3,NA))
is.na(x)#返回一個邏輯向量，TRUE為缺失值，FALSE為非缺失值
table(is.na(x))#統計分類個數
sum(x)#當向量存在缺失值的時候統計結果也是缺失值
sum(x,na.rm = TRUE)#很多函數里都有na.rm=TRUE參數，此參數可以在運算時移除缺失值
(x[which(is.na(x))]<-0)#可以用which()函數代替缺失值，which()函數返回符合條件的響應位置
#舉例2：數據框類型判斷缺失值is.na、缺失值的填補which、缺失值所在行的刪除na.omit
(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))
is.na(test)#test中空值的判斷
which(is.na(test),arr.ind = T)#arr.ind=T可以返回缺失值的相應行列坐標
test[which(is.na(test),arr.ind = T)]<-0#結合which進行缺失替代
(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9))))#na.omit函數可以直接刪除值所在的行
#舉例3：識別缺失值的基本語法匯總
str(airquality)
complete.cases(airquality)#判斷個案是否有缺失值
airquality[complete.cases(airquality),]#列出沒有缺失值的行
nrow(airquality[complete.cases(airquality),])#計算沒有缺失值的樣本量
airquality[!complete.cases(airquality),]#列出有缺失的值的行
nrow(airquality[!complete.cases(airquality),])#計算有缺失值的樣本量
is.na(airquality$Ozone)#TRUE為缺失值，FALSE為非缺失值
table(is.na(airquality$Ozone))
complete.cases(airquality$Ozone)#FALSE為缺失值，TRUE為非缺失值
table(complete.cases(airquality$Ozone))
#可用sum()和mean()函數來獲取關于缺失數據的有用信息
sum(is.na(airquality$Ozone))#查看缺失值的個數
sum(complete.cases(airquality$Ozone))#查看沒有缺失值的個數
mean(is.na(airquality$Ozone))#查看缺失值的占比
mean(is.na(airquality))#查看數據集airquality中樣本有缺失值的占比
#舉例4：探索缺失值模式
#列表缺失值探索
library(mice)
md.pattern(airquality)
#圖形缺失值探索
library(VIM)
aggr(airquality,prop=FALSE,number=TRUE)
aggr(airquality,prop=TRUE,number=TRUE)#生成相同的圖形，但用比例代替了計數
aggr(airquality,prop=FALSE,number=FALSE)#選項numbers = FALSE（默認）刪去數值型標簽
#舉例5：刪除缺失值
airquality[complete.cases(airquality),]#方法一：刪除缺失值行
na.omit(airquality)#方法二：刪除缺失值的行
#舉例6：缺失值回歸模型插補
newnhanes2<-nhanes2
sub<-which(is.na(newnhanes2[,4]))#返回newnhanes2數據集中第4列NA的行標識
datatr<-newnhanes2[-sub,]#方法一：將第4列不為NA的數存入數據集datatr中
datatr<-newnhanes2[complete.cases(newnhanes2[,4]),]#方法二：將第4列不為NA的數存入數據集datatr中
datate<-newnhanes2[sub,]#方法一：將第4列為NA的數存入數據集datate中
datate<-newnhanes2[is.na(newnhanes2[,4]),]#方法二：將第4列為NA的數存入數據集datate中
fit<-lm(chl~age,data = datatr)#利用datatr中age為自變量，chl為因變量構建線性回歸模型lm
newnhanes2[sub,4]<-round(predict(fit,datate))#利用datate中數據按照模型fit對nhanes2中chl中的缺失數據進行預測
#舉例7：缺失值隨機森林插補
library(missForest)
z<-missForest(airquality)#用隨機森林迭代彌補缺失值
air.full<-z$ximp
zz<-missForest(nhanes2)
nhanes2.full<-zz$ximp
#舉例8：線性回歸模型插補
mice::md.pattern(airquality)
index1<-is.na(airquality$Ozone)#對Ozone變量進行缺失值處理
dput(colnames(airquality))#求出變量列名稱
Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")]#訓練集，需注意什么時候用!,什么時候用-
Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")]#測試集
fit<-lm(Ozone~.,data = Ozone_train)#建立線性回歸模型
summary(fit)
airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )
index2<-is.na(airquality$Solar.R)#Solar.R變量進行缺失值處理,Ozone變量數據已補齊
Solar.R_train<-airquality[!index2,]#訓練集
Solar.R_test<-airquality[index2,]#測試集
Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)
summary(Solar.R_fit)
airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)
mice::md.pattern(airquality)
#knn和bag缺失值插補(利用caret包中的preProcess函數，method參數有多種方式可選)
question<-read.csv("問卷調研數據.csv")
question<-question[,-1]
str(question)
for(i in 1:ncol(question)){
? question[,i]<-as.factor(question[,i])
}#批量修改為因子類型
str(question)
#舉例9：利用KNN算法進行缺失值插補(只能對數值型變量處理)
question<-read.csv("問卷調研數據.csv")
question<-question[,-1]
mice::md.pattern(question)#列表缺失值探索
library(caret)
knn.model<-preProcess(question,method = "knnImpute")#KNN處理數值型數據(歐式距離),不能處理因子型數據
question1<-predict(knn.model,newdata = question)
install.packages("RANN")
mice::md.pattern(question1)
table(question1$性別)#不是之前的1和2了
table(question$性別)
#最后結果：knn不適合處理該數據，需要做啞變量處理，再套模型
#舉例10：利用袋裝算法進行缺失值插補(只能對數值型變量處理)
question<-read.csv("問卷調研數據.csv")
question<-question[,-1] ?
mice::md.pattern(question)#列表缺失值探索
library(caret)
bag.model<-preProcess(question,method = "bagImpute")#bag算法模型建立
install.packages("ipred")
question2<-predict(bag.model,question)#預測結果
mice::md.pattern(question2)#列表缺失值探索
table(question2$性別)
#最后結果：bag算法不適合處理該數據
