很多人推薦《R語言實戰》這本書來入門R,當然,這本書非常不錯,我也是通過這本書開始接觸的R。這種入門的學習路徑屬于base R first,學習的流程基本是先了解變量的類型、數據的結構,再深入點就會學到循環與自定義函數。有些類似于先認識編程,再按照數據處理、可視化、統計分析等應用方向開始下一個學習的旅程。但是對于很多人來說,R僅僅是一個可視化工具,來做出漂亮的圖,或者是一個可以方便的做回歸分析,生存分析,顯著性檢驗的統計工具。那么,tidyverse就提供了一個很好的學習思路(tidyverse first),讓我們先忽略編程這道大關,其理念是一開始不談向量、矩陣、數據框、因子、流程控制等概念,直接從數據的操縱入手,讓初學者在最短時間內學會數據的處理與可視化應用。
有這么一句話“數據分析師的80%的時間,都消耗在數據清理上”,清理出可視化和統計分析可以直接使用的數據,往往最費精力和繁瑣的過程,而tidyverse的一大亮點就是提供非常優秀的數據清理、整合和可視化的“一站式服務”。
tidyverse 是什么
tidyverse出自于R大神Hadley Wickham之手,他是Rstudio首席科學家,也是ggplot2的作者。tidyverse就是他將自己所寫的包整理成了一整套數據處理的方法,包括ggplot2,dplyr,tidyr,readr,purrr,tibble,stringr, forcats。同時也出了一本《R for Data Science》,這本書里面也詳細介紹了tidyverse的使用方法,這本書的電子版獲取方式見微信公眾號本文。
library(tidyverse) will load the core tidyverse packages:
ggplot2, for data visualisation. (畫圖,可視化數據)
dplyr, for data manipulation. (操控數據,過濾、排序等)
tidyr, for data tidying. (清理數據,轉為ggplot可用的格式)
readr, for data import. (從文件中讀取數據)
purrr, for functional programming. (提供好用的編程函數)
tibble, for tibbles, a modern re-imagining of data frames. (data.frame升級款)
stringr, for strings. (處理字符,查找、替換等)
forcats, for factors. (處理因子問題)
tidyverse的安裝也很簡單,在R中輸入以下命令:
#安裝包
install.packages("tidyverse")
#使用前,記得載入包
library(tidyverse)
tidyverse的數據處理流程大致分為以下三類:
- 數據導入
- 數據整理
- 數據探索(可視化,統計分析)
數據導入
readr:readcsv(); readtsv(); readdelim(); readfwf(); readtable(); readlog();
readxl:readxls(); readxlsx();
haven:打開SAS 、SPSS、Stata等外部數據。
以read_csv為例,把需要分析的數據存為csv文件(逗號分隔的文件,execl文件可以另存為csv文件),然后R讀取即可:
data <- read.csv("data_for_input.csv")
類似的,readtsv()可以讀取tab分隔的數據,readxls()可以直接讀取execl的數據。
數據整理
tibble格式
R中的對多變量數據的標準保存形式是 dataframe,而tibble是dataframe的進化版,它有如下優點:
- 生成的數據框數據每列可以保持原來的數據格式,不會被強制性改變,即字符串,不會莫名其妙的變成因子格式;
- 查看數據時,不再會一行顯示不下,多行顯示得非常丑;
- 數據操作速度會更快
如下圖,直接查看tibble格式的數據,可以一目了然的看清數據的大小和每列的格式
有兩種方式來創建tibble格式的數據
1. 直接創建
2. 其他格式轉化,例如用read.csv讀取的數據默認是dataframe格式,就可以使用as_tibble轉換為tibble格式
管道函數 %>%
在tidyverse中,管道符號是數據整理的主力,它的功能和Linux上的管道符“|”類似,可以把許多功能連在一起,而且簡潔好看,比起R的基本代碼更加容易閱讀!
x %>% f(y) means that x is‘piped’ into the function f(x,y)
以R中自帶的iris(鳶尾花數據集)為例:
%>%
的作用就是將iris數據用于管道后面的head函數。
dplyr包
dplyr基本包含了我們整理數據的所有功能,堪比瑞士軍刀,這里介紹以下函數:
filter: filters out rows according to some conditions (根據條件過濾數據)
arrange: reorders rows according to some conditions (根據某一列的數據對行排序)
select: selects a subset of columns (只保留部分列的數據)
mutate: adds a new column as a function of existing columns (增加新的列)
summarise: collapses a data frame to a single row (概述數據的統計特征)
group_by: breaks a data frame into groups of rows (對數據分組)
1. filter
只選取Species列中,值為virginica的數據
(這里也是用到了管道符,將filter函數作用于iris數據)
選取Species為virginica,并且Sepal.Length大于7.5的數據
2. select
只保留Species 和 Sepal.Length 這兩列
除了Species以外,其他的列都保留
利用管道符,先過濾(filter),然后只保留Petal.Width函數(select)
3. mutate
增加一列,列名為Sepal.Area,值為width和length相乘,然后不保留原來的Sepal.Length 和 Sepal.Width兩列
4. summarise
下面的例子的summarise中, n() 是統計有多少行的數據,mean() 函數是計算平均值。
利用summarise可以指定統計的列,或者統計方式(求方差,求和等),最后得到的結果形成一個新的數據。
5. summarise & group_by
group_by通常與summarise搭配使用,如果我們需要對不同species的數據計算均值,那么利用group_by指定需要分組的列,summarise就幫我們統計出了結果,避免一個一個的去求均值
tidyr包
tidyr的兩個主要函數是 gather()和 spread()。這些函數允許在長數據格式(long data)和寬數據格式(wide data)之間進行轉換(功能類似于reshape包,但是比reshape更好用,并且可以用于管道%>%連接)。
gather() 把數據從寬數據(wide)變成長數據(long),指定key,value就做出下面的變換,這種長數據特別適合用于ggplot2的畫圖中。
spread() 把數據從長數據(long)還原成寬數據(wide),對比gather()的變換,指定你需要變長的key和value列即可~
數據探索
可視化:ggplot2
利用ggplot2實現可視化,具體的ggplot2就不做詳細的介紹了,這里提供ggplot2的速查表(cheatsheet),可以很方便的知道哪種圖對應的ggplot2里面的哪個函數。原始的cheatsheet pdf版的獲取方式見微信公眾號本文。
統計:broom
broom是一個用于數學建模的包,以回歸分析為例,R中的各種回歸分析往往不會返回一個整齊的data frame結果,而broom 則幫助我們直接將統計結果轉化為data frame格式直接將統計結果轉化為data frame格式。
下圖是一般的回歸分析結果的格式
下面是broom對 fit 格式化之后的結果,可以看到是一個方便讀取的data frame格式。
同樣,也可以與tidyverse中的管道和group_by結合,批量的做回歸分析,并且得到整理好的結果。
總結
初學者從tidyverse 入門是一個不錯的使用R的切入方式,它提供了一整套data science的工具,而且還特別好用。當然,入門之后如果使用者在未來需要使用R完成更細膩的分析時,再分配較充足的時間學習base R。
歡迎關注公眾號:"生物信息學"