![cover](https://img-blog.csdnimg.cn/c40241263b664e8f8543ea055e3f4a97.jpeg)
1.R语言基础知识
建议下载最新版本,避免有些R包无法运行。此外选择镜像下载,下载速度会快很多。国内的镜像比较多,所以可以根据自己的所在位置选择合适的镜像。因为笔者在北京,就选择了北大镜像下载。安装的话建议直接默认,点击下一步,装在C盘的位置。
目录
一、R语言的介绍
R语言的下载与按照
R语言的下载网址:R: The R Project for Statistical Computing。
建议下载最新版本,避免有些R包无法运行。 此外选择镜像下载,下载速度会快很多。
国内的镜像比较多,所以可以根据自己的所在位置选择合适的镜像。因为笔者在北京,就选择了北大镜像下载。安装的话建议直接默认,点击下一步,装在C盘的位置。
Rstudio
Rstudio下载网站:Posit | The Open-Source Data Science Company
Rstudio界面介绍:
1.脚本编辑器:这个区域主要是用来撰写代码,编辑器写的代码不会直接执行,并且可以保存成为.R格式的文件,保存既往的代码。可以直接打开,修改,运行。
2.控制台:是R的运算执行区域,可以直接写代码,但是由于不利于保存,较少在控制台写代码。二、控制台还可以显示运算的结果。
3.环境:该区域主要是存储目前的数据内容,包括任何数据格式
4.其他菜单栏:file默认是当前的工作路径,plot输出的图片结果展示,package是R中已经安装的R包。
R包的安装
R包:可以理解成为多个函数的打包存放,包含函数、数据、帮助文档、描述文档等
R包分为3类:1.基础包,在R启动的时候自动调入内存,以满足基础的数据处理和统计分析需要。2.备用包,随着R安装而安装,但是需要使用函数library()或require()调入内存后才能使用。3.捐赠包,由统计专家发布,用户需要单独下载,然后用函数library()或require()调入内存后才能使用。
1. 查看当前内存中调用的R包。
search() #目前工作状态下有哪些R包被加载
require("strings")#strings包是否安装,输出为逻辑值T或者F
2. R包的安装
包使用的顺序:安装——加载——调用函数
R包是否安装成功评价:library加载时是否会报错
方法一:install.packages("R包名称" )
install.packages("epiDisplay")
install.packages("BiocManager")
上面的命令安装了名为“epiDisplay”的包,凡是CRAN的R包,都统一使用install.package()
方法二:bioconductor中的R包,统一使用BiocManager::install()安装
BiocManager::install("limma")
因为在安装limma包时会同时安装一些其他包,如果这些包某些已经被安装,则会提示是否更新这些包?一般情况选择none,只需要在控制台回复n。
方法三:github上的R包,使用devtools::install_github()
install.packages("devtools")#第一次需要先安装devtools包
devtools::install_github("jmzeng1314/idmap1")
发布在github上的包,需要在包的名字前面包含作者名字。
已经安装的包,可以用::快速调用里面的函数
!!!!!更新R包,重新安装,先删除后重新安装。建议不用update()
常见的报错:
- 关键词connection,internet,url、404、http,download往往是网络限制,或者镜像没有选择合适
- not writable/permission denied 权限问题:管理员方式重新打开Rstudio,重新安装
- ????中文用户名惹的祸,修改环境变量
- package not available 四种问题:1.包的名字拼写错误;2.命令用错;3.R包过时;4.版本不匹配
- 是否更新,是否:先拒绝no,不可以在更新
- 依赖包报错或者版本就,单独装依赖包/更新
3. 条件语句来安装R包
if(FALSE) 则后面的代码被跳过
if(TRUE) 则后面的代码执行
if(!require(strings))install.packages("strings")
if(!require(feather))install.packages("feather")
4. 其他R包知识(不重要)
- 查看包中存在的函数:ls("package:stringr")
R包的如何使用:1、快速查看函数帮助文档?包的名字;2、浏览器搜索:R包名字 package,找到bioconductor官网的介绍;3、加载Vignettes,利用函数browseVignettes("stringr")
文件名称在代码中出现必然以字符串形式存在,并存在于实际参数的位置上
工作空间管理
工作空间是R语言的工作环境,所有创建的对象都被临时保存在工作空间中,可以用函数ls()列出当前工作空间中的所有对象:
也即是Rstudio中资源环境中的所有对象。在退出R时,如果选择保存工作空间,R将会在工作空间所在的文件夹中创建两个新的文件。之前在R中输入的任何命令都将保存到一个名为.Rhistory的文件中,而当前的工作空间中的所有对象将保存在.Rdata的文件中。两个文件都没有前缀。
工作目录:是R用来读取文件和保存结果的一个文件夹。
getwd()能展示目前的工作目录。
setwd()设定当前的工作目录
getwd()
想要把当前的工作空间保存到一个指定的文件:
save("myfile.Rdata")
myfile.Rdata将会保存在当前的工作目录下。下次调用只需要直接load(“文件名.Rdata”)即可。
基本运算
二、R的数据结构
1. 数据类型
1.数值型 numeric 1,2,3
2.字符型 character “a",'mm'
3.逻辑值 logical TRUE;FALSE;NA
NA表示存在但未知,NULL表示不存在
class()判断数据类型的函数:
常见的错误:
class(a)
输出为没有object:a,表示没有定义数据a是什么。
calss("a")
class写错
class(true)
系统默认的逻辑值TRUE,一旦改变任何一个大小写,都会被认为是对象object,因此输出为找不到对象true
class(3)
使用了中文括号
R语言常见的报错:
function在R中表示函数;object表示对象;TRUE必须大写,R中严格区分大小写;括号必须用英文,unexpected input in "class("表示问题出现在(这里
#unepected出现表示代码写错了;找不到对象往往是没有引号或者没有定义对象
2. 数据类型的转换和判断
#is.numeric() 是否是数值型 #is.logical() 是否是逻辑型
#is.character() 是否是字符型
#as.numeric() 转化为数值型
#as.character() 转化为字符型
#as.logical() 转化为逻辑型
is.numeric(3)
is.numeric("4")
as.numeric("jimmy")
class(as.numeric("jimmy")) #s说明NA这里是数值型
3.数据结构
数据结构: 向量;数据框;矩阵;列表
3.1 向量
用于存储数值型、字符型、逻辑型数据的一维数组。函数c()可以用来创建向量。每一个向量中数据的类型必须一致,仅为一种数据类型。
修改向量中的元素 ,R语言中任何修改都要赋值,没有赋值就没有发生过
3.1.1 向量的生成
方法一:用 c() 结合到一起
c(2,5,6,2,9)
c("a","f","md","b")
方法二:连续的数字用冒号“:”
x <- 1:5
方法三:有重复的用rep(),有规律的序列用seq(),随机数用rnorm()
rep("x",times=3)
seq(from=3,to=21,by=3) #从3开始到21,每3个数取一个数
rnorm(n=3) #生成3个随机数
方法四:通过组合,产生更为复杂的向量
paste0(rep("x",times=3),1:3)
#表示将向量1与向量2联合在一起,如向量1是xxx,向量2是1,2,3,组合在一起为X1,X2,X3
3.1.2 向量的计算
max(x) #最大值
min(x) #最小值
mean(x) #均值
median(x) #中位数
var(x) #方差
sd(x) #标准差
sum(x) #总和
scale(x) #将x标准化
range(x) #求x的全距
quantile(x) #求x的分位数
length(x) #长度 向量中元素的个数
unique(x) #去重复,向量从左到右第二次或多次出现的取值去除。
duplicated(x) #对应元素是否重复,判断值为逻辑值,如果需要将重复的值结果为FALSE,需要在前面加入!函数
table(x) #重复值统计,计算每个取值的重复个数
sort(x) #排序,默认从小到大
sort(x,decreasing = F)
sort(x,decreasing = T)
3.1.3 向量的比较
x = c(1,3,5,1)
y = c(3,2,5,6)
(1)比较运算,生成等长的逻辑向量,对应位置的数据进行比较
x == y
y == x
不同长度的向量比较:
x = c(1,3,5,6,2) y = c(3,2,5) x == y #循环补齐,输出结果为最长的元素个数逻辑值。
利用循环补齐简化代码:
paste0(rep("x",3),1:3) paste0("x",1:3)
(2)数学计算
x + y
(3)连接
paste(x,y,sep=",") #paste表示将两个元素连接在一起,seq表示分隔
paste与paste0的区别:
paste(x,y) paste0(x,y) #paste0两个元素之间无缝连接,paste默认有空格连接,或者设置相应空格 paste(x,y,sep = "") paste(x,y,sep = ",")
paste可以连接两个或者多个对象,输出为字符型结果:
paste(rep("student",time=3),4:6,rep("class",time=3),sep="a") paste(rep("student",time=3),4:6,rep("class",time=3),sep=",") paste(rep("student",time=3),4:6,rep("class",time=3)) paste0(rep("student",time=3),4:6,rep("class",time=3))
(4)向量之间的交集、并集、差集
intersect(x,y) #交集
union(x,y) #并集
setdiff(x,y) #差集 在x中有y中没有的
setdiff(y,x) #差集 在y中有x中没有的
setequal(x,y) #判断两个向量是否相等,输出为逻辑值
x %in% y #x的每个元素在y中存在吗
y %in% x #y的每个元素在x中存在吗
(5)向量取子集
核心思想:[ ]将TRUE对应的值挑选出来,FALSE丢弃
x <- 8:12
根据逻辑值取子集,[ ]内为逻辑值相关的运算,括号内只能是逻辑值
x[x==10] #第一个x表示从什么向量中挑选,括号内为挑选的条件,需要与x等长的逻辑值
x[x<12]
x[x %in% c(9,13)]
根据位置取子集,只支持数据,不支持逻辑值
x[4]
x[2:4]
x[c(1,5)]
x[-4] #-4不选第四个,保留剩下的,-表示反选
x[-(2:4)]
x[1,5] #错误:因为不是一个向量,2:4是向量,c(1,5)也是向量,所以[]内必须是X的下标组成的向量
补充:元素的名字
scores = c(100,59,73,95,45) names(scores) = c("jimmy","nicker","Damon","Sophie","tony") #元素的名字,本质还是向量 scores scores["jimmy"] scores[c("jimmy","nicker")] names(scores)[scores>60]
虽然score是向量,但是可以给向量赋予名字,再去取子集。
3.2 矩阵
矩阵是一个由行和列组成的二维数组。矩阵中每个元素具有相同的模式(数值型、字符型或逻辑型)。函数matrix()常用于创建矩阵。nrow指定行数,并自动计算出列数。byrow默认为FALSE,即是按列将数值进行排列,如果需要按行进行排列,着byrow=TRUE。
m <- matrix(1:9, nrow = 3) #ncol是列,只需要写一个,另一个就默认了
colnames(m) <- c("a","b","c") #加列名
3.2.1 矩阵取子集:矩阵取子集不支持$,$只能用于数据框格式
m
m[2,] #不支持$的使用
m[,1]
m[2,3]
m[2:3,1:2]
m
3.2.2 矩阵转置:把矩阵的行和列变换
t(m)
3.2.3 矩阵乘法:运算符号为%*%,需要第一个矩阵的列数等于第二个矩阵的行数
mat1 <- matrix(1:6,nrow=3)
mat2 <- matrix(5:10,nrow=2)
dim(mat1)#计算矩阵的维度,也即是行和列数
dim(mat2)
mat1%*%mat2
得到一个3x3的矩阵
3.2.4 矩阵的行列式和逆矩阵,可以使用函数det()和solve()实现
mat3 <- matrix(1:4,nrow=2)
det(mat3) #方阵的行列式
solve(mat3) #逆矩阵
3.2.5 对矩阵行列进行计算
rowSums(mat1)#对矩阵行进行求和
colSums(mat2)#对矩阵列进行求和
rowMeans(mat1)#对矩阵行进行求均值
colMeans(mat2)#对矩阵列进行求均值
3.3 数组
数组是多维数组,与矩阵相似,但是维度大于2。数组有一个特殊的维度属性dim。一个向量,加上维度属性后定义了一个数组。
A <- 1:24
dim(A) <- c(3,4,2)#3行4列,两个维度
A
除此之外还可以使用函数array()创建
3.4 列表
可以由不同类型的对象混合组成。
l <- list(m1 = matrix(1:9, nrow = 3),
m2 = matrix(2:9, nrow = 2))
l
l[[2]] #提取出的是一个矩阵,l[2]则提取出的是列表
l$m1
3.5 数据框(重点)
数据框是一个由行和列构成的二维结构,行表示观测或记录,列表示变量或指标。与矩阵不同的是,数据框的不同列可以是不同的数据类型。使用data.frame()创建。
df1 <- data.frame(gene = paste0("gene",1:4),
change = rep(c("up","down"),each = 2),
score = c(5,3,-2,-4))
df1 #每一列是一个向量,列名=列的内容
3.5.1 数据框的属性
dim(df1) #显示数据框的维度,几行几列
nrow(df1) #行数
ncol(df1) #列数
rownames(df1) #提取df1行名
colnames(df1) #提取df1列名
3.5.2 数据框取子集
按$列名提取
df1$gene
按坐标
df1[2,2] #第2行,第2列
df1[2,] #第2行,所有列
df1[,2] #所有行,第2列
df1[c(1,3),1:2] #第1,3行,第1,2列
按名字
df1[,"gene"]
df1[,c('gene','change')] #$只能提取一列,这种麻烦的方式可以同时取出多列
按条件(逻辑值)
df1[df1$score>0,]
df1[df1$change=="up",] #up是字符型,必须打上引号,不然会报错
如何取数据框的最后一列?
df1[,3] #只能取第三列,如果数据框存在多列,则不能用3取最后一列 df1[,ncol(df1)] #当不知道数据框最后一列时,只能用ncol()取数据框的最后一列
如何取数据框除了最后一列以外的其他列?
df1[,-ncol(df1)] #减号只能用在数字,感叹号用在逻辑值
筛选score > 0的基因
df1[df1$score > 0,1] df1$gene[df1$score > 0] ##取子集的逻辑值向量,只需要与x对应,不必由x产生
3.5.3 数据框的修改
值的修改:
#改一个格
df1[3,3] <- 5
df1
#改一整列
df1$score <- c(12,23,50,2)
df1
#新增一列p value
df1$p.value <- c(0.01,0.02,0.07,0.05)
df1
行列名称的修改:
#改行名和列名,本质就是修改向量
rownames(df1) <- c("r1","r2","r3","r4")
#只修改某一行/列的名
colnames(df1)[2] <- "CHANGE" #对列名取子集第二列出来,改为“CHANGE”
数据框的连接:
test1 <- data.frame(name = c('jimmy','nicker','Damon','Sophie'),
blood_type = c("A","B","O","AB"))
test1
test2 <- data.frame(name = c('Damon','jimmy','nicker','tony'),
group = c("group1","group1","group2","group2"),
vision = c(4.2,4.3,4.9,4.5))
test2
test3 <- data.frame(NAME = c('Damon','jimmy','nicker','tony'),
weight = c(140,145,110,138))
test3
merge(test1,test2,by="name")
merge(test1,test3,by.x = "name",by.y = "NAME")
#merge默认是交集,其他需要查看帮助菜单?merge
三、导入/导出数据
获取内置数据集
library(MASS)#载入R包
data(bacteria)#使用data函数调出数据集
获取其他格式的数据
CSV格式(本质是纯文本格式)的打开方式:1.excel打开;2.记事本打开;3.sublime;4.R语言读取:read.csv()
分隔符:逗号,空格,制表符(\t)
- CSV:comma separated values逗号分隔文件;
- TSV:Tab separated values Tab分隔值文件
表格文件读入R语言中,就得到一个数据框,对数据框进行修改不会同步到表格中
1. 导入数据
read.csv() 读取CSV格式文件
read.table() 读取txt格式文件
(1)行名和列名的正确识别
ex1 <- read.table("ex1.txt")
#R语言不能识别到列名,重新分配了列名V1-V5,会将数字转化为了字符型
ex1 <- read.table("ex1.txt",header = T)
当原始表格存在列名时需要设置参数header=T,让系统识别列名
(2)行列名中特殊符号的处理
ex2 <- read.csv("ex2.csv") #1.行名不能正确识别;2.列名将-改为了,;
R语言中原始默认不存在特殊字符,就将-改为了.
ex2 <- read.csv("ex2.csv",row.names = 1,check.names = F)
#row.name是一个行名向量,定义行名的名字;check.names=T会自动识别特殊字符并改为规范符号,F则默认
(3)重复行名
rod <- read.csv("rod.csv",row.names = 1) #数据框不允许存在重复行名
系统会自动报错!!!
(4)缺失值的处理
soft <- read.table("soft.txt")
在第二行之后只存在四个值,第五列的值缺失,系统不能识别,因此不能读取
soft <- read.table("soft.txt",header = T,fill = T)
一般情况fill=T,默认将空格内容填充为NA,但是不能识别几个空格,可能出现串行没比如两个空格建,R语言就会认为只有一个空格,出现错误
soft <- read.table("soft.txt",header = T,sep = "\t")
制表符\t的设置表示一个制表符就是一个空格
为了避免空格错位的问题:
read.delim()#读取txt文件,能避免上述问题 soft1 <- read.delim("sotf.txt")
其他格式:
read.xlsx( )读取Excel格式的文件,需要加载第三方包(例如openxlsx包,readx1包和gdata包);第二种方法将excel文件另存为csv格式,使用read.csv( )读取。
#如果没有安装请先安装
#install.packages("openxlsx")
#install.packages("readxl")
#install.packages("gdata")
library(openxlsx)
patients.data <- read.xlsx("patients.xlsx",sheet=1)
#sheet=表示读取的excel表格中第几个sheet
read.spss( )读取SPSS文件,read.xport( )读取SAS文件,read.dta( )读取Stata文件,但需要使用借助拓展包foreign包。foreign包主要功能读写其他格式的统计软件数据。
library(foreign)
patients.data <- read.spss("patients.sav",to.data.frame = TRUE)
To.data.frame参数的默认值为FALSE,如果不设置为TURE,返回的将是一个列表形式的数据。
2. 导出数据
数据框导出:
write.csv(test(数据框名称),file=“example.csv(输出的文件名称)”)
txt格式:write.table() eg:write(test,file="example.csv")
write.csv(soft,file="soft.csv")#一定要加后缀名.csv
Rdata格式:是R语言特有的数据储存形式,保存的是变量,不是表格
save()保存,load()加载;save(test,file="example.csv"),load("example.Rdata")
save(soft,file="soft.Rdata")#一定要加后缀名.Rdata
rm(list=ls())
load(file="soft.Rdata")
易犯错误:
save(soft,file="soft2.csv")
系统不报错,但是决定文件性质的是函数不是后缀。所以用excel/read.csv打开就是乱码,但可以使用Rdata语言打开,使用load函数。
3. 其他包导入/导出数据
(1)用rio包导入和导出数据
rio包提供一个类似于万能工具的包为目标,用统一的import()和export()函数简化用户导入和导出数据,此外convert()函数可以实现不同文件格式之间的转换。
以数据集infert为例:
data(infert)
library(rio)
export(infert,file="infert.csv")
#可以在工作目录下找到新生成的文件infert.csv的数据文件。
convert("infert.csv","infert.sav")
#将csv文件转换成为sav文件
infert.data <- import("infert.sav")
#将生成的infert.sav文件导入R中,命名为infert.data
import() 集成函数,根据文件的后缀选择相应的读取文件。
import_list()可以用来读取excel中存在多个工作簿的列表,输出形式为列表。
(2)其他包导入或导出文件
用于读取和导出文件的R包
- #base包
- #readr包
- #data.table包
library(data.table) #不认识行名
a=fread("soft.txt")
因为不能识别行名,自动将行名设置为第一列
class(a) #存在data table的数据结构会影响后续分析
b=fread("soft.txt",data.table = F)#data.table=F能纯化为数据框结构
class(b)
参数data.table=F,可以将读取的文件直接设置为数据框格式,不用data.table格式。现在需要将数据框的第一列设置为行名。
rownames(b)=b[,1]#b第一列为行名
b=b[,-1]#第一列与行名重复,因此删除第一列名字。用-1表示删除第一列
四、数据框的常用操作
1.处理数据框的基本函数
加载数据集epiDisplay包中的Familydata
rm(list = ls())
#install.packages("epiDisplay")
library(epiDisplay)
data(Familydata)
1.1 查看数据框的前几行和后几行,head( )和tail( )函数。
head(Familydata,5)#不设置行数的话,默认为6行
tail(Familydata,3)
1.2 查看数据框变量名,names( )函数
names(Familydata)
1.3 数据框按照某个变量的值排序,order( )函数
Familydata[order(Familydata$age),]
Familydata[order(Familydata$age,decreasing = T),]
Familydata[order(-Familydata$age),]
本质跟取子集一样,按照age年龄大小进行排序,默认从小到大,如果想要从大到小增加参数decreasing=T。也可以使用age取相反数,在从小到大排序。
1.4 查找和删除重复数据
duplicated(Familydata$code)
duplicated( ) 函数用于查找是否有重复,第二次出现就会表示为重复,输出的值为逻辑值。因为输出的值比较时,难以肉眼检查是否存在重复值,可以使用函数table()统计FALSE和TRUE出现的频数,或any()用于检测逻辑值是否含有TRUE
any(duplicated(Familydata$code))
#结果为FALSE表示没有TRUE,没有重复值
table(duplicated(Familydata$code))
#输出的结果只有FASLE的频数,说明没有TRUE
删除重复数据
Familydata1 <- Familydata
Familydata1[12,] <- Familydata[2,]#给数据框增加一列重复的值
table(duplicated(Familydata1$code))#结果TRUE表示存在重复值
使用函数which( )可以找到变量code( )重复值所在的行
which(duplicated(Familydata1$code))
删除重复的行:利用取子集的思维,将子集中的TRUE提取出来,因此需要将不重复的FASLE转变为TRUE,重复值TRUE转为FALSE不提取出来。
Familydata2 <- Familydata1[!duplicated(Familydata1$code),]
identical(Familydata2,Familydata)#说明两个数据框一致
除了取子集外,函数distinct(数据框,去重的列,.keep_all=T)数据框按照某一列去重复,unique是去重复向量
distinct(Familydata1,code,.keep_all=T)
1.5 在数据框中删除和添加变量
使用$添加变量:
Familydata$log10money <- log10(Familydata$money)
使用函数transform()函数
Familydata <- transform(Familydata,log10money=log10(money))
使用取子集负号删除变量,负号不能用名称取。
Familydata <- Familydata[,-7]
1.6 把数据框添加到搜索路径
搜索路径的目的时因为在变量名称前面加上数据框名和符合$,这种方式有时候比较繁琐,一次函数attach可以将搜索的路径限定在数据框xxx中,直接输入变量名称即可。
函数attach( )可以将数据框添加到搜索路径中,detach()退出搜索路径。
attach(Familydata)
detach(Familydata)
2. 筛选行和列
案例:MASS包中birthwt数据集中包含189个研究对象,10个变量,一项关于新生儿低体重危险因素的病例对照研究。
2.1 筛选行:
library(dplyr)
data(birthwt,package = "MASS")
筛选变量年龄age大于35岁的所有记录:
#取子集的方法
birthwt[birthwt$age>35,]
#filter函数
filter(birthwt,age>35)
filter()函数,第一个参数是数据框名字,第二个参数级随后的参数是筛选数据框的表达式。
筛选体重大于4000g或小于2500的所有记录
filter(birthwt,bwt>4000|bwt<2500)
birthwt[birthwt$bwt>4000|birthwt$bwt<2500,]
如果有多个条件,可以用逗号隔开,例如筛选体重大于4000g或小于2500,年龄age大于35岁的所有记录
birthwt[(birthwt$bwt>4000|birthwt$bwt<2500)&birthwt$age>35,]
filter(birthwt,bwt>4000|bwt<2500,age>35)
函数slice()可以按照行号选择指定的行,第二行到第五行的所有记录
slice(birthwt,2:5)
2.2 选择列
函数select()用于选择数据框中的列(变量)
select(birthwt,age,bwt,race,smoke)
注意:MASS包中也有函数select,为了避免混淆如果需要同时加载两个包,可以使用dplyr::select()的格式完成。
3. arrange()排列行
除了基础包中的order之外,arrange函数也是可以将数据框记录按照某个变量进行排序的。
arrange(birthwt,bwt)
birthwt[order(birthwt$bwt),]
将变量bwt从小到大进行排序。如果需要从大到小排序,order的参数descreasing=T,arrange()函数的可以使用desc()函数实现或相反数。
birthwt[order(birthwt$bwt,decreasing = T),]
arrange(birthwt,-bwt)
arrange(birthwt,desc(bwt))
当存在多个变量的排序时,按照顺序一次添加即可,首先排序的变量放在第一个,然后第二个
arrange(birthwt,bwt,age)
先按bwt从小到大排序,存在重复相同数字时,按照age年龄进行从小到大排序。
4.添加新的变量
除了基础方法中的$和transform之外,还可以使用函数mutate()。第一个参数就是数据框名称,第二个参数为定义的数据内容,类似于transform函数。
mutate(birthwt,lwt.kg=lwt*0.4536)
transform(birthwt,lwt.kg=lwt*0.4536)
5. 拆分数据框
函数group_by( )可以将数据框按照某一个或某几个分类变量拆分成为多个数据框。
输出的数据框虽然外观没有改变,但是已经按照race的三个值分为三个数据框,在进行dplyr包的后续计算会产生三个不同的值,比如:
summarise(group_by(birthwt,race),mean.bwt=mean(bwt),sd.bwt=sd(bwt))
按照race分类变量,计算各组中的出生体重的平均值和标准差。
summarise()函数可以用于计算数据框某个变量的指定统计量。
格式:summarise(数据框,生成统计量名称=统计函数(变量))如果有多个可以用逗号隔开。
tibble是tidyberse系列包(dplyr包)提供的一种类似于数据框的格式。
6. 数据框的合并
1. 按照某个共有变量合并
数据框的连接除了merge()函数默认取交集外,还可以使用dplyr包中的jion()函数。
test1 <- data.frame(name = c('jimmy','nicker','Damon','Sophie'),
blood_type = c("A","B","O","AB"))
test1
test2 <- data.frame(name = c('Damon','jimmy','nicker','tony'),
group = c("group1","group1","group2","group2"),
vision = c(4.2,4.3,4.9,4.5))
test2
- inner_join( ) 取交集
- right_join()右连接
- left_join ()左连接
- full_join ()全保留
- semi_join ()半连接:一个表根据另一个表取子集,类似于交集,但是输出的数据框只有第一个数据框的变量,不是两个数据框的全部变量
- anti_join ()反连接:根据一个表对另一个表中没有的对象取子集
library(dplyr)
inner_join(test1,test2,by="name")
right_join(test1,test2,by="name")
left_join(test1,test2,by="name")
full_join(test1,test2,by="name")
semi_join(test1,test2,by="name")
anti_join(test1,test2,by="name")
注意两者的区别!
2. 纵向合并
要纵向合并两个数据框可以使用rbind()函数。前提:两个被合并的数据框必须拥有相同的变量,通常用于合并数据框中的观测。
data1 <- data.frame(id=1:5,
sex=c(0,1,1,0,1),
age=c(32,46,25,42,29))
data2 <- data.frame(id=6:10,
sex=c(1,0,1,1,0),
age=c(52,36,28,34,26))
rbind(data1,data2)
3. 横向合并
横向合并两个数据框,可以使用cbind()函数,前提:用于合并两个数据框必须拥有相同的行数。
data3 <- data.frame(days=c(28,57,15,7,19),
outcome=c("discharge","dead","discharge","dead","dead"))
cbind(data1,data3)
7. %>%的传递操作
library(dplyr)
x1=filter(iris,iris$Sepal.Width>3) #筛选行
x2=select(x1,Sepal.Length,Sepal.Width) #筛选列
x3=arrange(x2,Sepal.Length) #从小到大排序
x4=arrange(x2,desc(Sepal.Length)) #从大到小排序
多次赋值,产生多个变量,x2和x1是中间变量,没有用容易让数据表格更加繁琐。
x=iris %>%
filter(Sepal.Width>3) %>%
select(Sepal.Length,Sepal.Width) %>%
arrange(Sepal.Length)
8. 数据框长宽格式转换
长格式:每次观测作为一条记录,所以一个观测对象可能占有多行。
宽格式:一个对象的多个不同时间点的观测都记录在同一行里,即是一个观测对象只占一行。
案例:以数据集Indometh,该数据集关于药物吲哚美辛的药物代谢动力学数据,一共6个试验对象,每名对象在连续8小时内定时测试血液中的药物浓度,一共测定了11次的值
这是一个典型的长数据格式,一个观测对象具有不同时间测试结果。
方法一:基础包中reshape()函数
#长数据转为宽数据
wide <- reshape(Indometh,
v.names = "conc", #结果变量的值
idvar = "Subject", #观测对象的id
timevar = "time", #时间变量/也即是多次测量的变量
direction = "wide")
#宽数据转为长数据
long <- reshape(wide,
idvar = "Subject", #观测对象的id
varying = list(2:12), #需要合并的列
v.names = "conc", #合并后值得名称
direction = "long")
time不能识别出具体的时间,只能以1,2,3这样进行分组。
方法二:tidyr包中pivot_wider()函数用于长格式转为宽格式,pivot_longer()用于把宽格式转换为长格式
library(tidyr)
wide <- pivot_wider(as.data.frame(Indometh),
names_from = time, #分组名称
values_from = conc) #变量值
wide
因为Indometh不是数据框格式,所以需要将转化为数据框格式,如果是数据框格式,直接输入数据名称。
long <- pivot_longer(wide,-Subject, #-观测ID名称
names_to = "time",#合并后的组名
values_to="conc") #变量值组的名称
一个整洁的数据集应该满足:每一行为一个观测,每一列代表一个变量。在对医学数据进行分析之前,通常情况下应先把数据集转换为长格式。
9. 缺失值处理
9.1 识别缺失值
判断是否是缺失值NA,is.na( )函数,当数量较多时,需要用table函数统计频数便于找到NA。
height <- c(100,150,NA,160)
is.na(height)
table(is.na(height))
注意:任何包含NA的计算结果都是NA,如果需要计算统计量,需要将NA移除,一种方法是设置参数na.rm=T,一种是使用函数na.omit()把缺失值省略。
比如计算某变量的平均值
mean(height)
mean(height,na.rm = T)
mean(na.omit(height))
函数summary()在计算向量的统计量时,会自动忽略缺失值,同时显示出缺失值的个数
summary(height)
9.2 探索数据框中的缺失值
案例:数据集iris,包含了150个鸢尾花样品,分为3个品种(species),每个品种各有50个样品,每个样品的四种属性,即花萼长度(Sepal.Length)、花萼宽度(Sepal.Width)、花瓣长度(Patal.Length)和花瓣宽度(Patal.Width)。数据集不含缺失值,missForest包中的prodNA随机生成缺失值。
#install.packages("missForest")
library(missForest)
set.seed(1234) #设置随机数种子
iris.miss <-prodNA(iris) #默认生成数据10%的随机缺失值
summary(iris.miss)
9.3 缺失值的处理
处理缺失值可以采用3种方法:1.删除,删除带有缺失值的变量或记录;2.替换,用均值、中位数、众数或其他值替代缺失值;3.补全,基于统计模型推测和补充缺失值。
删除:当缺失值的数量比较少,删除后对分析结果影响不大,可以使用函数na.omit()删除数据框中的缺失值。
#方法一:
iris.sub <- na.omit(iris.miss)
nrow(iris.sub)
#方法二:
iris.sub <- iris.miss[complete.cases(iris.miss),]
结果输出为97,也即是只有97列是完整的记录。complete.cases表示如果数据框种有一行有一个缺失值就输出FALSE,完整数据输出为TRUE,通过取子集的方法把TRUE提出出来,也即是完整数据。
使用特定数值替代缺失值:
以变量Spetal.Length为例,用忽略缺失值后的均值替代缺失值
Sepal.Length.Mean <- mean(iris.miss$Sepal.Length,na.rm = T)
Sepal.Length.Mean
iris.miss1 <- iris.miss#便于后面仍然可以使用iris.miss作为案例
iris.miss1$Sepal.Length[is.na(iris.miss1$Sepal.Length)] <- Sepal.Length.Mean
#提取出向量中缺失值,将其赋值给均值
多重插补:是一种基于重复模拟的处理缺失值的方法,常用于处理较为复杂的缺失值问题。R中有多个可以实现缺失值多重插补的包,Amelia包,mice包,mi包。
其中mice包使用链式方程的多变量补全法,被广泛用于数据清洗的过程。常用的方法有:(1)预测均值匹配(pmm)实质上就是线性回归,适用于数值型变量;(2)Logistic回归(logreg):适用于二分类变量;(3)多分类Logistic回归(ployreg),适用于无序多分类变量;(4)比例优势比模型(polr),适用于有序多分类变量。
#install.packages("mice")
library(mice)
imputed.data <- mice(iris.miss,seed=1234)
summary(imputed.data)
在predictorMatrix中每一行代表含有缺失值的变量,如果该行对应的列元素为1,则代表该列变量被用于建模预测。mice输出的结果是一个列表,其中imp也是一个列表,存放着每个变量缺失值的插补值。
imputed.data$imp$Sepal.Length
函数mice()默认进行5次随机抽样,得到的5次随机抽样的插补值。可以选择其中一组来进行插补。
complete.data <- complete(imputed.data,3)
complete.data
函数complete( )表示提取补全的数据,使用第三组数据补全缺失值。
10. 条件循环语句
10.1 条件语句
条件语句基本结构:
if(是一个逻辑值,不可是多个逻辑值组合成的向量){CODE1}else{CODE2}
if()里面的逻辑值是TRUE,后面大括号内的语句就会被执行,否则反正
i=-1
if(i<0){print("up")} #i=-1<0则为TURE,这运行print “up“
if(i>0){print("up")}
i=9
if(i<0){print("UP")}else{print("down")}
ifelse()#具有三个重要参数:x逻辑值,yes逻辑值为TRUE时返回的值,no逻辑值为FALSE时返回的值
ifelse(i>0,"+","-")#如果i>0则输出+,否则输出-
x=rnorm(3)
ifelse(x>0,"+","-")
if(x>0{print("+")}else{print("-")})#报错
if只支持单个逻辑值,不支持逻辑值向量;ifelse既支持单个逻辑值,也支持多个逻辑值组合成为向量
非常重要的组合操作:
ifelse()+str_detect(),王炸,可以实现分组
library(stringr) samples = c("tumor1","tumor2","tumor3","normal1","normal2","normal3") k1 = str_detect(samples,"tumor");k1 #逻辑值向量 ifelse(k1,"tumor","normal") k2 = str_detect(samples,"normal");k2 #逻辑值向量 ifelse(k2,"normal","tumor")
如果有多个条件就逐一嵌套:
i = 0
if (i>0){
print('+')
} else if (i==0) {
print('0')
} else if (i< 0){
print('-')
}
ifelse(i>0,"+",ifelse(i<0,"-","0"))
10.2 循环语句
10.2.1 For循环
模板:for(i in x){code}
x <- c(5,6,0,3)
s=0
for (i in x){
s=s+i
print(c(i,s))
}
循环的保存:
s = 0
result = list()
for(i in 1:length(x)){
s=s+x[[i]]
result[[i]] = c(x[[i]],s)
}
result
do.call(cbind,result)#把result的结果按列拼接
do.call(rbind,result) #按行拼接
10.2.2 下标循环
x <- c(5,6,0,3)
s = 0
for (i in 1:length(x)){ #length(x)表示x的长度,i表示下标,1,2,3,4
s=s+x[[i]] #直接用两个中括号,没有理由
print(c(x[[i]],s))
}
11. 分割列数据和合并列数据
函数separate()将数据的一列分割为多列。
生信数据常用一些分隔符,比如chr1:pos1-pos2
method <- data.frame(coord=c("chr8:11666485-11666694","chr12:123215010-123215553","chr20:36148133-36149750")) %>%
separate(col=coord, #要分割的列
into=c("chr","pos"), #分割成几列就写几列名字
sep=":") #列的分隔符是什么
method
分割前 分割后
注意:%>%必须有不然,会报错
函数unite()将数据的多列分割为一列
iris %>%
unite(col = "new col", #需要合成的列名
Petal.Width:Species, #需要合成的列
sep = "//") #分隔符符号
12. 字符串常用函数
- str_length( ) 字符串长度
- str_split( ) 字符串拆分
- str_sub( ) 按位置提取字符
- str_detect( ) 字符检测
- str_replace/str_replace_all( ) 字符替换
- str_remove/str_remove_all( ) 字符删除
x="my name is jimmy"
str_length(x)
#str_length是计算字符串长度,包括空格,所以输出结果为16
length(x)
#输出结果为1,因为x在引号内作为一个值
str_split(x," ")
#输出的结果为一个列表格式,需要用取子集的方式将字符串单独保存成一个向量
x2=str_split(x," ")[[1]];x2
x2[2]
当需要将拆分的字符串组合成一个表格
y=c("jimmy 150","Tom 148","Tina 146")
str_split(y," ")
str_split(y," ",simplify = T) #组合形成矩阵
str_sub(x,4,8) #提取x中第4个到第8个字符
str_detect(x2,"y") #分别检测字符中是否含有y字母
#前面已经将x拆分成了多个字符串,并组合成为向量
str_starts(x2,"n")#以n开头
str_ends(x2,"e")#以e结尾
x2
str_replace(x2,"m","n") #只替换每一个字符串第一个检测到的字符
str_replace_all(x2,"m","n") #替换所有字符
x
str_remove(x," ")
str_remove_all(x," ")
13. 大型数据集的处理策略
13.1 清理工作空间
在启动任何新的分析项目时,首先清空工作空间,前提需要的内容保存成.Rdata
rm(list=ls())
rm(list=ls(all=T))
ls( )用于显示当前工作空间中的对象,all=T是为了清理包括隐藏对象在内的所有对象,默认值all=FALSE。
13.2 快速读取csv文件
read.csv在读取大型数据集时速度较慢,有时会报错,可以使用readr包中read_csv( )函数或者data.table包中的fread( )函数读取数据
13.3 剔除不需要的变量
bigdata <- as.data.frame(matrix(rnorm(5000*200),ncol=200))
varnames <- NULL
for (i in letters[1:20]) {
for (j in 1:10) {
varnames <- c(varnames,paste(i,j,sep = "_"))
}
}
names(bigdata) <- varnames
names(bigdata)
创建了一个200个变量,5000个观测对象的数据集。利用两个for循环和R内置的字母数据设置变量名称。
在正式分析之前需要将用不上的变量暂时剔除,减少内存负担。
剔除的方法:联合dplyr包中的select( )函数和tidyselect包中的starts_with( )、end_with( )、contains( )等函数。
选择以a开头的变量:
subdata1 <- select(bigdata,starts_with("a"))
选择以2结尾的变量:
subdatda2 <- select(bigdata,ends_with("2"))
多个筛选条件时,可以使用函数vars()包括多个条件,select_at()筛选
subdata3 <- select_at(bigdata,vars(starts_with("a"),starts_with("b")))
选择变量中包含1的变量
subdata4 <- select(bigdata,contains("1"))
subdata4 <- select_at(bigdata,vars(contains("1")))
剔除以a开头的变量,2结尾的变量,包含1的变量
subdata5 <- select(bigdata,-starts_with("a"))
subdata5 <- select(bigdata,-ends_with("2"))
subdata5 <- select_at(bigdata,vars(-starts_with("a"),-starts_with("b")))
subdata5 <- select_at(bigdata,vars(-contains("1")))
13.4 选取数据集的一个随机样本
对大型数据集的全部记录进行处理往往会降低分析效率,在编写代码时,可以只抽取一部分记录对程序进行测试,以便优化代码并消除bug。
sampledata1 <- sample_n(subdata5,size = 500)
sampledata2 <- sample_frac(subdata5,size = 0.02)
函数sample_n()和sample_frac( )都用于从数据框中随机选取指定数量的行,前者中参数size用于指定行的个数,后者中的参数size用于指定所占行的比例。比如第一个表示,选取其中500例样本,第二个则表示选择其中2%的样本。
![Logo](https://devpress.csdnimg.cn/79de2bf0b7994defa4242ef90d5513fa.jpg)
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)