1、对于网页为csv文件的页面,可以直接用read.csv函数导入网页数据并转为数据框的形式。html格式的网页也可以读取。例如:data <- read.csv(text="it is a page")#text是要查看的文本head(data,10)#读取网页数据的代码data <- read.csv("page"),page可以是要查看的网址或文本
2、R基础包中的readLines可以读取网页或文本数据。#输入文本cat("asqsd\n1213",file="a1")readLines("a1") #读取文本数据#cat中"\n"表示换行。
3、RCurl包中的getURL()函数获取网页数据。library(RCurl)data<-getURL("a1")#a1为某个具体的网址。head(data)
4、通过getURL直接获取的数据有些凌乱,可以借助library(XML)解析树函数htmlTreeParse处理。library(XML)#解析树函数htmlTreeParsedata_Parse<-htmlTreeParse(data)head(data_Parse,2)
5、对于复杂网站的文本数据,用rvest包中的read_html函数来提取文本数据。library(rvest)page<-read_html("a1")#a1为某个具体的网址data<-html_nodes(page,"table")head(data)#本例中没有输入网址,所以结果为空。
6、通过html_nodes获得的数据不能直接投入使用。table<-html_table(data);table #提取表格数据,可以得到多个表格结果table[1]#查看第1个表text<-html_text(data);text #提取文本数据#在实际应用中,可以发现提取表格后的数据或文本是非常便于分析的。