R与大数据（4）（4）
网页版Rstudio︱RStudio Server多人在线协作开发
想了解一下RStudio Server，太给力的应用，可以说成是代码分布式运行，可以节省时间，放大空间。
RStudio是一个非常优秀的R语言IDE。 RStudio除了在各种系统中有桌面版本外还有Server版，它可以装载在linux主机上，用户可以通过浏览器远程登录使用R进行数据分析。笔者在之前也曾经折腾过好几回都没成功，不过今天运气不错居然实现了。
一、Rstudio Server下载
部署RStudio Server并不是件困难的事情，根据官方说明，一共包括四个步骤：
安装Extra Packages for Enterprise Linux (EPEL);安装R;安装RStudio S配置RStudio Server.
1.安装EPEL
安装EPEL可以使你更方便的从EPEL来安装R语言，而无需通过其他途径来安装R。如果你运行的是RedHat或CentOS系统的话，你也要安装EPEL来确保RStudio Server正常运行。
不同系统版本安装EPEL的代码如下：
RHEL 5.x / CentOS 5.x
RHEL 6.x / CentOS 6.x
接下来运行：
yum upgrade
等待安装完成即可。
当EPEL成功安装后，使用以下代码便可以轻松的进行R语言的安装：
sudo yum install R
3.安装RStudio Server
对于RedHat/CentOS (5.4+)，安装RStudio Server的代码为：
sudo yum install --nogpgcheck rstudio-server-0.98.501-i686.rpm
sudo yum install --nogpgcheck rstudio-server-0.98.501-x86_64.rpm
4.配置RStudio Server
RStudio Server默认使用的端口是8787，因此在浏览器中输入以下地址便可以看到登录界面：
但是你现在还不能使用你的管理员账号来登录，因为RStudio Server禁止系统级用户登录（包括所有ID小于100的用户），这可能是出于安全因素考虑。因此，必须先添加一个满足要求的新用户。
——来源于博客：/zh/r-cloud-deploying-rstudio-server/
还可以参考博客：/Linux/10.htm
二、RStudio Server的使用
通过浏览器，我们访问RStudio Server: http://192.168.1.13:8787
通过Linux系统用户登陆: conan:conan111
太帅了是不是，web版的RStudio!!
三、RStudio Server多人在线协作开发
1、增加新用户 &案例1
~ sudo groupadd hadoop
~ sudo useradd hadoop -
~ sudo passwd hadoop
~ sudo adduser hadoop sudo
~ sudo mkdir /home/hadoop
~ sudo chown -R hadoop:hadoop /home/hadoop
#测试账号设置成功
~ ssh hadoop@localhost
/home/hadoop
新打开浏览器窗口通过 hadoop账号登陆
2、添加新用户 案例2
添加用户的命令为：
username -u uid -p password
千万记得将uid设定为大于100的数字，大于500更好。
也许你会发现使用新创建的用户名依然无法登录，至少我的情况是这样。对此，我找到了解决办法，即通过修改RStudio Server的用户组限制来解决。
在设置用户组权限之前，必须先创建2个配置文件，RStudio Server在安装时不会自动创建这两个文件，必须手动操作。代码如下：
touch /etc/rstudio/rserver.conf
touch /etc/rstudio/rsession.conf
编辑rserver.conf文件并添加以下代码：
auth-required-user-group=rstudio_users
其中，你可以将“rstudio_users”命名为任何你想要的群组名字。
接下来，将刚才新建立的用户名添加到该用户组：
groupadd rstudio_users
usermod -g rstudio_users -G rstudio_users username
rstudio-server restart
重启RStudio Server之后，你会发现终于可以用新用户登录啦！赶紧来体验在iPad上操作R的感觉吧！
还有一件事情必须注意噢！如果你使用其他电脑的浏览器来远程使用R的话，请确保至少采用以下版本的浏览器：
Firefox 10;Safari 5.0;Google Chrome 15.
RStudio Server原生并不支持IE浏览器，但是你可以通过安装这个IE插件来实现IE操作。
如果你希望了解更多部署RStudio Server的信息，请前往进行了解。
四、其他功能
1、Git代码共享
sudo apt-get install git
#生成rsa密钥对
ssh-keygen -t rsa
#查看公钥并
cat /home/conan/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDMmnFyZe2RHpXaGmENdH9kSyDyVzRas4GtRwMNx+qQ4QsB8xVTrIbFayG2ilt+P8UUkVYO0qtUJIaLRjGy/SvQzzL7JKX12+VyYoKTfKvZZnANJ414d6oZpbDwsC0Z7JARcWsFyTW1KxOMyesmzNNdB+F3bYN9sYNiTkOeVNVYmEQ8aXywn4kcljBhVpT8PbuHl5eadSLt5zpN6bcX7tlquuTlRpLi1e4K+8jQo67H54FuDyrPLUYtVaiTNT/xWN6IU+DQ9CbfykJ0hrfDU1d1LiLQ4K2Fdg+vcKtB7Wxez2wKjsxb4Cb8TLSbXdIKEwSOFooINw25g/Aamv/nVvW1 conan@conan-deskop
把公钥并上传到github
创建一个新的Project: rstudio-demo
/bsspirit/rstudio-demo
绑定本定项目和rstudio-demo
~ cd /home/conan/R/github
~ git init
~ git add .
~ git commit -m 'first comment'
~ git remote add origin :bsspirit/rstudio-demo.git
~ git push -u origin master
打开RStudio设置到/home/conan/R/github目录，tools–&version control –& project setup
在RStudio中修改sayHello.r的代码
sayHello&-function(name){
print(paste(&hello&,name))
sayHello(&Conan&)
sayHello(&World&)
提交：点击tools–&version control–& commit
上传到github：点击tools–&version control–& push
RStudio有如此强大的功能，极大的降低了编程的门槛。还没有用过的同学，赶紧去体验一把吧。极客的感觉！
2、云平台中的RStudio
如果有同道中人想进一步折腾可以考虑和云平台相接合，例如EC2。Amazon
EC2是Amazon Web Services（简称Aws）中的一个主要产品。 Amazon EC2可以看作是一台云主机，云主机上不仅可以搭建网站，也可以运行RStudio Sever。目前Amazon对微型主机提供了新注册用户免费试用一年的活动，爱折腾的同学可以试试。当然国内的盛大云也有超微型主机提供，一年400多元，比较适合个人或小型公司使用。
使用浏览器运行R的好处：
你可以从任何一台能上网的计算机去操作R共享代码、数据和其它文档多用户共享高性能计算资源与协同工作集中管理R扩展包
设想一下，你作为公司数据分析师到客户那里做咨询或培训，使用客户电脑和RStudio Server就能直接利用公司主机上的数据集和程序代码作演示，而不必携带厚重的笔记本出差，这样岂不轻松又显得有科技含量。
&综合参考博客：
1、/Linux/10.htm
2、http://blog.fens.me/r-rstudio-server/
3、/zh/r-cloud-deploying-rstudio-server/
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：26652次
排名：千里之外
原创：72篇
转载：23篇
(2)(20)(18)(31)(5)(9)(3)后使用快捷导航没有帐号？
查看: 8882|回复: 6
【提问】Rstudio怎么安装包
金牌会员, 积分 1693, 距离下一级还需 1307 积分
论坛徽章:12
提问，Rstudio环境下如何安装包，例如 想要安装jpeg包，在RGui下 使用install.packages(&jpeg&)，在Rstudio下好像不行，谁安装过，请赐教！
论坛徽章:17
tools-&install packages
注意安装之前先改一下镜像，在tools-&options-&packages中修改，如果是北京的话可以选择北交大的那个
金牌会员, 积分 1693, 距离下一级还需 1307 积分
论坛徽章:12
hmilybs 发表于
tools-&install packages
注意安装之前先改一下镜像，在tools-&options-&packages中修改，如果是北京的话可 ...
原来如此，已成功安装上 了,谢谢！
注册会员, 积分 111, 距离下一级还需 89 积分
论坛徽章:0
tools-&install packages
注意安装之前先改一下镜像，在tools-&options-&packages中修改，如果是北京的话 ...
原来是这样弄，帮了我的忙了，谢谢
注册会员, 积分 54, 距离下一级还需 146 积分
论坛徽章:1
tools-&install packages
注意安装之前先改一下镜像，在tools-&options-&packages中修改，如果是北京的话 ...
多谢，原来是这么回事
金牌会员, 积分 1319, 距离下一级还需 1681 积分
论坛徽章:15
Rstudio是R语言的界面化工具吗R programing（29）
Error in RStudioGD() :
Shadow graphics device error: r error 4 (R code execution error)
In addition: Warning messages:
1:IngrDevices:::png(“C:/Users/ADMINI~1/AppData/Local/Temp/RtmpWYc8MO/95c0efe47bfb41aab3df215bc1db0f37.png”,
: 无法打开’C:/Users/ADMINI~1/AppData/Local/Temp/RtmpWYc8MO/95c0efe47bfb41aab3df215bc1db0f37.png’文本写入
2:IngrDevices:::png(“C:/Users/ADMINI~1/AppData/Local/Temp/RtmpWYc8MO/95c0efe47bfb41aab3df215bc1db0f37.png”,
opening device failed
连续两天 出现这个问题，之前因为电脑上装了两个版本的R，出现这个问题的时候，网上说因为Rstudio无法识别，卸载了那个不用的版本，后来就好了。今天再次出现这个问题，不知道是什么原因，卸载了再重新装就ok了。
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
(4)(20)(1)(1)(12)(24)日前，Rstudio公司发布了sparklyr包。该包具有以下几个功能：
实现R与的连接—sparklyr包提供了一个完整的后端
筛选并聚合Spark数据集，接着在R中实现分析与可视化
利用Spark的机器学习库在R中实现分布式机器学习算法
可以创建一个，用于调用Spark API。并为Spark的所有包集提供了一个接口
未来在RStudio IDE中集成支持Spark和sparklyr包
通过devtools包实现sparklyr包的安装：
install.packages("devtools")
devtools::install_github("rstudio/sparklyr")
接着，我们需要在本地安装Spark：
library(sparklyr)
spark_install(version = "1.6.1")
如果用的是RStudio IDE，还需下载最新的IDE。它包含有实现与Spark交互的若干增强功能(详情参考)。
安装好sparklyr包之后，我们连接本地的Spark，也可以连接远程的Spark集群。这里，我们使用函数来连接本地的Spark：
library(sparklyr)
library(dplyr)
sc &- spark_connect(master = "local")
返回的Spark连接(sc)为Spark集群提供了一个远程的dplyr数据源。更多连接远程Spark集群的信息参考
使用函数可以实现将R中的数据框导入到Spark。下面我将R自带的iris数据集，nycflights13包的flights数据集，以及Lahman包的Batting数据集复制到Spark（请确保安装了这两个包）。
iris_tbl &- copy_to(sc, iris)
flights_tbl &- copy_to(sc, nycflights13::flights, "flights")
batting_tbl &- copy_to(sc, Lahman::Batting, "batting")
使用dplyr的src_tbls函数可以列出所有可用的表（包括预先加载在集群内的表）。
src_tbls(sc)
[1] "batting" "flights" "iris"
使用dplyr语法
我们利用dplyr语法来对集群内的所有表进行操作，下面是一个简单的数据筛选案例：
# 筛选出飞机晚点两分钟的航班信息
flights_tbl %&% filter(dep_delay == 2)
query [?? x 16]
Database: spark connection master=local app=sparklyr local=TRUE
year month
day dep_time dep_delay arr_time arr_delay carrier tailnum flight origin
&int& &int& &int&
&chr& &chr&
Variables not shown: air_time &dbl&, distance &dbl&, hour &dbl&, minute &dbl&.
提供了许多dplyr包中函数的使用案例。以下案例演示的是航班延误信息的数据可视化：
delay &- flights_tbl %&%
group_by(tailnum) %&%
summarise(count = n(), dist = mean(distance), delay = mean(arr_delay)) %&%
filter(count & 20, dist & 2000, !is.na(delay)) %&%
library(ggplot2)
ggplot(delay, aes(dist, delay)) +
geom_point(aes(size = count), alpha = 1/2) +
geom_smooth() +
scale_size_area(max_size = 2)
支持dplyr的。如下所示：
batting_tbl %&%
select(playerID, yearID, teamID, G, AB:H) %&%
arrange(playerID, yearID, teamID) %&%
group_by(playerID) %&%
filter(min_rank(desc(H)) &= 2 & H & 0)
query [?? x 7]
Database: spark connection master=local app=sparklyr local=TRUE
Groups: playerID
playerID yearID teamID
&chr& &int& &int& &int& &int&
10 biittla01
更多dplyr在Spark中的用法参考。
利用sparklyr包中的函数可以实现在Spark集群中调用机器学习算法。
这里，我们使用函数来拟合一个线性回归模型。数据为内置的mtcars数据集，我们想看看能否通过汽车的重量(wt)和发动机的气缸数(cyl)来预测汽车的油耗(mpg)。我们假设mpg跟这两个变量之间的关系是线性的。
# 将mtcar数据集复制到spark
mtcars_tbl &- copy_to(sc, mtcars)
# 先对数据做变换，然后将数据集分割为训练集和测试集
partitions &- mtcars_tbl %&%
filter(hp &= 100) %&%
mutate(cyl8 = cyl == 8) %&%
sdf_partition(training = 0.5, test = 0.5, seed = 1099)
# 对训练数据集做模型拟合
fit &- partitions$training %&%
ml_linear_regression(response = "mpg", features = c("wt", "cyl"))
mpg ~ wt + cyl
Coefficients:
(Intercept)
对spark得到的线性回归模型，使用summary()函数可以查看模型的拟合效果以及每个预测指标的统计意义。
summary(fit)
mpg ~ wt + cyl
Residuals:
-1.752 -1.134 -0.499
Coefficients:
Estimate Std. Error t value
(Intercept) 33.49945
3.65 0.0002485 ***
0.91 0.0331257 *
0.56 0.1518998
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
R-Squared: 0.8274
Root Mean Squared Error: 1.422
Spark机器学习提供常用机器学习算法的实现和特征变换。更多信息请参考。
RStudio IDE
RStudio的集成支持Spark和sparklyr包。包含以下工具：
创建和管理Spark连接
浏览表格数据和Spark DataFrames的所有列
可以预览Spark DataFrames的前1000行
一旦成功安装完sparklyr包，我们可以在IDE中可以看到一个新的Spark窗口。该窗口包含一个New Connection对话框，用于连接本地或者远程的Spark。如下所示：
Sparklyr包的提供了详尽的学习文档，感兴趣的读者可以自行了解：