大数据建站之星数据库配置实例教程下载

来源：蜘蛛抓取(WebSpider) 时间：2017-12-09 21:45 标签： 帝国cms建站实例教程
免费为全国高校提供大数据教学案例
建设者：厦门大学计算机科学系
林子雨 博士/助理教授
(E-mail: ziyulin@, 个人主页：)
（版权声明：本平台所有资源有版权，请勿用于商业用途）
（未经授权，其他网站请勿转载）
扫一扫手机访问本主页
相关其他案例推荐：
相关其他案例推荐：
大数据课程实验案例：网站用户行为分析，由厦门大学数据库实验室团队开发，旨在满足全国高校大数据教学对实验案例的迫切需求。本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。通过本案例，将有助于学生综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。各个高校可以根据自己教学实际需求，对本案例进行补充完善。
熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；
了解大数据处理的基本流程；
熟悉数据预处理方法；
熟悉在不同类型数据库之间进行数据相互导入导出；
熟悉使用R语言进行可视化分析；
熟悉使用Elipse编写Java程序操作HBase数据库。
高校（高职）教师、学生
大数据学习者
本案例可以作为大数据入门级课程结束后的“大作业”，或者可以作为学生暑期或寒假大数据实习实践基础案例，完成本案例预计耗时7天。
需要案例使用者，已经学习过大数据相关课程（比如入门级课程《》），了解大数据相关技术的基本概念与原理，了解Windows操作系统、Linux操作系统、大数据处理架构Hadoop的关键技术及其基本原理、列族数据库HBase概念及其原理、数据仓库概念与原理、关系型数据库概念与原理、R语言概念与应用。
不过，由于本案例提供了全部操作细节，包括每个命令和运行结果，所以，即使没有相关背景知识，也可以按照操作说明顺利完成全部实验。
本案例可以在单机上完成，也可以在集群环境下完成。
单机上完成本案例实验时，建议计算机硬件配置为：500GB以上硬盘，8GB以上内存。
本案例所涉及的系统及软件
图 案例所涉及软件总体概览图
网站用户购物行为数据集2000万条记录。
安装Linux操作系统
安装关系型数据库MySQL
安装大数据处理框架Hadoop
安装列族数据库HBase
安装数据仓库Hive
安装Eclipse
对文本文件形式的原始数据集进行预处理
把文本文件的数据集导入到数据仓库Hive中
对数据仓库Hive中的数据进行查询分析
使用Sqoop将数据从Hive导入MySQL
使用Sqoop将数据从MySQL导入HBase
使用HBase Java API把数据从本地导入到HBase中
使用R对MySQL中的数据进行可视化分析
案例所涉及操作总体概览图
步骤零：实验环境准备
步骤一：本地数据集上传到数据仓库Hive
步骤二：Hive数据分析
步骤三：Hive、MySQL、HBase数据互导
步骤四：利用R进行数据可视化分析
每个实验步骤所需要的知识储备、训练技能和任务清单如下：
步骤零：实验环境准备
所需知识储备
Windows操作系统、Linux操作系统、大数据处理架构Hadoop的关键技术及其基本原理、列族数据库HBase概念及其原理、数据仓库概念与原理、关系型数据库概念与原理
双操作系统安装、虚拟机安装、Linux基本操作、Hadoop安装、HBase安装、Sqoop安装、Eclipse安装
1. 安装Linux系统；2. 安装Hadoop；3. 安装MySQL；4. 安装HBase；5. 安装Hive；6. 安装Sqoop；7. 安装R；8. 安装Eclipse
步骤一：本地数据集上传到数据仓库Hive
所需知识储备
Linux系统基本命令、Hadoop项目结构、分布式文件系统HDFS概念及其基本原理、数据仓库概念及其基本原理、数据仓库Hive概念及其基本原理
Hadoop的安装与基本操作、HDFS的基本操作、Linux的安装与基本操作、数据仓库Hive的安装与基本操作、基本的数据预处理方法
1. 安装Linux系统；2. 数据集下载与查看；3. 数据集预处理；4. 把数据集导入分布式文件系统HDFS中；5. 在数据仓库Hive上创建数据库
步骤二：Hive数据分析
所需知识储备
数据仓库Hive概念及其基本原理、SQL语句、数据库查询分析
数据仓库Hive基本操作、创建数据库和表、使用SQL语句进行查询分析
1. 启动Hadoop和Hive；2. 创建数据库和表；3. 简单查询分析；4. 查询条数统计分析；5. 关键字条件查询分析；6. 根据用户行为分析；7. 用户实时查询分析
步骤三：Hive、MySQL、HBase数据互导
所需知识储备
数据仓库Hive概念与基本原理、关系数据库概念与基本原理、SQL语句、列族数据库HBase概念与基本原理
数据仓库Hive的基本操作、关系数据库MySQL的基本操作、Sqoop工具的使用方法、HBase API的Java编程、Eclipse开发工具使用方法
1. Hive预操作；2. 使用Sqoop将数据从Hive导入MySQL；3. 使用Sqoop将数据从MySQL导入HBase；4. 使用HBase Java API把数据从本地导入到HBase中
步骤四：利用R进行数据可视化分析
所需知识储备
数据可视化、R语言
利用R语言对MySQL数据库中的数据进行数据可视化分析、R的安装、相关可视化依赖包的安装与使用、各种可视化图表生成方法
安装R语言包、安装可视化依赖包、柱状图可视化分析、散点图可视化分析、地图可视化分析
为了解决高校大数据教学需要综合实验案例的迫切需求，2016年10月上旬，厦门大学数据库实验室组建了由林子雨老师和阮榕城（厦大数据库实验室2015级研究生）、薛倩（厦大数据库实验室2015级研究生）、魏亮（厦大数据库实验室2016级研究生）、曾冠华（厦大数据库实验室2016级研究生）同学组成的案例开发小组，通过大量调研学习网络资料和相关案例，开发了本教学案例。期间，多次举行小组会议，讨论案例制作思路和技术细节。最终，经过近两个月的团队努力，于日顺利完成案例第1版的开发并上线发布。
图（摄影 夏小云）
大数据案例开发团队日合影
（人员从左到右名单：魏亮、阮榕城、林子雨、薛倩、曾冠华）
日，发布案例V1.0版本。
本案例相关事宜，欢迎联系厦门大学数据库实验室林子雨老师：E-mail: ziyulin@Google(谷歌)正试图扩大在中国的业务。谷歌正在中国地区招聘工程师，拟在中
张吉爽1分钟前&阅读（0）&评论（）&收藏（0）
一年多前听说了
这个词，以为就是数据大的意思，随着媒体不断地曝光
张吉爽1分钟前&阅读（0）&评论（）&收藏（0）
人工智能技术正在加速发展，为这个世界带来全新变革。不过，很多新科技都是
张吉爽1分钟前&阅读（0）&评论（）&收藏（0）
日前，随着人们的生活水平不断提高，互联网、理财产品等的不断普及，诈骗方
张吉爽11月23日 11:14&阅读（9）&评论（）&收藏（0）
面临三大制约因素：安全和开放体系亟待建立、企业管理理念
张吉爽11月23日 11:14&阅读（10）&评论（）&收藏（0）
发展现状大数据成为塑造国家竞争力的战略制高点之一，各国纷纷将大
张吉爽11月23日 11:14&阅读（10）&评论（）&收藏（0）
人类正在进入人工智能时代。近年来，世界主要发达国家和科技公司纷纷将人工智能当成重要战略方向，投入巨资研发和布局。近期，记者走访多家高科技公司和科研院所了解到，中国人工智能产业发展已处在世界领先地位
张吉爽11月23日 11:14&阅读（5）&评论（）&收藏（0）
如今，层出不穷的新技术提供了很多创新，但最终使人们的生活依赖于技术。企
张吉爽11月23日 11:14&阅读（3）&评论（）&收藏（0）
如果数据有一点点就不错了，那么数据是海量的话就一定棒极了，对不对？这就
张吉爽11月23日 11:14&阅读（6）&评论（）&收藏（0）
我们现在已经迈入了AI与机器人逐渐取代人类工作的年代，在不知不觉间，AI的
张吉爽11月23日 11:10&阅读（9）&评论（）&收藏（0）
&阅读（54）张吉爽 11月09日 11:28
&阅读（49）张吉爽 11月09日 11:28
&阅读（48）张吉爽 11月09日 11:28
&阅读（40）张吉爽 11月02日 11:41
&阅读（40）张吉爽 11月02日 11:41
微信扫一扫
400-650-7353智慧城市解决方案
智慧城市典型案例
北明软件有限公司
北京地址：北京市西城区德胜门外大街13号院1号楼合生财富广场9层
广州地址：广州市天河区思成路1号北明软件大楼7-8层
版权所有@北明软件有限公司 粤 ICP 备热门搜索：
当前位置： >
> 2016传智大数据第3期实战培训视频教程完整版
2016传智大数据第3期实战培训视频教程完整版
本套2016传智大数据第3期实战培训视频教程完整版是一套非常给力的大数据自学教程，有需要学习大数据的朋友可以参考本套教程，希望您通过本套教程的学习能够学会一技之长，丰富自己的知识，祝各位屌丝小伙伴们早日逆袭！
大数据基础课程
离线数据分析
实时数据分析
Scala函数式编程
Spark内存计算
机器学习增强
离线部分课程主要包括：hadoop、hive、flume、azkban、hbase等以及项目实战
实时部分课程主要包括：storm、kafka、redis以及项目实战
内存计算部分课程主要包括：scala编程、spark原理、spark源码解析、机器学习以及项目实战
2017年屌丝建站教程自学网全新升级，实力教程打架整理中，有需要逆袭的小伙伴抓紧时间来学习吧，祝各位小伙伴鸡年大吉吧！
网盘提取密码: y9xu
本文版权归原作者所有，转载请注明原文来源出处，屌丝建站教程自学网感谢您的支持！
本文链接：

我要回帖

更多关于 帝国cms建站实例教程 的文章

 

随机推荐