17845人阅读
程序人生（76）
&很多年前我很郁闷地写了一篇博客《程序员的出路在哪里？》，之所以郁闷，我记得是看了中国男足的比赛，情不自禁对比自已苦逼的程序员生涯，曾经对中国软件的感情有如对中国男足，绝望到没有任何一丁点希望，但又无路可走，于是埋头苦干默默奋斗无数年，时过境迁，我依然在这条路上奋力拼搏，正如当年我所推荐的第一个出路一样，软件创业，想说爱你不容易，但除了爱你，我还能爱谁？&重新阅读了一下当年的文章，我推荐的程序员出路依次是软件创业、技术管理者、出国、技术资深者、再读书以及技术支持或客户服务，其实还是很有想法的，能想到的都想到了，如今我们当年很多的程序员也差不多是在这些道路上混着，爱好折腾的基本上都在创业，能文能武的基本上都是CTO，口口声声说爱国的基本上都出了国，深爱着代码的技术牛人基本上成了人见人挖的技术超人，社会是多样化的，职业也是多样化的，很难评说这种就一定比那种好，这就是所谓的三百六十行，行行出状元。人啊，关键在于专注与专业，别最终弄得自已样样会样样不精。&程序员是很苦的，技术发展太快，我们需要不断地学习，以更新知识与技能，否则很快这会被时代所淘汰，没有成功的程序员，只有时代的程序员，我们不想象诺基亚那样被时代所抛弃。世界正从IT时代走向DT时代，未来是大数据的时代，企业最有价值的资产就是数据，你所拥有的数据越多你就越有说话权，因此未来企业里最牛逼的员工应该是和数据有关的职位，比如CDO（首席数据官）、数据科学家、数据分析师、数据工程师等，我个人认为这些职位将成为程序员又一个美好的出路。&首先我们来理解一下这几个职位。CDO主要负责利用数据推进企业与社会的对话，挖掘企业海量数据中潜在的价值，并运营和管理好数据，为企业战略、营销和管理决策提供参考，CDO的能力不仅仅是大数据领域的范畴，他需要同时具有IT、市场营销、运营管理等综合素质。“数据科学家是指运用统计分析、机器学习、分布式处理等技术，从大数据中提取出对业务有意义的信息，以简单易懂的形式传达给决策者，并创造出新的数据运用服务的人才。数据分析师能洞悉一个方程式的商业意义，他们知道如何提出正确的问题，非常善于数据分析，数据可视化和数据呈现。数据工程师是能运行基本数据模型，充分了解文件系统，分布式计算与大型数据库，他们是能提供可建模数据所需平台的人。“ 【以上三个职位的定义来源于互联网】&那么，程序员如何转型成为优秀的大数据工程师呢？主要是从两者所要求的能力上来分析的，首先大数据工程师是需要有计算机编码能力的，因为面对海量的非结构化数据，你要从中挖掘出有价值的东西，需要设计算法与编写程序去实现，而程序员最牛的能力就是编写简洁高效的代码，去实现人们许许多多美妙的梦想，编码能力越强的程序员越有可能成为优秀的大数据工程师。其次，大数据工程师需要统计学与应用数学相关的能力背景，数据挖掘与分析是需要设计数据模型和算法的，应该说程序员是有这个基础的，我见过最牛逼的程序员一般都不是科班出来的，通常是数学专业，因此提高算法设计能力是程序员转型大数据工程师的关键因素。第三，大数据工程师需要具备某一行业的业务知识，大数据的挖掘与分析最终都要服务于市场，并对产品的销售与企业的发展起到重大推动作用，那才是有价值的大数据分析，因此大数据是不能脱离市场的，它必须与某一行业的应用想结合起来才容易产生更大的价值，通常程序员都是在做某一行业的软件，经过多年的学习与磨练，对某一行业的业务知识是有积累的，因此从来这一点上来看，程序员是很容易过度到大数据工程师的。&当然，以上都只是粗略的分析，真正要成为一名优秀的大数据工程师，程序员还需要更多的学习与努力。总而言之，前景是光明的，未来是美好的，在美国，大数据工程师平均年薪达17.5万美元，在中国顶尖的互联网公司里，大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了，国内发展势头很猛，而大数据相关的人才却非常地有限，在未来若干年内都会是供不应求的状况，指望大学培养出合格的大数据人才有如天方夜谭，因此我们程序员要努力与争气。&
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：1368099次
积分：18151
积分：18151
排名：第484名
原创：333篇
评论：2353条
(1)(1)(2)(5)(2)(2)(3)(4)(3)(2)(4)(2)(1)(6)(3)(3)(4)(5)(5)(4)(4)(4)(5)(7)(3)(2)(2)(1)(3)(2)(4)(5)(5)(1)(1)(2)(1)(1)(3)(2)(1)(1)(2)(1)(1)(2)(2)(2)(1)(6)(1)(2)(1)(1)(3)(1)(1)(1)(2)(1)(2)(1)(2)(2)(6)(3)(3)(3)(2)(3)(4)(2)(3)(1)(1)(3)(2)(1)(1)(2)(4)(3)(3)(2)(1)(3)(2)(1)(3)(4)(3)(6)(5)(3)(4)(2)(3)(2)(2)(3)(1)(4)(7)(3)(3)(4)(2)(2)(1)(1)(2)(4)(1)(6)(2)(5)(6)(4)(1)(6)(2)(3)(5)(1)(3)人生面临的难题很多，转折点也很多，选择对了，前途光明，否则只能暗淡一生，作为IT程序员该如何转型呢，IT程序员转型大数据有什么好的建议呢？
数据科学家被《财富》杂志誉为21世纪最性感的职业，但遗憾的是大多数企业里都没有真正的数据科学家人才。根据麦肯锡报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。
那么，对于不同职业经历和专业背景的IT人士来说，如何才能尽快转型，加入数据科学家的钻石王老五的行列呢？
达内java培训()专家为大家整理了Ofer
Mendelevitch近日在Hortonworks官方博客发表文章给出了自己的观点。
Mendelevitch认为无论是Java程序员还是业务分析师都有机会成为数据科学家，以下是他对不同人群给出的具体建议：
Java程序员
作为Java开发者，你对软件工程的规则已经了然于心，能够设计软件系统执行复杂任务。数据科学正是关于开发“数据产品”的一门科学，主要是基于数据和算法的软件系统。
对于Java程序员来说，第一步需要了解机器学习的各种算法：现在有哪些算法，都能解决哪些问题以及如何实现。另外还需要学习使用R和Matlab等建模工具，此外WEKA、Vowpal Wabbit和OpenNLP等库也为大多数常见算法提供了经过验证的实现方法。
如果你还不太熟悉Hadoop，学习map-reduce、Pig、Hive和Mahout将很有帮助。达内java培训()专家带你入行，帮你实现梦想！通过微信公众号：“达内java大数据培训”报名，还有机会抽取大奖哦，机会难得，不要错过哦。
Python程序员
如果你是Python程序员，对软件开发和脚本编写一定很熟悉，也许已经在使用很多数据科学中常见的库例如NumPy和SciPy。
Python对数据科学应用的支持很好，尤其是NumPy/Scipy,
Pandas, Scikit-learn, IPython等用于探索性分析的库，以及可视化方面的Matplotlib。
在处理大型数据集方面，多学些Hadoop及其与Python的流式集成。
统计学家与应用科学家
如果你有统计学或者机器学习的背景，那么你很可能很多年前就开始使用诸如R,
Matlab或SAS进行回归分析、聚类分析等机器学习相关任务。
R、Matlab和SAS是很强大的统计分析和可视化工具，对于很多机器学习算法都有很成熟的实现方法。
但是，这些工具通常被用于做数据勘探和模型开发，很少单独用来开发产品级的数据产品。在开发端到端的数据产品时，大多数情况下，你需要需要同时用到其他软件模块如Java、Python等，并与Hadoop等数据平台整合。
显然，熟悉一门或者多门现代编程语言，例如Python或Java是你的首要任务。此外，与有经验的数据工程师紧密合作将有助于更好地理解他们开发生产级数据产品所用到的工具和方法。
业务分析师
如果你的背景是SQL，那么说明你已经跟数据打交道很多年了，你很清楚如何通过数据获取业务分析结果。Hive能让你以你熟悉的SQL语言访问Hadoop上的大数据集，因此是你步入大数据殿堂的首选。
数据产品通常需要使用SQL无法胜任的高级机器学习和统计，因此对于业务分析师来说，进入数据科学领域的第二个重要步骤就是在理论层面深入了解此类算法(例如推荐引擎、决策树、NLP)，并熟悉目前的实现工具如Mahout,
WEKA,或Python的Scikit-learn。
Hadoop开发者
作为Hadoop开发者，你一定已经了解了大数据集和集群计算的复杂性。你还可能熟悉Pig、Hive、HBase并有丰富的Java经验。
第一步，你需要深入了解机器学习和统计，以及这些算法面向大数据集的高效实现方法。Mahout是个不错的开始，可以在Hadoop上实现上述很多算法。
另外一个需要关注的领域是数据清理(data
cleanup)，很多算法在建模前都会为数据分配基本结构。但不幸的是，现实中数据大多很“脏”，清理这些数据是数据科学中一项很繁重的工作。Hadoop通常是建模前大规模数据清理和预处理的工具选择。
通向数据科学殿堂之路不可能一帆风顺，你必须学习很多新规则、编程语言，更重要的是还要积累实战经验。这些都需要时间、精力和投入，但最终你会发现一切都物超所值。
楼主邀你扫码
参与上面帖子讨论
你尚未登录或可能已退出账号:(请先或者JAVA程序员适合学习大数据分析吗？【java吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：626,318贴子：
JAVA程序员适合学习大数据分析吗？收藏
前几天有个做JAVA的兄弟找我谈天，近期也在考虑是不是要学习大数据，毕竟现在大数据很火，潜力值很高，终究怎样看待？首要我们先了解下啥是大数据。大数据的概念是在2001年麦肯锡陈说中提出的，后来被提升到国家级的战略本钱计划中。而大数据在2012年左右才在中国被提起，直到2015年被更多的人认知和学习，逐渐的大数据就成了许多人追捧的新向标。早年许多JAVA都有一种威逼，那即是JAVA的将来在哪？当年分析程序员的将来在于要么您软件创业，要么您就做到资深工程师和技术管理者。因为程序技术翻开的太立刻，只需不断的去学习，不断的去迭代，才调习气翻开速度。许多人都了解一个道理：没有成功的程序员，只需时代的程序员。现在现已从IT时代走向了DT时代，大数据将是将来的趋势。任何时候本钱和数据都是公司最主要的组成部分，那么跟着进入大数据时代，把握对大数据的分析技术的人，才是习气公司翻开和需要的人群。
接下来我们了解下现在大数据的环境情况：一：大数据国内环境。中国人员许多，本钱许多，网络数据量无量，所以我们国家可以称之为数据大国。自从大数据被认知后，国家对于大数据的研讨推进大力支撑，人工智能，云计算等都被提上了科技翻开大纲。大数据的项目和大数据公司逐渐增多，生态办法逐渐完善。大数据所运用到的项目和工作逐渐扩展，大数据运用形势很宽，前景极好。二：大数据需要现状大数据信息本钱共享性差立异才调不可大数据运用水平不高大数据分析部队人员缺少，所以系统不可完善。综上所述，大家能看到国家对大数据的支撑，和现状人员的缺少，是现在悉数当数据工作的现状，那么这些可以作为您是不是了解和学习大数据的一种参看。接下来我们回归论题，那么程序员合适学习大数据分析吗？假定从我自己的角度上来说，假定您对大数据感兴趣，那么我觉得程序员合适学习大数据，首要我们有先天的优势，那即是我们都是技术身世，对软件和系统有天然生成的敏感度，其他即是程序员的逻辑思想都相对来说较强，那么就对于数据的发掘和数据的分析存在着很大的优势。程序思想的角度上来说，任何言语都是相通的，只是语法不相同算了，那么无论是哪个方向的程序员学习大数据必学言语java都比他人要快，只需语法和面向对象的思想改动即可。所以这类基础性的技术类运用，我们把握起来就会立刻许多。 相同的道理，对于Spark、hadoop大数据开发技术，我们学习起来也十分的随手。这即是我看到的程序员优势。对于大数据的将来，会渗透到工作的各个旮旯，任何地方都脱离不开大数据的范畴。人工智能、云计算、云医疗等，都是现在炙手可热的工作标向，这些完全脱离不了大数据的支撑，由此我们就应该明白的认识到大数据的主要性。
对使用挽尊卡
挽回他的尊严！
效果：经验+2
你快走吧，机构的吧，又开大数据班了?
说得好 我去隔壁培训了
登录百度帐号推荐应用PENGYUCHENG32109
王家林 DT大数据梦工厂系列 ， 致谢！
网上关于三次工业革命的各种杂乱文章
大数据时代对程序员意味着什么？
在这个城市的冬天遇见你
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&& & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & &
& & & & ---《遇见 spark》序& by Mr.Snail
沈阳的冬天有点漫长有点冷，12月至一月份最冷，听说2013年的一月创沈阳46年来最冷。
正是在这个城市的地铁口，Snail 头一次从小伙伴的口里听到“Hadoop”，“大数据时代“等词。早就对东北这片神奇的土地很感兴趣，snail毕业前对这里的印象停留在：天不高，甚至有点蓝;人高大，性格豪爽，特能喝。snail尤其喜欢东北口音，无数次暗自模范“哦啦”，“杠杠得”等词语的发音，并乐于其中。
沈阳东软软件园A园区
记得大学英语老师上课提到过，喜欢那感觉– 在哈尔滨的大冬天，穿上厚厚的棉衣，把全身包裹起来，只露两只眼睛-真没想到snail第一次爬至东北最大的城市沈阳（不是哈尔滨），就能深度体验这种美。从东软软件园B区员工宿舍到A区办公楼步行大概需要10分钟左右，正是在这条路上snail体验了沈阳冬天的美！在很多个不知名的晚上，snail独自把全身“武装”起来，从宿舍步行到A区一楼健身房：金黄色的路灯高挂，行人极少，偶尔有公交经过，很安静。一路上伴随snail的是从鞋底与雪地交界处迸发出来的脚步声，还有那款黑色的头戴式mp3里某首不出名的歌：
“我曾有很多梦想，摇动在每个醒来的清晨 ，敲打着我的心房”，“所有的青春有无悔烦恼和成长，所有的理想有呐喊张扬和倔强，所有的梦想有我无穷无尽的力量，今天我终于站在这年轻的战场”。写到这里，snail又刻意翻出许巍的这首《我有一个梦想》听了一下。
好，回忆先放到这里。大数据时代对程序猿来说意味着什么呢？作为一枚java程序猿，snail尝试弄清初这个问题。以下的一些理解主要抽象自 Apache Hadoop 官网相关文档，以及王家林-DT大数据梦工厂系列文章：
一、从工业革命、电气革命、信息化革命到数据革命
啊，这绝对是一个高大上的话题：人类历史上经历了几次科技革命？
snail只对代码、音乐还有女人与小孩这类小问题感兴趣，对于高大如”社会制度“，”发展前景“以及”革命“等官方色彩浓厚的大问题实在不感冒。但是，大’数据‘时代到底是怎样的一个时代啊？这得先了解人类已经历过的几次科技革命：
第一次科技革命：又称工业革命，18世纪60年代起，蒸汽机的广泛应用，使生产力大为提高（瓦特改良蒸汽机）。
第二次科技革命：又称能源革命，19世纪70年代起，电力的广泛使用到太阳能，风能的使用，改变了社会结构和世界形势。
第三次科技革命：又称数据革命，20世纪40年代起至今，计算机的诞生与发展进一步改变了世界形势。
snail大胆将数据革命瞎分为三个递进阶段：互联网-阶段，互联网阶段（1990年至2010年前后）以其互联网+阶段。
90年时互联网上的数据来源主要是家用电脑，到了最近几年，什么电视，冰箱，手机，手表，手环等各种电子设备里的产生数据都跑到互联网上来了，数据量确实猛增。好，装逼到此结束（以上言论，snail随手抄编自网上，管它真假呢）！
二、打造完美世界,塑造智慧星球
蒸汽机的出现标志机械时代的来临，snail 猜想Hadoop的诞生标志大数据时代的来临。当然，你也许会说没有hadoop，数据量还是会猛增，大数据时代一样会来临啊 -但是，要挖掘出大量数据中所蕴含的能造福人类社会的宝贝，我们就得收集数据、分析数据，而 hadoop 这个大型的分布式开源项目，正为我们提供了一个分析大数据的强有力的工具。写到这里，情怀满地的 snail 忍不住极端又粗暴地作一番总结：
工业革命时代，机械工程师（会玩弄蒸汽机的家伙）是这场运动的弄潮儿;大数据时代，会鲁码的程序员是这场运动的主力。
时代赋予精通 java与scala、能玩转hadoop,spark等大数据处理框架的程序员一个神圣使命:打造完美世界,塑造智慧星球！
至于大数据到底有多大、埋藏了哪些宝贝、对江湖上传言的挖宝圣经”hadoop构建大数据的基础设施，Spark是大数据的核心计算框架“的理解以及 snail 如何优雅的面对生活等一系列现实问题与矛盾，依然困扰并将长期困扰snail … 这不正是 你爬行的动力吗，I love pains , 用蓬勃的生命力战胜人性的悲剧性。
连续写了近4个小时，洗洗睡。
打造完美世界,塑造智慧星球：时代赋予精通java与scala、能玩转hadoop,spark等大数据处理框架的程序员一个神圣使命。I love pains ： 用蓬勃的生命力战胜人性的悲剧性。
[注] snail 即 蜗牛 :诞生于马蹄山下，抽象自“ 该不该搁下重重的壳，随着轻轻的风轻轻的仰望 ”。《遇见》系列文章纯属Mr.Snail瞎扯、闲聊，目的在于:
记录 snail 在学习spark过程中的所思所想 ; 记录生活中所发生的有趣的事情。
阅读排行榜