大数据时代必须要学习这个语言吗

大数据时代:未来可能不用苦苦学外语了-中新网
大数据时代:未来可能不用苦苦学外语了
  初中开始接触摄影,从胶片相机玩到数码单反,今年28岁的的陈伟一直是身边朋友公认的摄影大师,“对于摄影最前沿的东西没有不知道的。”但在近日举行的生态文明贵阳国际论坛“云上贵州大数据年会高峰论坛”中,《大数据时代》的作者、英国籍著名教授维克托?舍恩伯格的一场主题演讲,让陈伟听傻眼了。
  未来,按一次快门得到一张照片的传统将被颠覆,更“潮”的方式是使用一台大数据照相机,每一次拍摄都得到一张影像模糊的大数据照片,这张照片收集了镜头中所有景物的数据,后期在电脑中根据自己的需要把焦点放在不同的物体上,再任意调节每一个点的曝光,最后得到自己想要的照片。舍恩伯格说:“一次拍摄多次选择,大数据就是让生活能有更好多种选择的可能。”
  听了舍恩伯格的演讲,陈伟自言自语地念叨着自己“已经不够‘潮’了”。
  不同语言的人可以直接抓起电话聊天
  令陈伟吃惊的远远不止这些,大数据和语言的结合会碰撞出怎样的火花?陈伟觉得,语言是世界上最灵活的一门学科,一句话不同角度理解就有不同的意思,大数据恐怕难以和语言翻译搭上边。
  中国工程院院士邬贺铨介绍说,利用积累的一些大数据资料已经可以分析出人类用不同语言想表达出的意思,“微软正在准备开发26种语言翻译的手机,将来你这边打电话讲中文,在手机上单击英文模式,海外朋友听到的就是已经翻译过的英文。”他笑道,“未来可能不用苦苦学外语了。”
  大数据之所以能实现语言在线自动翻译转化,关键点在于大数据之间关联性分析。舍恩伯格表示,如果大量的数据没有分析出关联性,那所谓的大数据只能是一堆垃圾。
  他举例说,一家名为Doulingo的公司开发了一个免费语言学习网站和众包文字翻译平台,收集了大量人们学习的数据,通过大数据分析发现不同语言之间思维方式的差异。这样的数据分析结果运用到翻译中就会大大提高准确性和效率。学完一定量的单词和语法知识后,DuoLingo平台会在练习中让不同的用户翻译同一个句子。平台不会直接采纳某位用户的翻译,而是比对各个用户对同一个句子的翻译相似度,将相似度都很高的句子内容综合,确定下正确的答案,除此之外,用户也对其他人的翻译进行投票,这样DuoLingo就能综合考量出最恰当的翻译。
  舍恩伯格认为,大数据是解决语言障碍的优质途径,数据分析能力的提高,将给全世界带来无障碍的交流与沟通。
  更智慧的城市生活就在眼前
  如果说工业革命时期电话、电灯、飞机、汽车等一系列发明将我们的生活带入“自动化”时代,那么大数据时代生活就将把我们带入“智能化”时代。
  “家是一个城市的最小单元,家居智能化反映一个城市智慧的水平。”中国普天战略投融资管理部总经理陈庆方认为。家里供暖、空调、照明甚至窗帘什么时候开关、门和窗如何接入安全保护系统、不同家庭之间怎么实现可视化联络,甚至一个房间在不同的气候条件下播放什么样的音乐最合适,这一切,都可以用智能家居这套系统来解决。在陈庆方口中,这虽然是未来城市中智慧生活的样子,但这一切的功能在当下都能够实现。
  “未来所有汽车都可以实现无人驾驶,只要你设定好路线就行。”舍恩伯格分享了自己对未来智慧城市的期待。他说,Google目前有一款无人驾驶的大数据汽车,可以在输入目的地之后进行自动驾驶,驾驶过程中,汽车不断收集道路的宽度、车流量、身边汽车距离、障碍物等数据,并且进行一秒钟几百万次的数据运行处理,从而选择出最优质的路线到达目的地。
  智慧医疗将快速兴起
  “每一个人的基因信息在我们细胞里面的总和是6乘10的23次方,比现在已知世界上数据的总和还多,基因信息才是真正的大数据。”华大基因创始人汪建说,“人的生老病死都是基因决定,基因的大数据研究能为有效的疾病预防治疗提供支持。”
  汪建说,当今中国每10秒钟就有一个人因为心脑血管病死亡,高学历、高工资基本上等于高血压、高血脂,通过基因数据分析减少心脑血管病发生和死亡率,可能让数字降低到每60秒钟才有一个人因此死亡。
  事实上,大数据时代下的智慧医疗,正是通过大量人体数据的分析,对疾病发展趋势进行预测。
  陈庆方认为,智慧医疗系统还可以为医院和养老院提供更好的解决方案。他举例说,老年人手上戴实时监测个人生命体征的腕表,这个腕表与通信系统相联络,如果老年人突发各种症状,比如走失、摔倒,可以通过腕表迅速找到老人,并连通救护机构,第一时间为周边施救者提供专业的救助信息支持。
  打破数据壁垒才能全社会共赢
  在大数据堪比黄金的今天,英特尔中国研究院院长吴甘沙认为只有让数据流动起来,才能滋养数据社会,真正发挥作用。
  吴甘沙举例说,一西方国家的安全部门有恐怖分子的名单,为了了解恐怖分子行踪,便去问航空公司要乘客登记记录,航空公司不给,因为这涉及乘客隐私问题,反过来,航空公司为了降低安全风险又去安全部门要恐怖分子的名单,安全部门认为这是国家机密拒绝提供。
  双方都不愿意给出数据,但是双方都有数据需求,这事实上是一个非常经典的问题。在大数据时代的今天,吴甘沙认为政府和社会必须做到数据共享才能共赢。未来很可能会催生许多大数据交易市场,而大数据中蕴含了大量私密性、保密性信息,什么样的大数据信息可以进行买卖?需要政府和社会提前思考,同时提早研究,建立法律来进行约束。
  邬贺铨说,如果政府能够适当开放所掌控的数据,全世界都会从政府开放的数据当中受益。麦肯锡公司认为这大概会给全球经济每年带来23000亿到53000亿的红利。
  邬贺铨认为,最终从大数据产业中受益的还是企业和政府,而对每个人来说,进入大数据、智慧城市、物联网、移动互联网和云计算的时代,就意味着让未来生活充满无限畅想的可能。(裴江文 本报记者 白皓 马富春)
【编辑:朱峰】
>教育新闻精选:
直隶巴人的原贴:我国实施高温补贴政策已有年头了,但是多地标准已数年未涨,高温津贴落实遭遇尴尬。
66833 34708 30649 18963 18348 16939 12753 12482 12188 12157
 |  |  |  |  |  |  | 
本网站所刊载信息,不代表中新社和中新网观点。 刊用本网站稿件,务经书面授权。
未经授权禁止转载、摘编、复制及建立镜像,违者将依法追究法律责任。
[] [] [京公网安备:-1] [] 总机:86-10-
Copyright &1999-
chinanews.com. All Rights Reserved程序猿一定要学大数据吗?
衡量职场发展的指标
首先,我们都是职场人,在职场中摸爬滚打直到退休。我们都渴望去做有价值的工作,因为工作越有价值,自己的地位越稳固,收入越丰厚,把这个当做追求目标其实无可非议——当然追求其他信仰或情怀的朋友除外。在职场中,我们从年轻的时候开始就有类似的困惑,我们应该做什么好呢?做什么更有利长期发展呢?做什么会让自己工作更稳定呢?究竟什么工种、什么工作能解决我的需求和困扰呢?
从中长期来看,肯定是那些积累性好,或者越老越吃香的工作比较让人心仪,这应该不难理解。什么是积累性好呢?那就是,淘汰慢,经验积累容易形成壁垒,不容易被人轻易赶上。
很多程序员没有安全感的原因很简单,比如Python语言或者Java语言,你工作了10年的Java程序员和一个5年的差距有多大呢?5年和3年的呢?根据我的经验(或许不够全面,但是能说明一定的问题),对于那些工作很努力且舍得动脑子的程序员朋友来说,工作的前一两年的进步速度是最快的,可以说是陡升,这时候的积累主要是对语言功能方面的。语言怎么使用,什么特性,用什么类实现什么功能,这些技巧在这个时间里相对容易积累。3~5年的时候开始偏重架构,怎么设计类的继承关系会让重用更为合理,工程改动量小,维护成本低,执行速度快,资源消耗小……5年往后则是在3~5年的基础上更为熟练,一些更注重架构的人可能会去研究虚拟机的特性,并逐步在很多细节性的问题上有更多的发言权,例如堆栈的分配、线程的调用特点等。
但是我们观察一下不难发现,虽然从时间上看,后面的进步看上去非常牛,非常显档次,但是在具体实际完成功能性任务的时候显然帮不上什么大忙。这样的人才最后会成为金牌架构师的人也比较少。一是因为供需到了这个环节也就进入末端,架构师的需求和程序员的需求显然不是正比关系。二是还需要自己花极大的力气去做修炼,成材率还低,这是阶段个投入产出比不那么诱人的工作。而如果一旦由于主客观原因不能成为架构师,而仍然是一名程序员的话,那再和年轻的小朋友们竞争,就显得有点拙荆见肘了。尤其是在项目上需要用到新的语言或者技术的时候,优势从何而来呢,这个问题就给很多老程序员造成了困扰。
这个问题也并不能说无解,多年的程序员生涯,如果一个人肯动脑子的话,肯定还是能够总结出不少有价值的东西,例如很多有用的代码片段,以及很多有用的设计模式,很多辅助自己工作的工具,很多总结出来的设计技巧等等。这些万变不离其宗的东西会帮助一个程序员在职场竞争中获得一定的优势,但是时间再久一些,比如到了15年或者20年的时候,这些东西是不是还能跟10年经验左右的人抗衡呢?这又是个问题了。
说到这里,我只是想恳切地提醒各位程序员朋友,注意积累的问题,以及注意要给自己积蓄足够的能量让自己蜕变,化茧成蝶。
大数据产业为何让人着迷
再回过头来说,程序员究竟要不要学习大数据的事情。我觉得思路和刚才差不多,那就是看看在大数据学习的过程中,能不能给我们带来这种积累性的优势。这种优势越大,我们就越值得学习,反之则不必考虑。那么大数据是这样一种东西吗?
我们说,大数据这种产业之所以让人着迷,之所以被社会所看好,主要的原因是大数据产业最终的目标是为了通过大范围数据的交换与写作分析消除不确定性,减小试错成本——这个才是根本。
大数据相关的工种里面粗分有开发岗、架构岗、分析岗三种。开发岗和其它语言种类的开发岗一样,是对语言工具或者工程性工具的使用,比如Hadoop的使用等。架构岗侧重的是根据项目特性的不同进行性能调优和稳定性调优等工作。分析岗则是注重对数据的分析和解读,以及归纳和预测等。
程序员朋友们在学习大数据的时候,容易迷茫,现在的框架非常多Hadoop、Spark、Storm、Scikit-learn、Mahout、TensorFlow等,究竟应该学哪个才对自己的职业生涯更有价值呢?我认为,在这个里面,除了刚刚我们说的积累性好这个特点我们需要把握以外,还有四个字需要注意,那就是“扬长避短”。
对于这些开源框架,尤其是比较火热的开源框架,是在业界广泛获得认可的,生命周期长,供需旺盛,通常可以作为普通程序员切入的落脚点。对于Hadoop、Spark这些工具的使用,其实已经是在接触大数据开发这一工种了。学好用好一两种流行框架,谋生肯定不是问题了。
对于分析能力比较好的程序员,尤其是数学比较好的程序员,可以考虑去做机器学习、神经网络(深度学习)相关的一些框架和项目,这类项目的积累性比前面工程性的Hadoop和Spark甚至要更好。从中长期来看,在机器学习和神经网络方面的发展是能够作出一个垂直领域的“无人设备”的——凡是“无人”的东西都是改进和发展生产力的,都是会被自己所服务的行业所接纳的东西。
而对于项目管理以及其他更高级别的职场人来说,大数据能够带给你的就是更多的思维层面和辩证看待数据的逻辑,而且在普及性学习的工作中,你会了解到哪些技术能做什么,有什么优势。这样的知识对于一个管理者对当前技术形势作出判断,估算难度和成本,以及开阔创新中的想象力都是大有裨益的,同样是有重要积累意义的东西。
责任编辑:
声明:本文由入驻搜狐号的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场。
今日搜狐热点  感觉现在大数据好火啊,工资还高,招的地方又多的,我在网上看了下科多大数据的课程,java出身的只用再学点进阶课程,2个多月就可以出来了,我现在有点心动啊,感觉有点自己前途有望啊,有没有哪位大神了解一点的,来跟我分析分析要不要去学
楼主发言:1次 发图:0张 | 更多
  Web安全攻防课程:http://dwz.cn/4e41x6  UI设计课程:http://dwz.cn/4e46Hr  VR/AR课程: http://dwz.cn/4e46YQ  HTML5网络课: http://dwz.cn/4e47W2  Android开发课程:http://dwz.cn/4e48fq  HTML5开发课程:http://dwz.cn/4e495l  Web前端开发课程: http://dwz.cn/4e49G0
请遵守言论规则,不得违反国家法律法规回复(Ctrl+Enter)(Anna安娜)
(爱学途无忧)
第三方登录:Spark,大数据技术学习必须要掌握的语言—科多大数据
伴随Spark技术的普及推广,对专业人才的需求日益增加。Spark这门语言也是科多大数据在教学实施过程,必须要学习者深入学习的一门语言。不过学习Spark,也不如能操之过急,也需要一招一式,从内功练起:通常来讲需要经历以下阶段:
第一阶段:熟练的掌握Scala语言
1,Spark框架是采用Scala语言编写的,精致而优雅。要想成为Spark高手,你就必须阅读Spark的源代码,就必须掌握Scala,;
2, 虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发,但是最快速的和支持最好的开发API依然并将永远是Scala方式的API,所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序;
3, 尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等;
第二阶段:精通Spark平台本身提供给开发者API
1, 掌握Spark中面向RDD的开发模式,掌握各种transformation和action函数的使用;
2, 掌握Spark中的宽依赖和窄依赖以及lineage机制;
3, 掌握RDD的计算流程,例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等
第三阶段:深入Spark内核
此阶段主要是通过Spark框架的源码研读来深入Spark内核部分:
1, 通过源码掌握Spark的任务提交过程;
2, 通过源码掌握Spark集群的任务调度;
3, 尤其要精通DAGScheduler、TaskScheduler和Worker节点内部的工作的每一步的细节;
第四阶级:掌握基于Spark上的核心框架的使用
Spark作为云计算大数据时代的集大成者,在实时流处理、图技术、机器学习、NoSQL查询等方面具有显著的优势,我们使用Spark的时候大部分时间都是在使用其上的框架例如Shark、Spark Streaming等:
1, Spark Streaming是非常出色的实时流处理框架,要掌握其DStream、transformation和checkpoint等;
2, Spark的离线统计分析功能,Spark 1.0.0版本在Shark的基础上推出了Spark SQL,离线统计分析的功能的效率有显著的提升,需要重点掌握;
3, 对于Spark的机器学习和GraphX等要掌握其原理和用法;
第五阶级:做商业级别的Spark项目
通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面,包括项目的架构设计、用到的技术的剖析、开发实现、运维等,完整掌握其中的每一个阶段和细节,这样就可以让您以后可以从容面对绝大多数Spark项目。
第六阶级:提供Spark解决方案
1, 彻底掌握Spark框架源码的每一个细节;
2, 根据不同的业务场景的需要提供Spark在不同场景的下的解决方案;
3, 根据实际需要,在Spark框架基础上进行二次开发,打造自己的Spark框架;
科多大数据的大数据部门学习,总共要经历初识大数据、大数据数据库、实时数据采集处理、Spark数据分析等几个阶段。目前科多大数据在大数据工程师方面已经培养出了上百名学员,这些学员均已成功高薪就业,输送到各个大数据企业。作为工信部大数据工程师指定培养基地以及2016年度大数据课程培训领域唯一优秀课程,科多大数据定当不忘初心,继续前行!
现在还不清楚自己是否适合学习大数据的小伙伴们可以点击以下链接或者扫描二维码测试一下哦~
http://www.101test.com/cand/index?paperId=IPBAKU
责任编辑:
声明:本文由入驻搜狐号的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场。
今日搜狐热点

我要回帖

更多关于 什么是大数据时代 的文章

 

随机推荐