如何落地“大数据落地”

中国领先的IT技术网站
51CTO旗下网站
大数据如何在企业落地
经常听到很多大数据的概念和趋势,但是落地而务实的介绍相对较少。笔者根据在互联网和数据领域的实际从业经验,总结出数据价值金字塔在企业运营中的应用模型。该模型对应的是企业运营中的不同层面的数据需求,下文讲逐层介绍。
作者:佚名来源:36大数据| 13:58
经常听到很多大数据的概念和趋势,但是落地而务实的介绍相对较少。笔者根据在互联网和数据领域的实际从业经验,总结出数据价值金字塔在企业运营中的应用模型。该模型对应的是企业运营中的不同层面的数据需求,下文讲逐层介绍。
数据基础平台层,金字塔的最底层也是整个金字塔的基础层,如果基础层搭建不好,上面的应用层也很难在企业运营中发挥效果。没有数据或者没有高质量的数据,所有的分析都是误导,所有的数据挖掘都是错误的引导。
这一层的目标是把企业的所有用户(客户)数据用唯一的ID串起来,包括用户(客户)的画像(如性别、年龄等)、行为以及兴趣爱好等,以达到全面的了解用户(客户)的目的。要做好有三个关键:1.企业需要确定打通数据的唯一ID,有的企业是用会员注册号,有的是手机号或者身份证号等等。2.跨部门整合数据的问题。有大数据的企业通常部门都比较多,用户(客户)的各种行为和兴趣爱好数据散落在不同部门,需要企业有意识强有力的去整合;3.通过技术手段和规范手段把数据管理起来,这里解决的问题是存在数据仓库里面的数据具体的含义是什么,以及如何高效的存储和计算,涉及到数据接入系统、元数据管理系统和计算任务调度等系统。
业务运营监控层。这一层首要的是搭建业务运营的关键数据体系,在此基础上通过智能化模型开发出来的数据产品,监控关键数据的异动,并可以快速定位数据异动的原因,辅助运营决策,如果企业构建了实时计算的能力,那么很多业务运营中问题就能过及时的发现。
用户/客户体验优化层。这一层面主要是通过数据来监控和优化用户/客户的体验问题。这里面既运用了结构化的数据来监控,也运用非结构化的数据(如文本)来监控体验的问题。前者更多的是应用各种用户(客户)体验监测的模型或者工具来实现,后者更多的是通过监测微博、论坛和企业内部的客户反馈系统的文本来发现负面的口碑,以及时的优化产品或服务。
业务运营监控层和用户/客户体验优化层最终希望实现企业运营的智能化医生。这两层面做出的工具好比是体温计、血压计、B超、CT等工具,我们用这些工具就能快速透视企业运营中那一模块产生问题。
精细化运营和精细化营销层。这层面有四方面事情:1.构建基于用户的数据提取和运营工具。运营和营销人员通过简单的条件配置(如选择男性、18-24岁以及特定兴趣爱好),便可把数据(用户/客户)提取出来,对数据背后的用户/客户进行营销或运营活动;2.通过数据挖掘的手段提升客户对活动的响应(如点击率),常见的算法有决策树、逻辑回归等等;3.通过数据挖掘的手段进行客户生命周期管理。区别于传统的客户生命周期管理,大数据是可做到实时对不同生命周期的客户进行实时标记和预警,并把有效的活动当成商品一样及时的推送给不同生命周期阶段的客户;4.客户个性化推荐。主要是用个性化推荐算法实现根据用户不同的兴趣和需求推荐不同的商品或者产品,以实现推广资源效率和效果最大化。
数据辅助市场传播。这一层面要做到通过&性感&的数据分析和挖掘来辅助产品进行传播,主要有两种实现方式:一种是好玩的数据信息图谱,相信大家都不喜欢看产品的公关软文,而更喜欢看好玩的内容。尤其是在网络上传播,10-29岁的网民占所有中国网民的一半多(55%,CNNIC 2013年数据),而这些用户偏年轻、偏&潘&,所以这些受众更喜欢&性感&的内容。
淘宝曾经通过统计其购买胸罩C-Cup以上的用户地区分布,发现西安的网民相对比例最多,并发布了这个数据,说西安女生胸部最大,引起不少&潘&网民传播。而腾讯在今年3月份则基于8亿多活跃用户首次披露&逃离北上广&数据图,发现11%的用户在春节后逃离了北上广。
数据辅助市场传播的另外一种方式是直接做成数据产品对外使用。比如,百度指数或百度过年期间做的迁徙地图。百度东莞8小时迁徙图的数据中可以看到,离开东莞后,去香港的人最多。那我们是不是可以简单地得到一个信息,从香港去东莞的人最多&&
业务经营分析和战略分析层。这两个层面在这里就不多说了,因为这两个层面更多的是跟很多传统的战略分析、经营分析层面的方法论相似,最大的差异是数据来自于大数据。但这里面有两方面需要注意:
1.有很多企业错误的把&业务运营监控层&和&用户/客户体验优化层&做的事情放在经营分析或者战略分析层来做。我认为&业务运营监控层&和&用户/客户体验优化层&更多的是通过机器、算法和数据产品来实现的,&战略分析&、&经营分析&更多的是人来实现。很多企业把机器能做的事情交给了人来做,这样导致发现问题的效率较低。我的建议是,能用机器做的事情尽量用机器来做好&业务运营监控层&和&用户/客户体验优化层&,在此基础上让人来做人类更擅长的经验分析和战略判断;
2. 在变化极快的互联网领域,在业务的战略方向选择上,数据很难预测业务的大发展方向,如果有人说微信这个大方向是通过数据挖掘和分析研究出来,估计产品经理们会笑了。从本质上来说,数据在精细化营销和运营中能起到比较好的作用,但在产品策划、广告创意等创意性的事情上,起到的作用较小。但一旦产品创意出来,就可以通过灰度测试,数据验证效果了。
我认为,如果能利用数据通过机器、算法、或者人工的手段,把现状和问题及原因洞悉的特别清楚已经很不错了,这样决策层就可以基于这些情况进行更好的&拍脑袋&决策了。
总之,本文只是提纲挈领的介绍了大数据在企业的落地方案。还有更多的细节和方法论未能展示出来。另外,大数据在不同行业的落地也许有较大的差异。因此,欢迎各行业同仁与我交流探讨。【编辑推荐】【责任编辑: TEL:(010)】
大家都在看猜你喜欢
外电热点热点热点外电
24H热文一周话题本月最赞
讲师:5人学习过
讲师:30人学习过
讲师:5人学习过
精选博文论坛热帖下载排行
本书是在第1版的基础上全面更新、改版而成的,仍然是目前图书市场中唯一一本全面介绍硬件服务器的IT图书。本书针对近两年来所出现的新服务...
订阅51CTO邮刊大数据如何落地_数据说吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名:今日本吧第个签到,本吧因你更精彩,明天继续来努力!
本吧签到人数:0可签7级以上的吧50个
本月漏签0次!成为超级会员,赠送8张补签卡连续签到:天&&累计签到:天超级会员单次开通12个月以上,赠送连续签到卡3张
关注:19贴子:
大数据如何落地
招数1  用大数据挖掘用户需求  传统的新闻出版业面对互联网及移动互联网浪潮时遭遇的最大挑战就是与读者、用户的“脱节”,而我们的读者是谁?用户在哪儿?这恰恰是大数据可以解决的问题。  正如中国联通大数据首席科学家陈一昕所言,用手机上网正成为全球网民的习惯,并由此构建出丰富的数据仓库。“运营商的大数据是一座金矿,我们知道用户的年龄、性别、爱好、行为特征、终端属性等信息,可以系统地给用户做深度、全面、360度全景‘画像’。这些数据与出版业、传媒业结合起来,就可以做更加精准的内容定制与推荐,做更有效的广告推送。”  事实上,很多新媒体公司都在尝试利用大数据挖掘用户需求,如美国视频网站Netflix甚至采用付费方式让用户给其观看的视频打分、做标签,利用大数据综合分析、观察用户的使用行为及需求,为用户提供量身定制的个性化内容。招数2  用大数据优化营销及运营方式  英国著名重金属乐队Iron Maiden通过对用户上网数据的分析,定位歌迷分布密度最大的区域——圣保罗,并在此举办了一场演唱会,取得了空前的成功。在陈一昕看来,这正是利用大数据优化营销的生动案例。  “过去内容生产商和分发商只有一些杂乱无章的匿名用户,而大数据时代有新的渠道可以直达用户、定位用户,更精准地去营销产品。我们可以构建大数据平台,收集用户数据,通过数据挖掘算法等各种技术来分析用户、了解用户,进行市场定位和精准营销,优化定价策略、提高广告效果。”陈一昕说。  国广星空视频科技有限公司首席执行官王明轩认为,原来的内容生产将裂变成专业的内容生产或承包的生产方式;运营将裂变成专业运营和互动运营,且后者将成为未来内容产业的重要运营方式;而广告或者说销售,也将裂变成两大块,一块是原来的模式,另一块是个性化付费或者其他新的运营模式。招数3  做好垂直领域的数据服务  北京北大方正电子有限公司总裁杨斌认为,垂直领域的大数据服务是传统媒体转型的一个切入点和突破口。他指出,互联网的发展格局已经被BAT(百度、阿里巴巴、腾讯)等网络巨头占领了,他们中的每一个都是大平台,吸引了过亿用户。传统媒体转型要挑战大平台几乎不可能,但是很多小平台可以生存,如金融、医疗卫生、汽车、家电等每一个垂直领域都可以产生小平台。“传媒业在资源、内容上有优势,完全有机会在这些小平台上,在每一个垂直领域去挑战BAT,甚至超越他们。”杨斌进一步指出,大数据服务不是把数据简单地提供给受众,经过挖掘、整合的数据才有价值。  商业趋势观察家肖明超也认为,未来内容提供商要从读者群走向社群。“现在的互联网进入一个小圈子、强关系的时代,因此,我们要去关注那些细分的社群,用大数据打造符合他们需求的平台。”
庞大的用户群以及海量的用户数据意味着基础设施的构建必须兼顾高效与稳定,更经济,扩展更方便的云服务平台就成为了选择
勤智数码最新研发的大数据营销平台—数据说就能满足这方面的需求!
大数据真正要落地很困难,这需要强大的大数据技术的支撑。而在营销方面,数据说已经做到了!
不懂大数据的朋友可以了解下科多大数据,很权威的一家大数据培训机构~
贴吧热议榜
使用签名档&&
保存至快速回贴主题信息(必填)
主题描述(最多限制在50个字符)
申请人信息(必填)
申请信息已提交审核,请注意查收邮件,我们会尽快给您反馈。
如有疑问,请联系
每天进步一点点..
一步一个脚印,认真做好每一件事
大数据落地之惑如果有人直到今天还没听说过大数据这个词的话,恐怕只能用“word哥,他可能居住在火星”来形容了,如果有企业直到今天在宣讲自己产品的时候还不扯上几句大数据的话,恐怕真的是不好意思出来演讲了。大数据如此火热,以至于很多企业都部署了大数据产品,应用了大数据技术,也对大数据抱着美妙的幻想:希望大数据技术能够给企业带来立竿见影的效果。但实际上,效果却不尽如人意,很多企业空有一套不错的大数据产品或方案,却无法真正的把大数据技术应用起来,实现大数据在企业中的落地,从而无法发挥大数据技术的价值。百分点集团战略和运营副总裁刘钰对此也深有感触,她表示,目前存在的情况是国内很多行业、或者细分行业的龙头,已经有了很好的信息化基础积累,但在帮助这些客户搭建了大数据平台,做完数据整合、数据打通、数据应用之后,却发现无法到达理想中的效果。很多客户在大数据方面投资都是百万级起,花了很多钱,也费了很多的心血,但最终却还是无法将大数据技术真正应用起来,无法实现大数据在企业中的真正落地,所以百分点从半年前开始就在思考这个问题,为什么在这么多的行业标杆企业当中,大数据却始终无法真正应用起来呢?百分点通过对一些成功应用大数据的企业的研究以及针对一些传统企业应用大数据技术的思考,认为,让大数据真正在企业落地的解决之道,是企业必须将技术与业务进行深度融合,从而形成符合大数据时代的数据决策力。而所谓数据决策力,就是基于数据进行科学决策并产生价值的能力。构筑企业数据决策力数据决策力,是未来任何一家企业必须具备的一种就像财务管理能力一样的基本能力,这种能力是企业在未来竞争中不可或缺的能力,而不仅仅是一个可选项。而要具备强大的数据决策力,就需要从构筑企业数据决策力开始,而一个不断强化的大数据决策平台,将会强有力的支持企业数据决策力的构建。刘钰表示,构筑企业大数据决策平台,绝不仅仅是靠招一些人,上一套系统就可以解决的,它需要遵循一定的流程和方法论,而百分点经过多年各行业的大数据实践,提出了一套已经经过市场验证、行之有效的大数据平台建设“BASIC”理论,即核心理念(Belief)、架构设计(Architecture)、专业团队(Staff)、基础设施(Infrastructure)、机构能力(Capability)。所谓核心理念(Belief),就是相信,即企业决策层必须树立数据是企业的核心资产这一核心理念,相信只有将企业架构在数据之上并基于数据进行决策,企业的大数据转型才能成功,企业才能构筑出强有力的数据决策力,这是一切的前提。在此之上,还要进行企业组织的架构设计(Architecture),建立起能够适应数字化生存方式的企业组织机构,从而将数据的价值充分渗透和传递到企业的各层级中去,只有建立了这样正确的组织架构,大数据在企业落地才能成为可能。而有了这个正确的架构以后,接下来就是要找到正确的人,即专业团队(Staff),组成企业的数据团队,并让数据团队与业务团队保持高效的沟通和协同,主动参与和支持业务决策,这样才能提高整个企业的数据利用效率。有了专业团队之后,企业才应该开始建设基础架构(Infrastructure),而实际上,很多企业在没有做出任何规划之前,就已经开始基础设施建设了,这是企业常犯的一个错误。在所有这四个要素都具备之后,企业不久就会发现,它逐渐形成了一种新的机构能力(Capability),即数据决策力。刘钰总结道,BASIC理论实际上是一个不断循环迭代的闭环,当企业,政府,看到数据决策力带来的对内管理,对外服务的效果,它就会更有动力,它的信念也会再加强,企业也会更愿意来构建更强的团队,把大数据再渗透到更多的部门当中去,如此这般,大数据能够形成的能力,就不仅仅是在营销层面,而是可以渗透到包括产品设计,运营管理、客户关系管理等诸多方面,这样就会形成一个正向的循环,在这样的正向循环中,企业的数据决策力就会越来越高。释放企业的数据决策力当企业具备了强大的数据决策力以后,如何释放这种数据决策力,即如何体现数据价值的问题,就成为了企业面临的又一大问题。而对于这个问题,刘钰认为,只要遵循释放数据决策力的3D理论,企业就可以快捷的建立起大数据应用,使得大数据在企业中的价值迅速得到体现。而决策力的3D理论,则是从数据化(Datafy)开始。数据化就是将数字资源转化为数据资产的过程。大数据的产生,也是互联网的数据化结果,所以到最后,未来将会出现一个数字化的世界,这个世界是现实社会一个镜像,但这个镜像完全是由数据产生。随着物联网的发展,随着各种传感器的发明,未来世界上发生的所有事情,包括人的行为,气侯的变化,噪音的变化,交通量的变化,所有的事务,都会被记录下来,变成一个数据化的记录,形成一个数据化的世界,这就是整个世界的数据化进程。
而有了这些海量的数据之后,第二步就是发现洞见(Discover)。如果这些海量的数据只是存在那里,没有人去分析,那么这些数据是发挥不了任何作用的,而分析这些数据是要有技术和方法的,需要通过综合文本分析、机器学习、深度学习和商业建模等方式,将不同来源、不同维度的数据关联在一起,交叉挖掘分析,从而发掘出隐藏在数据背后的价值和意义。而当你发掘出了数据背后的价值和意义之后,最后一步就是设计重构(Design)了,依托企业丰富的数据资产,将洞见和发现贯穿于企业的实际业务中,或者重构企业的产品,或者是服务,或者是商业模式,从而带来新的业务和商业模式,同时,这些新的业务和商业模式又会带来新一轮的数据和数据化 ,从而形成一个螺旋上升,不断进化的逻辑闭环,促进企业数据决策力不断强化。大数据落地的五种模式构筑企业的数据决策力,释放企业的数据决策力,都是让大数据充分发挥其价值的方法论,而要让这些方法论能够真正帮助企业,还需要一套真正能让大数据在企业中落地的模式,在谈到这个问题时,刘钰表示,百分点认为目前市场中主要有甲方买卖、甲方乙方化、战略合作、合资公司、跨界融合这5种模式来实现大数据落地:
甲方买卖:传统的交付模式,甲方购买大数据产品与解决方案,并由乙方交付;
甲方乙方化:甲方从自身需求出发,形成大数据产品或解决方案,并在同行业中进行输出;
战略合作:供求双方建立战略合作关系、进行深度合作;
合资公司:通过合资的方式深度融合行业,实现大数据技术与具体业务的深度融合;
跨界融合:不同行业之间跨界融合,实现大数据资源的敏锐应用。对于这5种大数据落地模式,刘钰表示:“企业用户可以根据自身业务以及实际需求,决定采用哪种方式来实现大数据转型。五种落地模式反映出技术与业务融合的程度不同,甲乙买卖这种传统模式在技术与业务融合程度方面最弱;甲方乙方化则会带来同业竞争的困扰;战略合作、合资公司以及跨界融合这三种模式能够有效促进技术与业务的融合,不过能够做到跨界融合的公司凤毛菱角。”刘钰最后表示:”大数据是DT时代的重要标志,而DT时代跟IT时代最大的不同在于:大数据时代是一个开放合作,生态化的一个环境。而不是原来IT时代割据的,分离的环境。这也是为什么我们认为在大数据落地的过程当中有会有大量的战略合作,大量的合资公司产生的原因,除了是完成跨界融合技术和业务的高度融合之外,也是由于大数据非常特别的一点,即数据一定要开放流动叠加才能够产生最大的价值,这才是大数据正确的落地模式。“大数据:如何落地才是硬道理
大数据:如何落地才是硬道理
来源:美林大数据
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。
先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,皇帝每晚翻嫔妃的牌子也是数据处理,在翻牌子之前,要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标;更近的说,数据仓库早在大数据这个词出现前就已经成熟发展了好几十年了。所以说,大数据并不新鲜,只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段,顺应这些技术炒出来的概念,但是这些概念都基于一个基本的理念“开源”,这个理念是之前任何阶段都没有过,可以节省费用提高效率,所以大家才都往这个行业里扔火柴(话说现在很多人跟风乱吵,个人认为也不是坏事)。
误区一:只有搞大数据技术开发的,才是真正“圈内人”。
笔者曾经参加过若干会议,70%是偏技术的,在场的都是国内各个数据相关项目经理和技术带头人,大家讨论的话题都是在升级CDH版本的时候有什么问题,在处理Hive作业的时候哪种方式更好,在Storm、Kafka匹配时如何效率更高,在Spark应用时内存如何释放这些问题。参会者都一个态度:不懂大数据技术的人没资格评论大数据,您要不懂Hadoop 2.0中的资源配置,不懂Spark在内存的驻留时间调优,不懂Kafka采集就别参加这个会!对了,最近Google完全抛弃MR只用dataflow了,您懂吗?不懂滚粗!
在这里我想说,技术的进步都是由业务驱动的,某宝去了IOE才能叫大数据吗,我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人,用什么按摩手法进行全流程治疗,就不叫大数据分析了吗?技术发展到什么程度,只有一小部分是由科学家追求极致的精神驱动,大部分原因是因为业务发展到一定程度,要求技术必须做出进步才能达成目标的。
所以,真正的大数据“圈内人”至少要包含以下几种人:
一、业务运营人员。比如互联网的产品经理要求技术人员,必须在用户到达网站的时候就算出他今天的心情指数,而且要实现动态监测,这时候只能用Storm或者Spark来处理了;比如电信运营商要求做到实时营销,用户进入营业厅的时候,必须马上推送短信给用户,提示他本营业厅有一个特别适合他的相亲对象(呈现身高、三围、体重等指标),但是见面前要先购买4G手机;再比如病人来到银行开户,银行了解到用户最近1周曾经去医院门诊过两次,出国旅游过3次,带孩子游泳两次,马上客户经理就给客户推荐相关的银行保险+理财产品。这些业务人员,往往是驱动技术进步的核心原因。
二、架构师。架构师有多么重要,当一个业务人员和一个工程师,一个说着业务语言,一个说着技术术语在那里讨论问题的时候,工程师往往想着用什么样的代码能马上让他闭嘴,而架构师往往会跳出来说“不,不能那样,你这样写只能解决一个问题并且会制造后续的若干问题,按照我这个方案来,可以解决后续的若干问题!”一个非技术企业的IT系统水平,往往有70%以上的标准掌握在架构设计人员手里,尽快很多优秀的架构师都是从工程师慢慢发展学习而来的,IT架构的重要性,很多企业都意识到了,这就是很多企业有CTO和CIO两个职位,同样重要!架构之美,当IT系统平稳运行的时候没人能感受到,但是在一个烟囱林立、架构混乱的环境中走过的人眼中,IT开发一定要架构现行,开发在后!
三、投资人。老板,不用说了,老板给你吃穿,你给老板卖命,天生的基础资料提供者,老板说要有山便有了山,老板说要做实时数据处理分析,便有了Storm,老板说要做开源,便有了Hadoop,老板还说要做迭代挖掘,便有了Spark……
四、科学家。他们是别人眼中的Geek,他们是别人眼中的高大上,他们是类似于霍金一样的神秘的早出晚归昼伏夜出的眼睛男女,他们是驱动世界技术进步的核心力量。除了世界顶级的IT公司(往往世界技术方向掌握在他们手中),其他公司一般需要1-2个科学家足以,他们是真正投身于科学的人,不要让他们去考虑业务场景,不要让他们去考虑业务流程,不要让他们去计算成本,不要让他们去考虑项目进度,他们唯一需要考虑的就是如何在某个指标上击败对手,在某个指标上提高0.1%已经让他们可以连续奋战,不眠不休,让我们都为这些科学家喝彩和欢呼吧。在中国,我认为真正的大数据科学家不超过百人……
五、工程师。工程师是这样一群可爱的人,他们年轻,冲动,有理想,又被人尊称为“屌丝”“键盘党”,他们孜孜不倦的为自己的理想而拼搏,每次自己取得一点点进步的时候,都在考虑是不是地铁口的鸡蛋灌饼又涨了五毛钱。他们敏感,自负,从来不屑于和业务人员去争论。工程师和科学家的不同点在于,工程师需要频繁改动代码,频繁测试程序,频繁上线,但是最后的系统是由若干工程师的代码组合起来的。每个自负的工程师看到系统的历史代码都会鄙视的发出一声“哼,这垃圾代码”,之后便投入到被后人继续鄙视的代码编写工作中去。
六、跟风者。他们中有些是培训师,有些是杀马特洗剪吹,有些是煤老板有些是失足少女。他们的特点就是炒,和炒房者唯一不同的就是,他们不用付出金钱,他们认为只要和数据沾边就叫大数据,他们有些人甚至从来没碰过IT系统,他们是浑水摸鱼、滥竽充数的高手,他们是被前几种人鄙视的隐形人。不过我想说,欢迎来炒,一个行业炒的越凶,真正有价值的人就更能发挥自己的作用。
误区二:只有大数据才能拯救世界
大数据目前的技术和应用都是在数据分析、数据仓库等方面,主要针对OLAP(online Analytical System),从技术角度来说,包含我总结的两条腿:一条腿是批量数据处理(包括MR、MPP等),另一条腿实时数据流处理(Storm、内存数据库等)。在此基础上,部分场景又发现MR框架或实时框架不能很好的满足近线、迭代的挖掘需要,故又产生了目前非常火的基于内存数据处理Spark框架。很多企业目前的大数据框架是,一方面以Hadoop 2.0之上的Hive、Pig框架处理底层的数据加工和处理,把按照业务逻辑处理完的数据直接送入到应用数据库中;另一方面以Storm流处理引擎处理实时的数据,根据业务营销的规则触发相应的营销场景。同时,用基于Spark处理技术集群满足对于实时数据加工、挖掘的需求。
以上描述可以看出,大数据说白了就是还没有进入真正的交易系统,没有在OLTP(online Transaction system)方面做出太大的贡献。至于很多文章把大数据和物联网、泛在网、智慧城市都联系在一起,我认为大数据不过是条件之一,其余的OLTP系统是否具备,物理网络甚至组织架构都是重要因素。
最后还想说,大数据处理技术,再炫如Google的dataflow或成熟如Hadoop2.0、数据仓库、Storm等,本质上都是数据加工工具,对于很多工程师来说,只需要把数据处理流程搞清楚就可以了,在这个平台上可以用固定的模版和脚本进行数据加工已经足够。毕竟数据的价值70%以上是对业务应用而言的,一个炫词对于业务如果没有帮助,终将只是屠龙之术。任何技术、IT架构都要符合业务规划、符合业务发展的要求,否则技术只会妨碍业务和生产力的发展。
随着时代变迁,大浪淘沙,作为数据行业的一员,我们每个人都在不同的角色之间转换,今天你可能是科学家,明天就会变成架构师,今天的工程师也会变成几年后的科学家,部分人还终将步入跟风者的行列。
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&& ------摘自:美林大数据

我要回帖

更多关于 通达信 交易数据落地 的文章

 

随机推荐