百度大数据部是2014年1月正式成立的，由基础架构部的数据团队（我所在的团队）、百度统计（对外的统计产品）、推荐团队等合并而成，负责百度的基础数据建设（主要是用户行为数据），用户画像，大数据产品探索（如世界杯预测等）。招聘的人才包括研发、产品、商务拓展等，以研发为主。
百度大数据部是2014年1月正式成立的，由基础架构部的数据团队（我所在的团队）、百度统计（对外的统计产品）、推荐团队等合并而成，负责百度的基础数据建设（主要是用户行为数据），用户画像，大数据产品探索（如世界杯预测等）。招聘的人才包括研发、产品…
我只知道阿里的，其实回答这个问题我要收费，因为江湖上太多的人想要知道大数据的平台怎么架构，组织怎么架构。&br&&br&阿里今天的底层平台已经被odps统一了，可能有那么几个超级牛逼的业务方，超级金牛，他们可以有自己的私有集群，自己想怎么玩就怎么玩，别的业务基本都是在odps上。估计今天金牛也会在odps上了。&br&&br&就是底层平台是个公共的资源池，然后各条业务线都可以在这个平台上跑自己的业务，然后中间有个数据仓库的平台部门，负责共有数据的需求，他们会负责去接入集团各种各样的数据源，然后提供公共服务给各个业务方，下面我分前台部门，中台部门，后台部门三个部分分别谈一下组织架构。&br&&br&1.前台部门，就是各个业务方，阿里总体来说，有这么几个大块的重量级大数据业务：&br&&ul&&li&商业智能：这个是给各个大老板看的，你们不要以为老马对经济走势的判断是胡说，老马背后的商业智能团队可能是中国最好的商业智能团队，远胜微策略呀，各大神奇的高大上咨询公司。各条业务线的大老板估计每天都会看日报，有些关键指标他们很care的。商业智能的业务每天大概会有上万个job在跑，是绝对的大数据。&/li&&li&搜索：搜索这个业务懂的人就会懂，在阿里，搜索也是一个很重的业务，搜索的数据预处理是个大数据处理过程。&/li&&li&推荐：这个业务是现在的ceo在天猫ceo任上的时候力推的，尤其是个性化推荐，这个也是用数据的大头。&/li&&li&广告：阿里的大金牛，以前他们是有自己的集群的，因为业务太重要了，当年odps为了拿下广告的业务，专门派后台工程师去帮他们优化job，可见已经到了什么地位了，广告的计算量不用我多讲了。&/li&&li&阿金：阿里金融是odps的第一个客户，上面跑着名动江湖的水纹小微放贷模型，这里讲个段子，当年阿金的job对于后台工程师是可见的，因为阿金的数仓老板说了，给你们看你们也看不懂，所以哈哈哈，好多后台工程师手上居然有阿金的全部job，测试的时候动不动就拿这几千个job虐集群。&/li&&li&安全：是的，阿里的安全已经用上大数据了。&/li&&/ul&2.中台部门，就是集团的基础数据仓库平台，这个部门负责去各个业务部门接入数据源，然后做数据清洗，做数据仓库建模，一些共有的数据需求会在这一层做掉，比如用户表，比如交易表，这两张大表很重要，属于共有需求，这个就是中台部门在做的，当然，他们还有很多共有需求，如果有业务方觉得某个数据他们希望由中台部门来做，他们也可以跟中台聊聊，一般都会接这个业务。&br&&br&3.后台部门，就是odps，这个就是各种计算模型，主要的计算模型有三种，第一sql，第二mapreduce job，第三机器学习的job。所以基本上，这个底层平台需要满足这么几种计算需求：&br&（1）数据导入导出&br&（2）sql&br&（3）mapreduce&br&（4）机器学习库&br&当然，这个平台也有其他的计算模型，比如迭代计算，内存计算什么的，不过这些太技术化了，就不聊了。
我只知道阿里的，其实回答这个问题我要收费，因为江湖上太多的人想要知道大数据的平台怎么架构，组织怎么架构。 阿里今天的底层平台已经被odps统一了，可能有那么几个超级牛逼的业务方，超级金牛，他们可以有自己的私有集群，自己想怎么玩就怎么玩，别的业…
&p&既然题主问的是大数据分析产品，那技术框架类的产品可能不是很切题，我从商业应用的角度，同时整理了国内与国外的公司供题主参考：&/p&&br&&p&&b&1、&/b&&b&金融。&/b&&/p&&figure&&img src=&https://pic1.zhimg.com/50/8bae23befa912e84bd87d9cef83bb03d_b.jpg& data-rawwidth=&600& data-rawheight=&288& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic1.zhimg.com/50/8bae23befa912e84bd87d9cef83bb03d_r.jpg&&&/figure&&br&&p&国外：目前最火的大数据公司肯定是Palantir，这家公司不完全属于大数据金融，但是最大的亮点就是他们的金融反欺诈技术，帮助多家银行追回了前纳斯达克主席Bernie Madoff所隐藏起来的数十亿美元巨款。&/p&&p&还有一家公司叫做ZestFinance，是一个利用机器学习加大数据分析为 payday loan 行业（发薪日贷款，类似高利贷的短期高利息借款）提供客户品质分析的平台。今年六月份，京东也参与了投资，并且与之成立了名为JD-ZestFinanceGaia 的合资公司。&/p&&p&国内：现在几大巨头都在这一块进行布局，腾讯征信、阿里的芝麻信用、京东金融、小米金融，都处在发展的初期阶段，鹿死谁手，尚未可知。&/p&&figure&&img src=&https://pic3.zhimg.com/50/03ff3ccf3b0bcb_b.jpg& data-rawwidth=&317& data-rawheight=&141& class=&content_image& width=&317&&&/figure&&br&&p&此外，比较有亮点的是成都一家公司——数联铭品。团队实力很强，电子科技大学的周涛教授、原德勤中国财务咨询总监袁先智都在这家公司，主攻方向是大数据金融，主打产品叫做“浩格云信”（HIGGS Credit），可以帮助银行、券商、律所等挖掘和计算企业相关信息。&/p&&br&&p&&b&2、&/b&&b&医疗；&/b&&/p&&figure&&img src=&https://pic4.zhimg.com/50/f4361baae5f558d6d8527_b.jpg& data-rawwidth=&173& data-rawheight=&77& class=&content_image& width=&173&&&/figure&&br&&p&国外：Clover Health，2014年 成立，近期也获得了 1 亿美元融资，他们从用户过往的保险理赔数据入手，收集用户的医疗病史，与模型匹配，找出高风险人群，并帮助他们改善健康状况，变治疗为预防，从而减少公司支付的医疗费用。&/p&&p&国内：悦糖，这家公司主要是先寻找致病的根本原因，再帮用户进行精准有效的干预，平稳血糖，改善胰岛素敏感性，从而构建糖前患者的健康生活生态圈。他们在基因检测方面对接的机构是博奥颐和与国家人类基因组北方中心，产品形态包括 APP 和数据分析报告。&/p&&br&&p&&b&3、 &/b&&b&交通；&/b&&/p&&p&国外Uber，国内滴滴快的，这个就不细说了；&/p&&br&&p&&b&4、&/b&&b&招聘；&/b&&/p&&p&国外：LinkedIn收购的 Careerify。公司成立于 2009年，已有不少企业在使用 Careerify，其中包括 Deloitte, Groupon, Microsoft, SpaceX 和 Unilever。Careerify 是款招聘推荐软件，可通过抓取员工的社交网络信息（像 LinkedIn、Twitter 和 Facebook），来发现他们的朋友适合公司的哪些工作职位。除此之外，Careerify 能及时通知本公司的员工，告诉他们公司有哪些新开放的职位，有助于将好的人才留住。&/p&&p&国内：寻英网，他们有两千万人的职业数据库，通过分析，形成职位晋升图谱，如职位晋升路径、职位关联关系等。而对企业，也形成企业成长画像，如企业人才流动趋势、招聘岗位变化趋势。企业用户在平台上发布一个招聘信息，寻英网会在 30 秒内推荐最合适的 20 个候选人，实现以自动的方式为企业提供猎头服务。&/p&&br&&p&&b&5、&/b&&b&农业；&/b&&/p&&p&国外：以“转基因”为特色的跨国农业科技公司孟山都，现在也开始在探索利用大数据提升农业生产效率。在美国农民会和第三方公司合作以对土壤进行测量，并根据农田土壤具体数据，在孟山都服务的帮助下实现播种、施肥、灌溉、病虫害防治的优化，使田地产量提升 3%-6%。孟山都表示，数据科学能够在种子和化肥销售这两大核心业务以外，给公司带来 200 亿美元的创收机会。&/p&&p&国内：象辑科技，这家公司主要是利用天气数据，依托云计算、互联网和数据挖掘技术提升企业生产效率，减少天气、气候影响造成的生产损失。是亚马逊AWS在中国的合作伙伴。在中国这个农业大国，前景也很不错。&/p&
既然题主问的是大数据分析产品，那技术框架类的产品可能不是很切题，我从商业应用的角度，同时整理了国内与国外的公司供题主参考： 1、金融。 国外：目前最火的大数据公司肯定是Palantir，这家公司不完全属于大数据金融，但是最大的亮点就是他们的金融反欺…
&p&我先来个自我介绍，我是某家银行科技部的一位大数据项目经理。最近一年时间一直在负责大数据项目的上线工作。&/p&&p&&b&项目背景：（痛点）&/b&&/p&&p&我行原来的是数据分析工具是SAS，存储用的是主备的EMC高端存储。数仓用的是Teradata。&/p&&p&痛点很多。&/p&&p&其一：太贵了，无论是EMC存储，故障率基本是5年才坏一次，话说我们花了几千万的备用存储设备5年可能才用一次，使用率太低。而且EMC的槽，我们已经插满了，存储空间一直是我们头疼的大问题。可扩展性太差了。&/p&&p&其二：数仓，我们投入了上亿来购买使用维护TD，说实话，TD还是蛮好用的。但是TD的投资回报率太低，每年的维护费就几百万，关键花了这些钱，一些问题没有得到解决，这是我们领导不能接受的。前几年还好，我们行的发卡数据增长不是太快，2010年以后，发卡量成指数上涨，TD上运行的应用积少成多，非常冗余，而且还无法扩容，除非你再买一套，又是要几千万，还不保证问题解决。计算性能这一块，是我们非常头疼的问题。每天晚上跑批任务的时间过长，已经影响到我们白天系统的正常使用。&/p&&p&其三：数据分析，我们之前，用的是SAS，可现在流行R语言来训练模型，作为数据分析工具，慢慢的，行里决定，今年已经没有采购SAS了预算了，预算都给大数据平台产品了。&/p&&p&&b&POC&/b&&b&选型：&/b&&/p&&p&基于以上三大痛点：行里决定采购商业版大数据产品&/p&&p&我们是2015年初做的大数据产品选型，那会，成熟的商业版还不是很多。我们接触了很多家。在这里面小的就不提了。比较有代表性的公司是华为，星环科技。最后基于POC测试结果，我们决定采购了星环科技的产品Transwarp。&/p&&p&&b&我行目前有超过100个大数据节点&/b&&/p&&p&基于我们使用的近两年的使用心得。我说一下我的感受吧。&/p&&p&很多信息都是看星环的公众号和实施的哥们交流所知。基于他们的产品的性能，实施人员的态度，解决问题的效率，我也要友情的给大家介绍一下星环科技这家公司。&/p&&p&&b&国外态度：&/b&&b&Gartner&/b&&/p&&figure&&img src=&https://pic4.zhimg.com/50/8abae0e99cd8_b.jpg& data-rawwidth=&654& data-rawheight=&616& class=&origin_image zh-lightbox-thumb& width=&654& data-original=&https://pic4.zhimg.com/50/8abae0e99cd8_r.jpg&&&/figure&&br&&p&近日，国际知名咨询机构Gartner针对当前数据仓库及数据管理解决方案市场，在其魔力象限1.中对全球21家厂商进行了对比分析，其中，Oracle、Teradata、Oracle和Microsoft三家公司包揽了前三甲，而全球最具发展前景的公司却是来自中国的公司——星环科技（Transwarp），这也是该领域的魔力象限中第一次出现中国公司。&/p&&p&Ps：此处应该有掌声，也证明我们的当初的选择是明智的。&/p&&p&&b&国内态度：工信部产品认证&/b&&/p&&figure&&img src=&https://pic2.zhimg.com/50/edebefa079e68b_b.jpg& data-rawwidth=&600& data-rawheight=&402& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic2.zhimg.com/50/edebefa079e68b_r.jpg&&&/figure&&br&&p&在刚刚结束的2016大数据产品峰会上。星环科技是参与6家测试的性能排名第一。&/p&&p&数据中心联盟拟开展2016年第二批大数据产品能力认证工作，包括基础能力（功能、运维能力、多租户、可用性、安全性、扩展性、兼容性等内容）和性能专项。认证的产品范围：Hadoop/Spark软件平台产品&/p&&p&参与测试的厂家分别是：&/p&&p&东方金信，明略数据，博易智软，华三，星环，腾讯云&/p&&p&&b&星环产品介绍&/b&&/p&&p&这个是我手里的产品架构图。&/p&&figure&&img src=&https://pic4.zhimg.com/50/194eba90517fce06cf91c_b.jpg& data-rawwidth=&556& data-rawheight=&395& class=&origin_image zh-lightbox-thumb& width=&556& data-original=&https://pic4.zhimg.com/50/194eba90517fce06cf91c_r.jpg&&&/figure&&br&&p&这里我主要分享一下inceptor这个组件，我们一般都是开玩笑的说是英赛普特。&/p&&p&我理解的：inceptor&/p&&figure&&img src=&https://pic4.zhimg.com/50/d0ad0bd8d_b.jpg& data-rawwidth=&567& data-rawheight=&339& class=&origin_image zh-lightbox-thumb& width=&567& data-original=&https://pic4.zhimg.com/50/d0ad0bd8d_r.jpg&&&/figure&&br&&p&1、底层是基于spark的，但这里的spark不是我们开源的那个spark，只是借鉴了开源spark的5w行代码。现在inceptor已经200w+以上的代码量了，基本重构了。&/p&&p&2、支持sql on hadoop，支持sql2003标准语法。第三方的TPCDS已经支持100TB的测试数据。99个标准sql都能高效跑过&/p&&p&3、支持oracle,DB2,Teradata,的存储过程。&/p&&p&4、支持ACID分布式事务处理。这点对我们银行很多拉链表非常实用&/p&&p&5、支持高效内存、SSD计算，就是他们的holodesk产品，谁用谁知道，吊炸天，支持index，cube，非常适用银行数据集市场景。&/p&&p&6、支持CBO优化器&/p&&p&7、支持可视化权限管理，计算资源配置，用户安全授权管理，行级安全控制&/p&&p&8、StarGate支持多种数据库和hadoop数据源进行交叉查询，聚合，以及关联操作等能力&/p&&p&9、支持BI产品的对接，例如tableau，smartBI，finereport，cognos等&/p&&p&再给大家分享下我们用星环discover数据挖掘组件做的案例&/p&&p&持卡人用户画像&/p&&figure&&img src=&https://pic2.zhimg.com/50/0d061efdac_b.jpg& data-rawwidth=&453& data-rawheight=&365& class=&origin_image zh-lightbox-thumb& width=&453& data-original=&https://pic2.zhimg.com/50/0d061efdac_r.jpg&&&/figure&&br&&p&用户流失预警&/p&&figure&&img src=&https://pic4.zhimg.com/50/598aa3dcadf95f00fee3cb6aa42aedac_b.jpg& data-rawwidth=&790& data-rawheight=&386& class=&origin_image zh-lightbox-thumb& width=&790& data-original=&https://pic4.zhimg.com/50/598aa3dcadf95f00fee3cb6aa42aedac_r.jpg&&&/figure&&br&&p&他们现在发展很快，成立2年多，已经完成A轮，A+轮，B轮的融资。高成长性&/p&&br&&figure&&img src=&https://pic4.zhimg.com/50/60c8b0103dfafddda50d_b.jpg& data-rawwidth=&904& data-rawheight=&469& class=&origin_image zh-lightbox-thumb& width=&904& data-original=&https://pic4.zhimg.com/50/60c8b0103dfafddda50d_r.jpg&&&/figure&&br&我理解的星环是做大数据基础平台的，非常底层，门槛也比较高，不是一般创业公司能做的了的。&br&&br&&p&还看到过他们列的一些客户，没想到里面我们同业还蛮多的嘛&/p&&figure&&img src=&https://pic1.zhimg.com/50/1dfc967ac81edd_b.jpg& data-rawwidth=&846& data-rawheight=&313& class=&origin_image zh-lightbox-thumb& width=&846& data-original=&https://pic1.zhimg.com/50/1dfc967ac81edd_r.jpg&&&/figure&&br&&p&为什么要这么详细的写这些？&/p&&p&&b&肯定星环科技就是肯定我跟我领导的眼光呀，哈哈哈&/b&。&/p&&p&不过说实话，大数据平台产品，星环是非常棒的，那些外包了下开源hadoop的公司，两者完全没有可比性。&/p&&p&星环的市场部是不是要给我发劳务费呀？&/p&&p&今天就写到这吧，我要去开会了，待续，未完。。。&/p&&br&&p& 3:11 失眠&/p&&p&无聊想到上次写了待续两个字，我就又来了。&/p&&p&这次给大家分享下流处理产品&/p&&p&实时大数据，需要时效性高，处理能力高等&/p&&br&&p&流处理产品主要有storm和spark streaming，原来我们做流处理，需要我们写Java或者scala&/p&&p&我们这家采购商主要是基于spark streming产品开发的，不过都已经重构过了，支持sql，我们只需要写sql，就能定义处理时间窗口等。&/p&&p&下图是TDH的Transwarp strem的架构图&/p&&p&&figure&&img src=&https://pic4.zhimg.com/50/b97d94cbfbc81e_b.jpg& data-rawwidth=&575& data-rawheight=&368& class=&origin_image zh-lightbox-thumb& width=&575& data-original=&https://pic4.zhimg.com/50/b97d94cbfbc81e_r.jpg&&&/figure&1、StreamSQL&/p&&p&
99%的ANSI SQL 2003的支持率&/p&&p&
强大的优化器性能提升&/p&&p&
支持按时间切分滑动窗口和滑动步长&/p&&p&2、多数据源支持&/p&&p&
Socket&/p&&p&
文件&/p&&p&
Kafka&/p&&p&3、多种输出方式支持&/p&&p&
Hyperbase（实时NewSQL数据库）&/p&&p&
Holodesk（内存/SSD存储）&/p&&p&
HDFS(分布式文件系统)&/p&
我先来个自我介绍，我是某家银行科技部的一位大数据项目经理。最近一年时间一直在负责大数据项目的上线工作。项目背景：（痛点）我行原来的是数据分析工具是SAS，存储用的是主备的EMC高端存储。数仓用的是Teradata。痛点很多。其一：太贵了，无论是EMC存储…
大数据的５个小观点&br&&br&2016
欧阳辰 互联居&br&&br&&p&有些流行词像雾霾一样浸透了北京的空气，偶尔清静几天，不时又卷土从来。“大数据”就是其中的一个词。&/p&&br&&strong&大数据外表光鲜亮丽，内则无可奈何&/strong&&p&越来越多程序员也涌入大数据行业，但是仔细问一些从业人员什么是大数据？鲜有人知道？就算知道的，最常引用Victor的4V理论，大量(Volume)，快速(Velocity)，种类多(Variety)，价值(Value)，但究竟多大是大？多快是快？几种算种类多？每个人都有自己的观点。&strong&最核心的问题还不在数量和种类，而是价值(Value)。什么是大数据的价值？如何体现它的价值？如何衡量它的价格 ？它能够变现么？如何来变现却是大数据的核心问题。&/strong&&/p&&br&&p&做大数据的同学，外面看起来像是红楼梦的大观园一样，外表光鲜亮丽，身在其中的人，才知道各有各的无奈。大数据的处理通常分为，数据收集，数据清洗，数据加工。数据应用，数据可视化。数据收集同学总是抱怨数据源Garbage in, Garbage out的感觉，数据清洗的同学总有沙里淘金的感觉，数据加工的同学也经常受两头气，相比来说，做数据可视化的同学比较幸运，可以找到很多炫酷的感觉，但有不是大数据的主流技术。最难受的是做大数据应用/变现的同学，不得不靠着忽悠行走江湖。&/p&&br&&p&好了，列举一下我对大数据的小观点，如有雷同，纯属偶合。&/p&&br&&strong&小观点１：大数据的信息熵值低&/strong&&br&&p&1948年，香农提出信息熵的概念，可以用于表述信息的价值，信息熵高的言简意赅，信息熵低的冗余拖沓。&strong&目前，很多大数据的来源都是一些系统的Log，图片，视频等。&/strong&特别是日志系统数据，数据越来越多，越来越大，其中大部分是固定模板的数据，区分度差，信息量并没有随着数据的增加而线性增加。另外举个例子，之前我们使用胶卷照片的，我们会选择重要的场景，珍惜每一个照片，设计好角度和光圈，现在有数据相机了，内存近乎无限大了，大家肆无忌惮的自拍，哪怕都是同一个角度，大家照的废片也是一把一把的。同一类型的数据多了，信息熵也就降低了。&/p&&br&&strong&小观点２：大数据不是银弹，是蚂蚁效应&/strong&&br&&p&大数据应用常见，多见于推荐系统，业务流程优化，医疗，性能优化，预测，金融交易等，这些业务在传统的做法上，已经十分依赖于数据了，虽然以前不叫大数据，但是也都是数据驱动的业务。数据的规模和种类增多，处理方法的增多，会渐渐提高这些应用的精准性，这种提高一定是渐渐的，一点一滴的。也许一天两天感觉不错来的，但是经过多年的持续改进，这种效果是显而易见的。&br&&/p&&br&&p&举个例来说，语音识别起始于60年代，基于小型词汇库，在90年代，IBM推出的ViaVoice是语音识别的一个里程碑，基于复杂隐式马尔科夫模型(HMM)或者神经网络算法更加成熟，数据也是基于大量的词汇库，语料库。新闻联播曾经就是ViaVoice中文版本的重要训练语库。虽然用了更大的语料库，效果有改进，但是还无法达到实用的程度。2009年以后，借助于互联网语料库的进一步丰富，数据料的增长，远远超过算法的改进程度。语音识别在准确性和实用性得到很大的提升，用户也不断使用语音识别反馈更多的数据。以至于，谷歌公司人工智能方面的专家彼得·诺维格（Peter Norvig） ，和他的同事在一篇题为《数据的非理性效果》（The Unreasonable Effectiveness of Data）的文章中写道，“大数据基础上的简单算法比小数据基础上的复杂算法更加有效。”。大数据正在一步一步的解决一些科技应用难题，例如自动驾驶，人工智能等。&/p&&br&&p&&strong&3.大数据不解释因果关系，只关心相关性&/strong&&/p&&br&&p&《大数据时代》中定义了大数据的第三个特征，“不是因果关系，而是相关关系”。沃尔玛通过数据挖掘，发现蛋挞和飓风产品有很多关联性，并且放在一起销售提高销售量。没有人清楚其中的因果关系，当然，也可能有人牵强的解释，美国人喜欢飓风时期躲在家里吃蛋挞，通过数据我们获得了相关性，但是却不理解其中因果关系。&strong&我突然想起来自于《三体》的降维攻击：很多时候我们在二维世界的相关性，是无法在二维世界进行解释因果的，也许只有在三维或者多维世界才能够解释因果关系，而这种因果关系无法直接理解，只能进行归纳成相关关系。&/strong&&/p&&br&&p&&strong&4. 大数据资源公司最佳变现之路是被收购，最直接变现渠道是广告和泛征信&/strong&&/p&&br&&p&很多专业大数据服务公司的发展都不走上市之路(注意不包括大数据技术公司），因为他们对于变现的能力和可持续性都有很多顾虑，他们也面临高风险的用户隐私挑战，因此很多大数据资源公司的PR工作，远远多于具体落地的数据服务工作。因此，各个专业大数据公司都忙于各种行业洞察报告和排行榜，数据可视化的工作一个比一个炫丽，一个比一个追热点。谈到大数据公司的变现，很多公司会提到“数据服务”，实际上数据服务的市场相对稳定，并没有因为大数据公司的发展而市场膨胀，因此&strong&“数据服务”实际上是一个明显的“僧多粥少”的状态&/strong&，另外老牌的数据公司，例如Nielson等在客户方便还是有一定的优势。&/p&&br&&p&收购成为大数据公司变现最佳方式，2014年Oracle收购BlueKai获得很多众互联网用户数据，BlueKai的数据来源于和很多小网站进行数据交换和购买，尼尔森公司收购了DMP公司eXelate，eXelate的数据来源各个合作伙伴的数据，它提供了数据共享和交换的平台，创建DMP支持广告优化投放。 2014年，农业技术公司孟山都宣布以9.3亿美元巨资收购意外天气保险公司Climate Corporation. Climate Corporation是一家分析历史天气数据的公司,如降雨和土地质量等来帮助农民预测作物产量。在中国阿里巴巴收购友盟也是觊觎数据资源。&/p&&br&&p&&strong&既然数据服务不容易攒钱，那么有没有靠谱的变现途径呢？从目前来说，广告和泛征信是两个最有效的变现渠道&/strong&，效果广告的精确投放，品牌广告主需要强烈的数据背书，这些都需要数据服务，因此在广告行业专业的DMP公司，对于程序化交易是必不可少的。另外，就是征信系统，金融的本质是一个套信用系统，这就是为什么各大互联网公司都早早进入金融业务。目前很多P2P公司是否能够生存，主要依据就是风险控制，大数据是重要技术支持，因此很多P2P会采购大量数据资源，加强自己的征信系统。&/p&&br&&ol&&li&&p&&strong&大数据是对用户隐私的汲取&/strong&&/p&&/li&&/ol&&br&&p&大数据正在结合智能设备的普及而大力推进，例如摄像头，手机，智能穿戴设别等。 其中，大量用户隐私数据被收集，例如用户地址，交易数据，搜索数据，用户的地理位置信息，用户的脉搏，联系人列表等等。这些都是用户的个人数据，各大数据公司都通过改善服务为借口，获得用户的授权，而进行隐私的汲取和偷窥。&/p&&br&&p&也有一种声音，这些数据是为了让你享受更好的服务。这里面也是很多逻辑问题。首先，服务商提供更好的服务，并不代表可以收集用户的隐私数据；其次，很多公司不提供不收集用户隐私数据的服务的选项，这让很多用户无法选择禁止用户隐私数据收集，这是一种利用市场地位的垄断和霸王条款；而后，所有数据公司没有提供数据清理功能，删除用户所有的历史数据。这意味着，你的隐私数据一旦被收集，可以被无限次的无范围的滥用。&/p&&br&６结束语&br&&p&好了今天先谈这么多，大数据很忽悠，小观点也不一定靠谱，兼听则明，偏信则暗。希望大家在大数据的雾霾里面找到自己的新鲜空气。&/p&
大数据的５个小观点 2016 欧阳辰 互联居 有些流行词像雾霾一样浸透了北京的空气，偶尔清静几天，不时又卷土从来。“大数据”就是其中的一个词。 大数据外表光鲜亮丽，内则无可奈何越来越多程序员也涌入大数据行业，但是仔细问一些从业人员什么是大数据？鲜…
关于题主的问题，&a data-hash=&29a386cc4b62dd3a95af790ba2fcf1cb& href=&//www.zhihu.com/people/29a386cc4b62dd3a95af790ba2fcf1cb& class=&member_mention& data-editable=&true& data-title=&@Han Hsiao& data-tip=&p$b$29a386cc4b62dd3a95af790ba2fcf1cb& data-hovercard=&p$b$29a386cc4b62dd3a95af790ba2fcf1cb&&@Han Hsiao&/a& 的概括更清晰明了：大数据的核心价值理解为&b&核心商业价值。&/b&&br&然后我们再来细说核心商业价值，本人水平不高，讲不到面面俱到，但也许能帮大家管中窥豹见其一斑。&br&&br&（利益相关，本人现在在芝麻信用，大数据用在征信场景；本人前公司淘淘搜，可以吹一些大数据相关牛逼。本人对大数据应用相关的产品：推荐、DSP、效果广告，使用较多，对其原理还算有一些了解。）&br&&br&首先，不管你炒作什么概念，最后的目标都是为了让企业盈利，也就是大数据能怎么帮企业赚钱？&br&众所周知，互联网的盈利模式就三种：增值服务、广告、电商（商业服务），再加上互联网最基础的价值，用户量（或者流量）。&br&&b&大数据最大的价值目前来看，最多的落地在广告和用户型产品上&/b&。远未来那些高举高打的数据价值和无限可能性，我们放下不表，我们具体来说说这个数据价值怎么落地。&br&&br&&b&1. 先谈谈大家最兴奋的商业产品&/b&（大部分大公司会将公司业务线分成两大分支：用户型产品和商业型产品）&br&先讲讲BAT三家的大数据在广告端的应用。&br&&b&&u&首先&/u&&/b&BAT三家中，B和A自身都是不生产流量的，而是需要大量的采购流量，特别是B。B和A最知名的广告场景就在搜索结果页。&br&无论是B的关键词匹配竞价广告，还是A的直通车和钻展，为了提高其广告价值，都需要不断强化该场景的广告价值。像B和A这么巨大的流量，广告不再强调聚合广告位，而是强调，流量分发能力。所以广告价值的提升，在于流量分发能力的强化。双方都在不断的强化个性化搜索，基于用户行为的推荐和搜索的融合。百度基于cookie（移动端基于cookie或imei等形成用户唯一标识），阿里基于更精细化的用户模型。当然，目前这些用户行为数据累积的很丰富，但是具体怎么用，怎么更好的挖掘，对于大家来说，都还处于摸索阶段。&br&&b&&u&第二&/u&&/b&，提升价值。首先，百度的搜索流量虽然巨大，但是其有效有商业价值的query其实并不多；相对来说阿里的内部搜索商业价值更丰富。但无论是百度还是阿里，其搜索都被大量无效结果干扰，因为他们有海量的数据——大量无价值的网站、信息，大量低质量的店铺和商品。提升搜索结果商业价值的本质就两条，一是增加优质内容的曝光量——将流量更多的分配给优质的网站或优质的；二是增加点击率——给用户符合他个人特征的优质结果。在这方面，大的用户数据有价值，但目前阶段，很讽刺，就年龄、性别、地域就解决大部分问题了，这是最有价值的数据；大的商品数据或网站数据并不一定有价值，很讽刺，像淘宝这样商品量级的网站，做个性化第一步，就是做小库优质库，第一步一定要做收敛。这点上，淘淘搜遇到的问题和他们一样，因为淘淘搜有4亿商品库，是除了阿里之外，全网最大的商品库；所以我们也采用了同样的处理手法。&br&&b&&u&第三&/u&&/b&，谈完了B和A的搜索广告，再聊聊更多其他的广告。百度还有相当大一块的收入是联盟广告收入，这个和大部分DSP类似，总之就是收集更多的流量，对这些流量的用户建模，有丰富的用户行为数据，然后对这部分用户在各种位置，推送他们感兴趣的内容，但不一定是在他们想要的时候。DSP应该算是非常成熟的模式了。（正因为模式成熟，所以DSP在国内不会有高估值，市场天花板明显 ）&br&&u&&b&第四&/b&&/u&，我们该聊聊腾讯了，腾讯现在把搜搜原有的商业产品团队也全部归并到广点通团队了。腾讯的广告业务由广点通大一统了。以广点通和粉丝通（新浪微博）为代表的效果广告，和DSP类似，不同的是，广点通粉丝通的流量都来自于自身，流量质量相当高。腾讯和微博都属于能生产流量的公司。他们的广告收入，几乎是净利润，不像百度阿里还有流量采购成本。而广点通、粉丝通，最受广大广告主青睐的部分，又称为信息流广告~（恩，国外，非死不可和推特早就有了，国外牛逼，但我们还是专注于我们身边可用的东西吧）。可以说，搜索场景，远远超越了门户各种橱窗场景的广告价值；而信息流场景，则在逐步超越并甩开搜索场景。以至于广点通年会时和广大移动开发者说：应用市场已死，信息流广告永生之类的话。从当初简单网、蘑菇街在广点通内测初期，大把获得优质流量，到现在一年半过去，粉丝通也风生水起。效果广告平台的发展速度堪比火箭升空。广告主可以像在DSP平台一样定向投放精准广告，依赖的就是腾讯和微博的用户行为数据。目前，这是国内效果广告的朝阳期，朝阳期的意思就是，腾讯和微博对用户行为挖掘还不充分，还没有进一步放大效果广告的价值，恩，原因就是，目前还是很讽刺，年龄、性别、地域、OS、投放时间，解决了绝大多数问题。这对腾讯、微博等公司（今日头条将是下一个效果广告大平台）来说，未来空前美好，广告收入大大滴可以挖掘。而对于广告主来说，未来这些平台中优质流量就不再那么集中了，分配到自身的优质流量将慢慢稀释，广告费将逐步水涨船高。&br&&b&&u&第五&/u&&/b&，基于大数据的效果广告真那么牛逼，贴吧和豆瓣小组是否一样会是未来辉煌的效果广告平台。好吧，本人怀着这样的梦想，去发掘贴吧和豆瓣小组的流量红利。忧伤的是，贴吧有个短板，匿名用户比例太高，用户行为数据不精准。更忧伤的是，贴吧和小组，这种话题式的讨论，让内容主题更聚焦，从而本身和用户个人属性关系不大，在帖子内和吧内帖子列表或小组内帖子列表场景下，精准的信息流广告都显得格格不入，无法像QQ空间、微信、微博的信息流广告那样击中用户的兴奋点。&br&&br&&b&2. 再谈谈大家最熟悉的用户型产品&/b&&br&&b&&u&首先&/u&&/b&，目前应用场景最大的在推荐，不论是相关推荐还是基于用户行为的推荐或者其他杂交算法。但就像上文中所说的，垃圾数据太多没意义，推荐所需要的大数据，不需要大到无所不包。工程上最有效的相关性算法和协同过滤足够有用。就像和某大牛交流时，他说的，在业内，大家都是凡俗算法解决90%工程和生产场景的问题；然后前沿新潮算法，用于在圈子内装逼，刷逼格。&br&在电商平台上的各种推荐产品，只要能促进成交额，那也算是大数据在用户型产品和商业型产品上的双重价值。&br&&b&&u&其次&/u&&/b&，实质上最重要的场景，还是在搜索，或者说的不那么狭隘一些——普适计算（Ubiquitous computing）。引用一下《随意搜寻》里的装逼句，我们正在从原子大陆，步入比特海。我们所处的环境变成无处不在的数据，我们可以在任何时间任何地点，找到任何人任何东西，任何事情。&br&装逼的事情，放下不表。讲一下市面上除了百度的文字搜索之外的一些大数据实践吧。&br&首先就是语音识别。音频指纹什么的，各家都已经走得比较前列了。反正音频翻译成文字，再走传统的语义识别套路，实现一些人工智能的场景应用&br&其次是图像搜索，代表产品：百度识图、google图片搜索、淘淘搜、淘宝拍照购等。原理很简单，第一有海量的标的（比如一般图片或者商品图）数据；计算特征库、同款库，等等等等，反正就是做标识了。然后输入图片，去库中匹配同样的数据，或者匹配相关性数据。目前，淘淘搜更多的把这个能力应用于非标类商品的同款比价。所以可以看到，目前市面上，服饰鞋包的同款比价上，淘淘搜是比较领先的。&br&最后讲讲百度筷搜，基本是各种传感器收集数据，然后和云端的库中数据做匹配。其中PH检测什么的都简单，真正对大数据有要求的是成分分析，这一块目前还没有谁能做好。百度筷搜的筷座上装了近红外发射接收的传感器，这块是用于探测分子原子钟的一些CHO键，甚至其他键，然后以这个比例，去和数据库中各种食物实际上这些不同键的数量的食物，进行拟合。但那个丰富的食物内各种成分含量相关的数据库，即便是百度，目前要能拥有，也是天方夜谭。&br&&br&&b&结论&/b&，&br&大数据很美，但不一定适合你的规模的企业。技术是手段，怎么持续挖掘其中的商业价值，请你继续大开脑洞。&br&目前淘淘搜在这块的使用和操作上很务实：比价、推荐、广告。&br&&br&------补充-------&br&&br&加入芝麻信用后，发现大数据用在互联网征信上，更美
关于题主的问题， 的概括更清晰明了：大数据的核心价值理解为核心商业价值。 然后我们再来细说核心商业价值，本人水平不高，讲不到面面俱到，但也许能帮大家管中窥豹见其一斑。 （利益相关，本人现在在芝麻信用，大数据用在征信场景；本人前公司…
谢 &a data-hash=&7eaf541bd8fdf9bf784bce& href=&//www.zhihu.com/people/7eaf541bd8fdf9bf784bce& class=&member_mention& data-editable=&true& data-title=&@desperado光& data-hovercard=&p$b$7eaf541bd8fdf9bf784bce&&@desperado光&/a&邀请。&br&&br&首先强调几个点。&br&&br&1 这是一个很长，很长，很长的答案。&br&&br&2 利益相关：Mckinsey&Company以及对应相关机构&br&&br&3 连载数不定，一天1.5小时左右更新，大概篇幅不会小于2000字per day，不会大于5000字per day。&br&&br&4 关于连载：1 作为长期连载段子手，连载只是为了帮助学习，在此感谢 &a data-hash=&7eaf541bd8fdf9bf784bce& href=&//www.zhihu.com/people/7eaf541bd8fdf9bf784bce& class=&member_mention& data-editable=&true& data-title=&@desperado光& data-hovercard=&p$b$7eaf541bd8fdf9bf784bce&&@desperado光&/a&的督促和 &a data-hash=&fc9b4337cade6bbc66a90f& href=&//www.zhihu.com/people/fc9b4337cade6bbc66a90f& class=&member_mention& data-editable=&true& data-title=&@洪霟& data-hovercard=&p$b$fc9b4337cade6bbc66a90f&&@洪霟&/a&的鼓励。2 本人是从大数据与咨询的角度出发分析，希望诸位不要犯Geek病，欢迎讨论，但拒绝回复牛角尖。3 &b&连载的意义在于东西可以往简单里说，不至于抽象，水平有限，所以三五千字的东西，估计三五万字才讲的明白。&/b&&br&&br&15.09.20&br&&br&大数据的核心价值&br&&br&与上贴一致，一开始先回答问题。&br&&br&&b&大数据的核心价值是？&/b&&br&&br&先得明白，什么是大数据。&br&&br&&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/subview/47476.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&大数据&/a&（big data），&b&是指无法在可承受的时间范围内用常规&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/subview/37/6030295.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&软件&/a&工具进行捕捉、管理和处理的数据集合&/b&。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。&br&&br&&br&&b&大数据的4V特点：&/b&&br&&br&&b&Volume（大量）&/b&&br&&b&Velocity（高速）&/b&&br&&b&Variety（多样）&/b&&br&&b&Value（价值）&/b&&br&&br&前面不少答主已经提到了这个，这里不再展开&br&&br&首先有几个关键概念：&br&&br&1 无法在可承受的时间范围：&b&大数据的存在土壤，基于单位时间无法解决所有数据的前提&/b&，最简单的例子：微博每周都需要出一期热榜，榜单上有本周各个门类，各个领域曝光度最高，关注度最高的热点，但是，统计整个微博的所有信息却需要花若干周，甚至更长的时间 —— 如此大量的数据，在概念上，几乎可以成为不可承受。&br&&br&用高端数据牛人 &a data-hash=&7eaf541bd8fdf9bf784bce& href=&//www.zhihu.com/people/7eaf541bd8fdf9bf784bce& class=&member_mention& data-editable=&true& data-title=&@desperado光& data-hovercard=&p$b$7eaf541bd8fdf9bf784bce&&@desperado光&/a& 的话说：&br&&br&&blockquote&这可以理解为长时间维度上的无法承受，毕竟时间成本有限，而要达到的功能却是时间成本无法承担的；而从另外的角度看，高频交易公司的服务器很多都集中在华尔街，亦或是金融数据大量集中，密布的区域，这样的分布可以保证前两个V的顺利实施 —— &b&Volume的大量冲击，以及Velocity的急速要求&/b&，因为在金融交易场或者二级交易场，100毫秒的延迟也是不可接受的；军事上也有类似的用途，比如预警机和海基防空雷达的设计，都需要同时处理超过100个目标的能力，并且都是实时的。&/blockquote&&br&所以，世界上规模最大的短时间爆发访问量，往往都在常态上无法承受：&b&请注意，时间维度的不可承受，一方面来源于时间成本的不可承受，另一方面，来源于时间短期阈值与达到目标之间的鸿沟，这个鸿沟在某种程度上，一般成本和时间，都无法承受&/b& —— 由于所有数据都有关联性，而且几乎每个数据都要在尽可能短的时间内反应到每个客户的界面上，在保证多样采集的过程中保证最大的工作效率和精确度，的确对计算能力和计算模型，是个巨大的挑战。&br&&br&2 &b&常规&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/subview/37/6030295.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&软件&/a&工具&/b&&br&&br&&br&Hadoop --- 它实现了一个&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/771589.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&分布式文件系统&/a&（Hadoop Distributed File System），简称HDFS。HDFS有高&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/2700299.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&容错性&/a&的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/330120.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&应用程序&/a&的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。&b&Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算&/b&（From 百度百科）&br&&br&&b&3 捕捉，管理和处理数据&/b&&br&&br&所以，基于数据量巨大，类型复杂，却富含价值的数据库，依托于Hadoop或其他大数据工具，对这部分数据库进行数据捕捉，数据管理和数据处理的技术，可以成为大数据。 &br&&br&引：&br&&br&1 在Mckinsey的划时代报告《Big data : The next frontier for innovation, competition, and productivity》中，&b&大数据并不一定是超过特定TB值得数据集才能成为大数据。&/b&&br&&br&2 Amazon给出的定义是：超过任何一台计算机处理能力的数据量。&br&&br&3 在本时期谈及的所有大数据概念，都必须延展到&b&获取信息并且处理信息的能力，意味着失去这个能力，大数据的概念可以成为不成立 —— 大数据并不意味着数据堆叠，而意味着数据计算和一系列挖掘，分析的连带反应。&/b&&br&&br&&br&&br&所以，建立在上述的概念上我们可以看到大数据的产业变化：&br&&br&&b&1 &/b&&b&大数据飞轮效应所带来的产业融合和新产业驱动&/b&&br&&b&2 信息获取方式的完全变化带来的新式信息聚合&/b&&br&&b&3 信息推送方式的完全变化带来的新式信息推广&/b&&br&&b&4 精准营销&/b&&br&&b&5 第三方支付 —— 小微信贷，线上众筹为代表的互联网金融带来的全面互联网金融改革&/b&&br&&b&6 产业垂直整合趋势以及随之带来的产业生态重构&/b&&br&&b&7 企业改革以及企业内部价值链重塑，扩大的产业外部边界&/b&&br&&b&8 政府及各级机构开放，透明化，以及随之带来的集中管控和内部机制调整&/b&&br&&b&9 数据创新带来的新服务&/b&&br&&br&&br&由上述9点（绝不是大数据能够带来的全部意义，这些只是其中的一小部分）带来的数据化世界将会以怎样的方式展现，鄙人和诸位一样，只能拭目以待 —— 从三大产业角度撬动生态圈的概述，答主@Han Hsiao 已经介绍的非常详实，鄙人只是顺着他的知识链，继续向下展开，并且尽其可能进一步的展现大数据的美丽画卷。&br&&br&下一期：&br&&br&&b&大数据飞轮效应所带来的产业融合和新产业驱动（从咨询行业的角度）&/b&&br&&br&&b&--------------------------------------------------------------------------------------------------------------------------------------------&/b&&br&&br&15.09.21&br&&br&&b&大数据飞轮效应所带来的产业融合和新产业驱动&/b&&b&（从咨询行业的角度）&/b&&br&&br&首先，什么是飞轮效应？&br&&br&顾名思义，飞轮效应的本质是产生运动属性。我们把自己置于社会的平均产业面这个巨大的轮盘中，很难用平面，平台的角度看待自己 —— 简单说，一个个体，无论是企业，个人，或者其他属性的个体，都没有任何可能，使整个商业平台产生飞轮效应 —— &b&一个静止的，巨大的飞轮需要转动，需要巨大的源动力，虽然开局极难，可是一旦开局，而后的转动只会越来越快&/b& —— 飞轮效应的惯性就在于此 —— 达到某一零界点后，飞轮的重力和冲力也会成为所谓推动力的一部分，这时，你无需费力，便可跟随飞轮转动，在整个利益平台寻找自己的接口和资源，用资源惯性完成利益整合。&br&&br&从咨询业的角度呢？&br&&br&对于咨询公司来说，特别是诸如麦肯锡，贝恩，罗兰贝格这样体量和技术量的咨询大鳄，每年都会从自己的企业战略，文化咨询案例中，得到大量的数据 ——&b& 这些数据包括企业运营的常用数据，人力资源KPI的运营数据，资本运营状况的基本数据 —— 简单说，整个企业内部可以量化的咨询数据，都会由咨询公司进行收集，打包，采样和整理。&/b&而随着行业的变动，亦或者随着互联网时代的到来，很多现代企业，诸如互联网公司，电信运营商，投资银行，不但自己积累数据，更为自己收集的数据进行大规模的整合，打包处理 —— 现代企业数据管控能力，也随着企业的发展而发展，二者属于共生关系。&br&&br&所以，咨询公司往往在现代企业的咨询案例中坐收渔翁之利 —— 由于现代企业对于发展数据挖掘技术的渴求，以及对于充分释放数据资产中蕴含的商业价值的渴望，大规模的，高度管理化的数据资源，便可以通过咨询诊断报告务求数据背输和数据支持的手段，很好的被采纳和吸收，并且从咨询的角度，对整合过的数据进行进一步的挖掘，探索。&br&&br&对于现代企业，特别是大型现代企业（国外的GE，中国的中铁，中钢），对于数据整理已经颇有心得 —— 所以，对于大型咨询公司而言，利用当前收集的数据资源，整理数据整合标准，显然是可行的。&br&&br&怎么讲？&br&&br&数据收集分为高中低等，咨询行业面对的行业模型，同样是高中低等。&b&简单说，中小企业同样有利用数据发展的必要性，但是无奈缺乏数据收集的方法。所以，利用大型企业收集，打包，采样整理的数据收集经验，泛化到中小企业方法中，制定数据泛化收集标准，完成大数据资产的第一步清理工作。&/b&&br&&br&&br&所以，飞轮转动的前提，是整个商业社会和商业平台，形成常规化，常态化的数据整合收集思路 —— 咨询公司首当其冲 —— 利用大型企业数据收集整合的经验，泛化大数据资产收集的方法论，制定类行业，近似行业的标准，手册化，网络化的进行对外宣导。对于咨询公司而言，如果形成：大数据基础概念普及 —— 大数据收集方法论宣贯 —— 大数据资产化处理的咨询配套产品和模型，飞轮转动的社会基础，将在5-10年后，渐渐形成。&br&&br&从咨询的角度看，大数据资产可以衍生的角度，可谓五花八门，&u&例如：利用数据平台终端输出企业人力资源职能数据，在企业管理绩效考核中设定痛点机制，即：发生什么行为做什么事，完成企业人力资源管理的条件反射；利用数据平台输出大量对标案例，利用时间纵度完成企业对标问题假设和解决方案诊断验证，利用大数据的数据采集职能而不是通过大量企业高中低层的访谈，彻底改变咨询行业常态化的资讯模式和诊断模式&/u& —— 数据化平台的租售数据，租售信息，数据采纳整合，媒体，空间运营的综合机制的建立，配合前面所需的大数据资产化处理的配套软件，数据模型，大数据衍生飞轮效应的理论模型也可以基本清晰。&br&&br&在产业频繁接触的过程中，各个行业的特点将不再是经验主义的价值输出，更多会采用社会流行指标 —— 而社会流行指标的建立，对于咨询行业，特别对于各类社会资讯指数，社会问题常态化研究的机构，可谓是巨大的福音。&b&可是，由于大数据概念并非完全落地和产业化，更多的产业，职能部门，对于数据终端的依赖仍然取决于第三方 —— 请注意，大规模数据化流通的本质在于，自己拥有可以和企业和社会流行指标向对应，采用一套数据方法整合和整理的数据模型和数据样本，才有对标意义和参考价值。&/b&在推动大数据飞轮转动的过程中，数据资产从适应社会生态到数据资产的垄断运用间，需要一个递进的过程，但一旦递进过去，行业将会被企业撬动。&br&&br&所以，对于咨询来说，宣导社会进行数据化管理的意识首当其冲，其次，提供第三方的数据化整理标准范式（例如发改委，国资委等各部委的文件中设计的中国中小企业标准委员会等等），向全社会树立数据化建设模块的标准，以及数据管理组织形式的建立。第二步，利用各行业不同的数据整理方式和最终数据整合的数据资源，提供相对应的，撬动大数据飞轮转动的具体建议。&b&例如，对于类谷歌类的搜索产品，由于门户特征集中于搜索领域，所以，五花八门的数据碎片，将出现在谷歌的大型数据库中 —— 这些碎片化的信息如何整理，运用？如果企业拥有一套有效的关联信息碎片化计算模型，并且可以将碎片数据整合管理起来，并且反馈给用户呢？谷歌已然做到这一切，并且在邮件，日历，地图，企业搜索排名，客户管理关系，Google Drive以及相关社区里，运用了这些技术 —— 碎片化信息和关联性的运用，让谷歌的产业飞轮，随着数据库的不断增大而越飞越快 —— 随着谷歌国际化，技术化的不断演进，这个飞轮的惯性，将会带来其他产业的产业迭代。&/b&&br&&br&咨询行业能够更好的看到诸如谷歌对于信息碎片和数据处理而后转动的飞轮，那对于涉及更多行业的咨询类而言，产品类企业是否也可以被这样转动飞轮？艺术品鉴赏行业呢？快销品行业呢？&br&&br&是的，任何采用标准化数据采集和管理的行业，都可以被数据的管理型和有效碎片化整合，最终转动产业飞轮，从而产生巨大的产业驱动力 —— 这不是简单意义的精准营销或定点销售，这是产业整合和产业变革的前兆。&br&&br&&br&下一期：&b&信息获取方式的完全变化带来的新式信息聚合&/b&&br&&br&&br&&b&--------------------------------------------------------------------------------------------------------------------------------------------&/b&&br&&br&&br&&b&PS：应群内大部分人要求，大数据飞轮效应这里，补一期案例分析。明天分析&/b&&b&信息获取方式的完全变化带来的新式信息聚合。&/b&&br&&br&&br&下面只讲一个东西，苹果。&br&&br&苹果的伟大无需赘述，现在从大数据结构上对它进行剖析，将会更能看到苹果巨大的产能和数据效能。&br&&br&&b&&i&1 数据化概念怎么在苹果形成的？&/i&&/b&&br&&br&首先，IPOD是什么？&br&&br&IPOD的物理本质是便携音乐播放器，但是它是怎么运转的？为何它成为了一座丰碑？那是因为它内在的数据意义 —— 它从易用性入手（例如消除了所谓P2P软件瞎子啊音乐，刻录CD，以及刻录机操作等等硬门槛），利用收购的Rio团队（音乐管理程序创业团队），以苛刻的要求简化产品，强调用户体验，一步步的完成了1.0版本的划时代音乐数据依托平台 ---- iTunes。&br&&br&依托于iTunes，iPod才悄然问世 —— 神奇的苹果将数据整合放在终端产品前进行战略构建，让终端体验很好的嫁接在了数据之上 —— &b&殊不知在iPod大卖之前，乔布斯早已说服了五大唱片公司向苹果提供数字音乐的销售权，五大唱片公司所提供的数字音乐，成为了支撑iPod运转的数据总库，而在iPod没有进行全线商业运作之前建立好了标准化，结构完整的数字音乐数据库&/b&（依托于五大唱片公司对于音乐原本的初分类，本来这个体系就非常成熟和完备了），一个依托于iTunes的，iTunes+iPod的数据库输出终端，加上五大唱片公司，艺术家，用户和苹果四方盈利的天才商业模式应运而生。&br&&br&从数据结构化，碎片整合的角度，我们又能看到什么呢？&br&&br&首先，iTunes的音乐数据整合，更注重于个体音乐人的整理，我们这里可以把每一个人看作数据碎片 —— 每个音乐人只要由苹果出面解决版权问题和发行问题，借助这个平台，就可以走向世界任意一个被苹果覆盖的角落，这是及其有利的条件。&b&而将这所有数据碎片整合，并且提供高质量运转数据平台的苹果公司，也因为各个个体音乐人（数据碎片）的加入，把不同曲目，不同风格，能够满足不同肤色，国家，地区人等不同音乐需求的音乐整合到自己的数据闭合平台&/b&，并且规定：用户可以在平台内任意购买自己喜欢的曲目 —— 最大限度地满足了用户个性化的需求，而这些由用户自组的音乐数据碎片被搁置到“播放列表”中 —— 这个极具个人色彩的设置，让所有人都参与到了大数据构建和数据信息整合的过程中。&br&&br&所以，只从苹果的立场，利用自组闭合平台的建立整合的巨量数据碎片，只要在自己可以控制的范围内，定点，定向，精确，迅捷的处理和表达用户所需信息，完成所谓用户需求和供应的同步，一个巨大的大数据盈利闭环就实现了，只不过伟大的苹果公司，在15年前就实现了这个伟大的目标。&br&&br&&i&&b&2 APP以及身后的平台，以及对于时代的影响&/b&&/i&&br&&br&由iTunes建立，并由iPod作为物理呈现的一整套数据盈利闭合机制出现后，苹果向母级发起冲击 —— iPhone。&br&&br&为何iPhone成为了母集？当手机内置音乐播放器软件后，iPod的存在意义，便烟消云散了 —— 而这个新型的iPod，还可以打电话，邮件，甚至做更多的事情。&br&&br&在由iTunes转动起飞轮一角的时候，iPhone可谓彻底的转动了飞轮 —— 原因是，用手机依托可以展现的数据多样性，远远超越音乐一个领域 —— 所以，苹果将数据碎片整合的能力扩展到应用（一个如此huge，简直没有任何阈值的词），&b&音&u&乐商店摇身一变，成为了应用商店。&/u&试想：当全球的线上数据都通过iTunes平台进行同步数据运营机制的管理（同时你自己也是其中的一份子，只要你有自己的播放列表和下载列表），并且这样的巨量碎片可以由你（作为一个普通用户），在自己需求产生的瞬间满足到自己的需求，这样的平台，基本等于天堂再现 ——而如今，数以十亿计的苹果用户，正在每时每刻享受着这样的同步，这是最好的时代。&/b&&br&&br&所以，如果说，iTunes+iPod的出现建立了大数据碎片整合概念，成为大数据的触媒的话，APP以及身后平台的构建，对互联网行业，甚至对整个商业生态，甚至人类生活模式，都产生了巨大的推动和影响。&br&&br&&i&&b&3 放开APP应用开发权限，进一步做大转动的飞轮&/b&&/i&&br&&br&2008年3月，苹果发布iPhone的应用开发包，对于大数据而言，这又是一次产业革命 —— 在构建好数据整合平台，从音乐入手，到而后渗透到整个线上领域的方方面面，完成所谓强交互式的大数据全民平台后，应用开发包的展开，&b&则将原有的大数据飞盘做大。很简单，对于产品和技术一贯拥有封闭性的苹果而言，大数据飞盘的转动不可逆的前提下，飞盘的大小直接决定了苹果的市场体量。&/b&&br&&br&所以，开放的第三方平台催生了整个产业格局的巨变 —— 以数据内容制造产业，只要苹果作为第三方和最大的平台拥有者，解决利益分配问题即可。而作为互联网王牌的苹果公司提供了3：7（用户购买应有所支付费用，苹果拿走30%，开发者拿走70%）的支付比例，留下了世界上最大体量的个体数据供应商，而正是这些供应商的数据碎片，构成了如今人们工作，娱乐，休闲，购物，生活等等各种丰富多彩需求的信息基础：&b&由门户iPhone作为信息接收体，依托于巨大的，利益分配机制成熟的APP商店，以及由无数第三方参与的，10万种以上应用构成的巨大数据化碎片市场，改良了整个产业生态，形成了全新的商业格局。&/b&&br&&br&&i&&b&4 对碎片化信息进行新一轮的大整合&/b&&/i&&br&&br&当iPad问世后，一系列的苹果终端产品面临新的数据问题：用户如何把行为数据和内容数据更有效的收集和记录？比如照片，通讯录，音乐播放列表等等？&br&&br&iCloud横空出世。&br&&br&iCloud，从大数据的角度，对从2000年开始的iTunes所引发的数据化产业革命，进行了二度整合和产业梳理：&b&利用多个数据源收集数据，但通过统一的储存和索引功能，建立大数据中心，而数据中心的本质，仍然是对于依托于苹果平台上的所有碎片化信息进行进一步的升级处理，形成新一轮的数据大整合。&/b&&br&&br&&br&iCloud的出现，标志着苹果完成了完整的闭合大数据产业链 —— &b&以iCloud作为用户行为，内容的大数据中心为核心，向全球第三方手机碎片化数据，由APP提供数据整合和发送平台，由信息终端（手机，播放器，电脑，平板电脑）收集用户数据，反馈回iCloud，然后由iCloud的数据反馈，&/b&&b&依托于市场需求的变化，&/b&&b&完成对于碎片化第三方的指导和进一步开发，形成完整的苹果数据大飞盘价值闭合链。&/b&&br&&br&&br&&b&至此，苹果公司的大数据飞轮效应所带来的产业融合和新产业驱动的案例分析（咨询报告的角度），就结束了。&/b&&br&&br&&br&&br&&b&Again，明天分析《&/b&&b&信息获取方式的完全变化带来的新式信息聚合》，请关注。&/b&&br&&br&&br&&b&--------------------------------------------------------------------------------------------------------------------------------------------&/b&&br&&br&&br&&b&15.09.22&/b&&br&&br&&br&&b&信息获取方式的完全变化带来的新式信息聚合&/b&&br&&br&&br&在大数据下，所有的概念都不能简单的顾名思义 —— 如同前面说到的，大数据的本质是处理，挖掘，分析大数据的能力，并不是简单的数据组合。所以，对于信息获取方式，大数据本身的要求和条件，也相对其他类别，要更严苛，需要更多的方法加以管理和运用。&br&&br&一般意义上，偏狭的数据样本对于数据分析的意义并不明显（也可以基本理解为，大规模全方位的数据覆盖与最终的数据分析效果成正比），所以，数据样本的大小，数据算法的优劣，直接决定了是否会产生最终的误导性结论。&br&&br&所以，大数据就是这样一个工具 —— 利用大数据可以获得前所未有的精确的预测能力，可以成功预测大量历史上无法想象的事件：2012年总统大选中，内特 希尔沃利用自己的数学模型准确预测了美国50州最终的选举结果，基本可以证明大数据样本和大数据分析的强大威力。&br&&br&&b&为何要强调信息获取？&/b&&br&&br&刚才我们提到，大数据的本质并不是简单意义的数据堆叠 —— 这并不仅仅取决于数据处理的算法，数据样本也必须要足够大，大到大数据可运转的临界值，大数据才可真正意义上发挥功效。&br&&br&&u&但是，真正做到这两点，是否真的可以达到大数据信息获取的目的？不尽然是。&/u&&br&&br&例如，跨国公司的市场部喜欢在全球各地进行市场调查，举办各类的现场活动。苹果公司喜欢在自己的商店中推广自己的IOS系统以及一系列device，并且在活动中大搞所谓的偏好度分析 —— 你会选择IOS还是Windows？&br&&br&当然，可以预见的是：到苹果体验的用户，几乎所有都已经拥有了潜在的品牌偏好和品牌选择，&b&在主观上已然认定苹果成为自己选择的前提下进行的数据分析和数据挖掘，其主观性会完全毁掉最终的计算结果。&/b&&br&&br&所以，信息获取的客观度其实比想象的，更难保证。跨国公司都拥有自己的市场部门和战略部门，但是为何咨询公司的生意重来没有消失？&b&一个第三方在选择数据和分析数据上所拥有的客观性，是主体调查公司完全不具备的&/b& —— 从自己战略部出发的数据分析样本，总在不经意间，已被自己主观进行了排序。&br&&br&所以，在保证了客观性的基础上，样本大小是第二步需要考虑的。&br&&br&为何需要考虑数据样本的大小，这里插入什么是蒙特卡洛模拟（Monte Carlo Simulation）和蒙特卡洛分析（Monte Carlo Method/Analysis）。&br&&br&蒙特卡洛模拟的核心思想是：&br&&blockquote&当所要求解的问题是某种事件出现的&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/45320.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&概率&/a&，或者是某个随机变量的期望值时，它们可以通过某种“试验”的方法，得到这种事件出现的频率，或者这个随机变数的平均值，并用它们作为问题的解。这就是&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/42460.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&蒙特卡罗&/a&方法的基本思想。蒙特卡罗方法通过抓住事物运动的几何数量和几何特征，利用&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/96884.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&数学方法&/a&来加以模拟，即进行一种数字模拟实验。它是以一个&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/541062.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&概率模型&/a&为基础，按照这个模型所描绘的过程，通过模拟实验的结果，作为问题的近似解。可以把蒙特卡罗解题归结为三个主要步骤：构造或描述概率过程；实现从已知&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/45323.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&概率分布&/a&抽样；建立各种&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/352473.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&估计量&/a&。&/blockquote&&br&蒙特卡洛分析的核心思想是：&br&&br&&blockquote&当所求解问题是某种随机事件出现的概率，或者是某个随机变量的期望值时，通过某种“实验”的方法，以这种事件出现的频率估计这一随机事件的概率，或者得到这个随机变量的某些数字特征，并将其作为问题的解。&br&&br&&b&从理论上来说，蒙特卡罗方法需要大量的实验。实验次数越多，所得到的结果才越精确。&br&&/b&&/blockquote&&br&以蒙特卡洛分析的核心思想看，蒙特卡洛方法需要实现的保证，在于大量重复实验的有效保障，只有保障了足够多的实验次数，最终所得到的结果也会越发精确。&br&&br&对于大数据的分析来说，“大”，已经足够体现了大数据对于样本量的需求，这也是大数据信息获取上，最重要的一个前提保障。&br&&br&所以，我们从信息获取的科学性角度，可以得到以下几个结论：&br&&br&&i&1 样本容量的大小，样本算法和分类方法的科学优劣，直接决定了大数据分析最终的结果。&br&2 要保证客观，前瞻性，以及数据的实用性，第三方介入大数据样本分析十分必要。&br&3 同行业数据不做交叉分析，最终得到的结论将没有意义。&br&4 异行业数据不做交叉分析，是行业属性不同带来的基准量和测量方式的不同，所以必须坚持。&/i&&br&&br&&b&优异的信息聚合怎么使用？有何用处？&/b&&br&&br&咨询公司和市场调查公司利用自己宏大的市场背景和市场分析背景，除了增加样本量外，也可以大张旗鼓的扩宽数据来源的渠道，增加数据的维度。&br&&br&在Mckinsey的大数据报告中，宏大的数据库和多维度的优势吸引了诸多行业的参与，&b&其中最亮眼的，当属政府机构。&/b&&br&&br&对，不仅是市场调查公司对于社会言论感兴趣，政府同样非常渴望得到人民群众的真实想法。公共舆论从古至今，都是政府维持公共行政管理和正常政府治理的关键因素。&br&&br&比如，微博，朋友圈。&br&&br&前文提到，良好的信息聚合，可怕之处在于：我们可以通过事先准备好的数据算法，在极短的时间内，完成大密度的数据聚合和信息归类，最终按照信息反映的真实情况，对各个问题进行分类处理，前提是保证客观，准确的信息获取渠道，以及提供足够的信息获取样本。而微博，朋友圈具有巨大的传播和扩散效应，并且从量上，完全可以满足大数据的分析要求 —— &b&一个正常的咨询公司总倾向于到微博寻找热点，一个正常的市场调查公司也会倾向于微博上搜索已被完全整理和疏导好的有效数据，一个政府行政部门呢？对，可以从这些巨大的舆论场中寻找到舆论走向，而在此同时，大数据舆情服务也就应运而生。&/b&&br&&br&所以，政府部门可以通过事先的舆情调查分析，很好的引导舆论，缓解很多社会矛盾，甚至可以提早处理不少还未发生的恶性公共事件。所以，良好的信息聚合口径尤其重要，在保证客观，准确，足量的数据聚合后，政府利用大数据分析缓解社会矛盾，提升政府公共行政效能，完全有可能做到。&br&&br&&b&隐藏数据？&/b&&br&&br&&br&信息聚合另一个问题是：并非所有的数据都是显性数据，所以，数据挖掘（Data Mining）应运而生 —— 通过数据采集钱的预处理机制，建立数据处理预模型，从推断的商业价值用户中挖掘一系列隐藏数据，从而达到优化用户产品或者提高盈利的能力。&b&比如：谷歌和百度同时拥有全球最大的用户即时意图数据，利用即时意图数据的偏好，只要拥有足够大的样本量和一定的时间维度，对数据进行一定的跟踪，聚合和利用，形成一个以用户即时意图数据为核心的用户数据生态圈体系完全是可行的。&/b&&br&&br&&br&下一期更：&b&信息推送方式的完全变化带来的新式信息推广&/b&&br&&br&&br&&b&--------------------------------------------------------------------------------------------------------------------------------------------&/b&&br&&br&&br&&b&15.09.23&/b&&br&&br&&b&信息推送方式的完全变化带来的新式信息推广&/b&&br&&br&&b&雅虎 --- 依托信息高速公路传统概念的信息推送&/b&&br&&br&其实当时，杨致远应该没有想那么多 —— 当年在杂志，电视，甚至家中的一本由复旦大学出版社出版的《阿爸讲现代科技》，都提到一个著名的概念：信息高速公路。&br&&br&什么是信息高速公路？&br&&br&&blockquote&&b&信息高速公路&/b&就是把信息的快速传输比喻为“高速公路”。所谓“信息高速公路”，就是一个高速度、大容量、多媒体的信息传输网络。其速度之快，比目前网络的传输速度高1万倍；其容量之大，一条信道就能传输大约500个电视频道或50万路电话。&b&此外，信息来源、内容和形式也是多种多样的。网络用户可以在任何时间、任何地点以声音、数据、图像或影像等多媒体方式相互传递信息。&/b&&/blockquote&&br&雅虎的初衷，就是利用互联网作为运通媒介，利用自己的门户网站，建立一条名叫“雅虎”的信息高速公路。而“雅虎”只需要关注自己的受众面的覆盖广度，只要在自己的门户上设置各类广告，只要经过这条路的人，都可以看到广告的内容，从而达到最大效应的营销覆盖效果。&br&&br&是的，作为真正的高速公路而言，每条高速公路的承载量都有限 —— 例如，洲际公路每公里可以承载的汽车数量，都有最大值。而信息的最大值？一条信道可以承载接近50万路电话的信息量 —— 这样的信息量对于雅虎一个门户而言，仅仅是微乎其微。&br&&br&所以，雅虎所创建的门户网站的概念，很大程度上建立了互联网信息推送方式的建立：开放，免费的信道，传递信息的最便捷，以及访问流量与内容优质度挂钩的良性循环之路。在雅虎访问量如天文数字般爆发开始，互联网门户采纳品牌广告极大的推动了互联网产业的发展，&b&而随着互联网的日益普及，互联网广告创制，定价，包装，售卖，以及一系列的广告营销手段，都随着互联网在全球站点的设立，迅速普及全球。&/b&&br&&br&但随着行业的发展和建立，依托信息高速公路的基础概念所涉及的互联网广告牌，开始出现了发展瓶颈 —— &b&传统广告行业的宣传，包装，售卖的营销模式，无非就是被线上运营系统复制推广，并没有真正运用到信息聚合所产生的价值&/b&。试想：如果互联网品牌广告可以通过浏览分析，流量分析和其他手段，对消费者，商户的行为进行监控和切分，从而达到所谓的个性化精准投放，会是什么样的情况？任何实体用户都知道自己的广告不会被100%的人接纳，但是损失的部分，谁能精确的告诉我？那一部分客户到底喜欢什么？谁能告诉我？&br&&br&于是，谷歌告诉你，我可以解答这些问题。&br&&br&&b&谷歌 ---- 依据消费者行为，甚至动机的信息推送流式&/b&&br&&br&&br&谷歌到底为何如此值钱？谷歌是怎样利用自己的搜索引擎制造自己的广告王国的？&br&&br&上文说到，当雅虎模式慢慢布局开来的时候，所谓的传统广告行业的线上包装的本质，便暴露无遗了 —— 不管是多宽广的高速公路，无论广告牌怎样琳琅满目，客户对于广告牌的接受度都是极其有限的。&br&&br&为何？其本质原因在于，&b&所有的广告牌所提供的服务信息，都是商家主动提供了，它与消费者的需求之间，有一条明显的鸿沟 &/b&—— 一个广告牌是无法判断消费者真正所需的。那如何可以判断消费者的动机呢？&br&&br&谷歌解决了这个问题 —— 利用搜索。由于搜索行为，谷歌可以掌握所有搜索行为的意图，根据搜集到的所有数据进行分类整理，根据分析推送报告，其操作流程可以归结为三点：1 提供免费的搜索服务；2 搜集所有搜索行为数据；3 根据意图推送广告。&br&&br&&b&这个模式，无疑迅速的解答了雅虎无法解答的问题：怎样让广告牌提升关注度，以达到最终提升成交转化率的目的。&/b&通过信息搜集方法的更迭，互联网早期广告模式在谷歌的搜索引擎带动下，完成了巨大的升级。&br&&br&可这只是刚刚开始 —— 谷歌利用自己的算法，将收集到的搜索信息逐一分类，排名，用关键词出价和质量评定分数做乘积，决定搜索结果页面的关键词陈列显示顺序（这套做法而后的淘宝利用直通车的功能实现并加以运用，成为淘宝一个极其重要的盈利点） —— 这种依托于大数据量基础上进行的线上泛化拍卖，随着谷歌搜索量的日益提升，给谷歌带来了巨大的经济价值。而依托于关键词出价和质量评定两个变量的搜索排名体系，在满足谷歌自身的经济利润的基础上，也很大程度上优化了整个线上广告的质量和产品升级，毕竟市场为王。&br&&br&&b&依托于大数据的智能推送&/b&&br&&br&&br&依托于搜索动机的推送方式，将所有的动机揣摩，都局限在了谷歌的搜索框内，当然，这并不能让数据推送方完全满足。所以，谷歌通过AdSense，或者一些类分析软件，从各个角度捕捉消费者行为和动机 —— 简单说，广告和用户正在浏览的网页内容关联度和用户关注推送信息的关注度正相关。&br&&br&所以，设置一个简易的信息推送互动体系，只要每个电脑拥有一个反馈模型，能把用户浏览的任何link信息进行分类处理，分析用户浏览的网页内容，将重复出现关键词高的几个字，反馈到主信息平台，然后由主信息平台反馈相对应的广告给用户 —— 这就出现了所谓的智能推送，当分析软件可以很好的读懂你的意图，广告的转化率，将会在现有的基础上，再提升一个数量级。&br&&br&所以，依托于这个思路，捕捉用户浏览网页图片，数字，都可以成为依托于大数据下的精准定位和精确营销 —— 当信息推送的意图和用户的真实意图贴近度越高的时候，广告的点击率提高，最终的商业效益便会明显的体现出来。&br&&br&下一期更：&b&4 精准营销&/b&&br&&br&&br&&b&--------------------------------------------------------------------------------------------------------------------------------------------&/b&&br&&br&&br&&b&15.09.24&/b&&br&&br&&br&&b&精准营销&/b&&br&&br&&br&这一节，讲一讲咨询行业的精准定位，进而进行精准的处理，最终达到精准营销。&br&&br&咨询行业对于行业研究有天生的好感，对于行业内的所有与咨询有关的信息，都有收集的潜意识。简单说：一个咨询团队掌握一个行业的全面知识，无论是深度还是广度，都有很大的优势。&br&&br&比如：负责酒店行业的咨询团队，常理来说，只要有超过10年的咨询经验，&b&掌握全国高中低档酒店大量的index（管理），包括全行业行评报告（管理），资产负债表（会计），服务品质，商业模式，运作模式，&/b&诸如此类的信息，将会大量的聚合在团队数据库；一个茶叶行业的专业营销团队，甚至连茶叶产地的地理条件，气候以及当地种植方式的详细信息，甚至一部分可量化信息，都能轻松掌握。&br&&br&在这样的条件下，咨询行业一旦接触到新的企业咨询立案，就能最快速度的切入，利用组织对标 —— 一些可以量化的指标，只要新企业也有量化标准，行业标准对比模型一旦建立，诊断方案便可以即刻得出，剩下的，只是对于个体本来个性方法论的探讨和进一步实施落地，但事先数据的整理，很好的避免了这些问题 —— &b&毕竟对标机构的落地实施细则具有极强的参考性，抛开时代变化和一些政策的细微调整，精准定位诊断的理论基础仍然存在。&/b&&br&&br&所以，一个咨询团队利用自身数据库进行精准定位诊断企业，并且在接触新的企业数据时，能够第一时间更新自身企业数据库，从而有概率不断的为新案例提供对标，从而拥有更加科学，效率更高的企业战略以及企业文化的诊断机制。&br&&br&所以，依托于大数据思维，每个咨询团队都可以通过自己人员配备的不同需求，建立最适合自己团队需要的大数据库，以匹配使用效率为此数据库的原则：&b&一个资本团队的关注倾向与一个管理团队的关注倾向完全不同，使用泛化数据库的意义很小，效能会极其低下。&/b&&br&&br&在收集和整理团队数据库时，团队人员配置，是建立此大数据库非常重要的指标，依托于这个指标所建立的数据库模块，才能在不同的，但针对性和指向性都相同的案例中，迅速发挥作用，并且形成拥有自己特点的业务模式，揭示自身团队的核心咨询价值。所以，精准定位在某种程度上，也是对咨询团队构建核心的一种正常要求。&br&&br&做到上述几点后，咨询团队的精准营销思路，便完全打开 —— &b&由于有侧重点的构建某一项企业问题的咨询产品，在此问题上，团队也有相应侧重的数据面和数据模型，以此为营销核心，向平台展示自己的核心能力。简单说，只要数据库针对的企业有一定的社会代表性&/b&，这样的营销是精准无疑的 —— 企业诊断的效率在于对于错误信息的筛选频率，减少失误不确定性的亮度。数据的根本用途在于提供决策依据，而这样的决策依据，已经在前端的历史数据中，得到了很好的解决，提升，以及参考对标的空间，并不属于数据和团队的未知领域。&br&&br&在这样的前提下，咨询团队只要解决好单体咨询产品1.0数据库的构建，剩下的就可以通过不断的更新案例来提升相关类目的咨询能力，毕竟数据库的作用在于建设确定性更明显的诊断方案。而这样的咨询产品构建，只要依托于大数据，便有一定普世价值：&b&所有可以人为量化的咨询产品，都可以通过这样的方式，很好的建立起1.0的版本，顺遂着案例的不断递增而升级&/b& —— 咨询公司依托于大数据的精准定位不仅有利于咨询工作的开展，更会有利于整个咨询产品的升级以及最终的精确营销和精确服务。&br&&br&&br&&br&下一期更：&b&第三方支付 —— 小微信贷，线上众筹为代表的互联网金融带来的全面互联网金融改革&/b&&br&&br&--------------------------------------------------------------------------------------------------------------------------------------------&br&&br&&b&15.09.27&/b&&br&&br&&br&&b&第三方支付 —— 小微信贷，线上众筹为代表的互联网金融带来的全面互联网金融改革&/b&&br&&br&&br&快捷支付分两个子概念 —— 快捷，支付。首先说一说快捷。&br&&br&现代核心商业价值的来源地，以“快”为核心 —— 这和现今时代的工作节奏，生活节奏密切相关，快节奏已经渐渐成为了人们生活习惯的节奏。&br&&br&但是，快的前提是？&br&&br&一切金融的本质，都以安全为先。但只需安全维护可以保障，数据资产向不同行业的传统核心领域渗透，冲击 —— 凡是拥有大量用户行为导向的数据，都是有效数据，而剩下的，是对数据的有效梳理和有效整合，无非就是数据维度，质量，采取手段方面，核心业务的突破和管理。&br&&br&快捷支付的本质在于：采调用户一级数据，完成支付平台支付，共享的第一时间，基本从目的上摆脱传统银行的束缚。支付次数和支付领域维度的不断扩大，使得支付平台的数据吞吐量陡然增大 —— 拥有大数据支付数据和支付平台的第三方，例如支付宝，可以最大限度的利用收集到的支付信息进行挖掘，探索，以深挖信息判断支付习惯和支付行为，从支付行为中对支付体系进行更新换代，从而吸引更大的现金流。&br&&br&所以，数据的本质，更像土地：土地需要开发利用，在土地上构建什么样的钢筋混凝土结构，最终的楼层才有可能是什么样子。对于数据本身，更像一种基础资源，就如同土地，人力一般，成为公司的资产。&br&&br&在淘宝，京东等行业巨头疯狂发展的今天，网上支付早已被巨头们一次次更新换代升级。但如果只是供应渠道链的终端进行掌控，数据资产的纵度，并不能完全得到彻底的挖掘。所以，在终端支付的前端，出现了供应链金融：&br&&br&&blockquote&供应链金融是指在对供应链内部的交易结构进行分析的基础上，运用自偿性贸易融资的信贷模型，并引入核心企业、物流监管公司、资金流导引工具等风险控制变量，对供应链的不同节点提供封闭的授信支持以及其他结算、理财等综合金融服务。这里既包括企业上游的原材料零部件供应网络和链条，也包括下游的分销商、代理商、即渠道链 —— 中欧国际商学院、深圳发展银行2007《供应链金融》&br&&/blockquote&&br&所以，对于金融来说，数据作为基础资源能提供的，是试图以更为快捷，高效的运作方式取代高成本，较复杂系统的传统金融机构 —— 比如四大银行。但是，这里的运作方式并不是取代传统银行的传统支付方式，但是更多的，是促进整个商业银行体系的升级，至少是支付方式的升级 —— 毕竟流动性是金融世界的核心体征，并且打通以四大银行为核心的平台数据支付渠道。另外，四大银行利用自己定额资金池的巨大额度，开展了和其他第三方支付的合作：和快钱利用企业应收应付账款的资本和时间的效差开展融资服务，在企业的应收账款货音符账款信息和产业链上下企业中，分别打包资金流转数据给银行 —— 这样的一手数据，在某种层面上，可以为企业客户提供进一步的贷款服务 —— 而这样的服务，都是建构在数据这块肥沃的土地上进行的数据构架，而采纳第三方支付的企业沉淀海量数据，这样的模型对于发展数据这个稳态资产，有着广阔的前景和不可估量的影响。&br&&br&&b&B2B的支付革命&/b&&br&&br&&br&&blockquote&B2B 是指进行电子商务交易的供需双方都是商家（或企业、公司），她（他）们使用了互联网的技术或各种商务网络平台，完成商务交易的过程。电子商务是现代 B2B marketing的一种具体主要的表现形式。&br&&br&含有三要素：&br&&br&⒈买卖：B2B 网站平台为消费者提供质优价廉的商品，吸引消费者购买的同时促使更多商家的入驻。&br&&br&⒉合作：与&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/909859.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&物流公司&/a&建立合作关系，为消费者的购买行为提供最终保障，这是 B2B 平台硬性条件之一。&br&&br&⒊服务：物流主要是为消费者提供购买服务，从而实现再一次的交易。&br&（摘自百度百科）&/blockquote&&br&传统金融机构的抵押，担保手段的使用原则，是降低由于信息不确定性导致的运作风险和经营损失。但是大数据很好的规避了这个问题：在大数据时代，所有的金融信息都将呈现透明，商业环境的该表也必将推动商业运作模式的变化，而这种商业模式的变化，建立在B2B平台的阿里巴巴，淘宝，支付宝，积累了数以亿计的用户交易数据，其中还涵盖大量的资金流动，产品变化，投诉量，用户注册信息（深度广度不同，根据用户注册的体验和最终提交的信息数），而通过大数据模型验算，这样的数据都以极低的成本，有序的进入阿里公司的数据库。在数据库中，实时自动生成的大量数据，便可以成为行业参考和行业对标信息的数据库，而这些行业对标信息的开展，最终带来的，将是以B2B支付革命为导火线的，以线上资金和数据中转为源头的，整个金融体系的改变。&br&&br&一旦此类数据公开化，开展数据共享平台，只要保证商业利益不受数据共享的影响，传统金融机构的大额流动性，势必会加入金融信息共享的行列：这是对于传统金融产业的信息升级，而这样的信息升级，在某种程度上，将配合互联网+，进一步的彻底改变人类商业社会买卖的货币渠道，进而推动整个商业社会的变迁。&br&&br&&br&&b&下一期更：6 产业垂直整合趋势以及随之带来的产业生态重构&/b&&br&&br&&br&&b&--------------------------------------------------------------------------------------------------------------------------------------------&/b&&br&&br&&br&&b&15.09.28&/b&&br&&br&&br&&b&产业垂直整合趋势以及随之带来的产业生态重构&/b&&br&&br&&br&&br&几乎每个行业的发展规律，都会沿着同样的轨道 —— 合并。有时垄断并非人为有意，在某种程度上，资源朝着最合理的分配方向走，乃是大势所趋。&br&&br&什么是供应链？&br&&br&&blockquote&供应链的概念是从扩大的生产(Extended Production)概念发展而来，现代管理教育对供应链的定义为“供应链是围绕核心企业，通过对商流，信息流，物流，资金流的控制，从采购原材料开始，制成中间产品以及最终产品，最后由销售网络把产品送到消费者手中的将&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/462506.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&供应商&/a&，制造商，分销商，&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/154748.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&零售商&/a&，直到最终用户连成一个整体的功能网链结构。&/blockquote&&br&什么是产业整合？&br&&br&&blockquote&所谓产业整合是指为了谋求长远的竞争优势,按产业发展规律,以企业为整合对象,跨空间、地域、行业和所有制重新配置生产要素,调整和构筑新的资本组织,从而形成以大企业和企业集团为核心的优势&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/767148.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&主导产业&/a&和相应产业结构的过程。&br&&br&产业整合包括横向整合、&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/1382638.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&纵向整合&/a&和混合整合。产业的横向整合是指&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/479661.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&产业链&/a&条中某一环节上多个企业的合并重组;产业&a href=&//link.zhihu.com/?target=http%3A//baike.baidu.com/view/1382638.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&纵向整合&/a&是指处在产业链中,上、中、下游环节的企业合并与重组,包括前纵向整合和后纵向整合。&/blockquote&&br&（均来自百度百科）&br&&br&所以，当产业链完成初期发展时，上游企业的产品成为下游企业的原材料和供货商，下游企业将最终产品呈现，来到市场，这样的供应链环节，成为了资本主义发展和市场经济发展的正常步骤，以及整个商业社会的基础。&br&&br&但是，由于产业链的逐渐发展，产业链的每一端，所谓都会出现大量同类竞争者 —— 同类竞争者在几乎类似的产品和供应商不断的提高产品质量和降低成本，不断优化供应链体系，在供应链的端口完成市场占据和市场垄断 —— &b&20世纪90年代以及21世纪头十年，中国的珠三角，长三角地区，出现了大量的类似供应商，而很多供应商产品的成本，已经降到了不可想象的程度&/b& —— 横向整合的结果，会形成在某产业环节的垄断，或者几家竞争的格局，这是供应链企业做大做强的表征。&br&&br&在完成诸如此类的产业核心面竞争后，横向垄断，或者说横向整合，已经渐渐不能满足这些企业的胃口 —— 产业垂直整合开始出现。横向垄断的企业讲究的是低成本，大规模生产，关注的点，更多集中于成本的管控，企业规模的扩大以及生产技术的革新，而把企业逐渐做大；而纵向整合，所谓产业垂直整合，要求企业做强 —— 对于核心部件，垄断性资源和关键技术的限制加强，&b&同时，渗透供应链的其他端口，用资本，技术，政策，战略等等核心手段，完成