大数据发展到现在，面临的主要挑战是什么？大数据发展到现在，面临的主要挑战是什么？科技智能之家百家号大数据越来越火，大数据发展到现在，有了一定的技术和商业积累，但是发展到至今，还有很多难题等待我们解决，最主要的挑战，属于成本、实时性、安全等三方面的挑战，接下来为大家一一详解：1.成本挑战，运营商普遍受到腾讯、阿里巴巴等互联网厂商的OTT应用的挤压，面临着管道转型、利润下降的风险。而运营商的数据量巨大，以PB为基本单位的数据，处理起来需要巨大的投入。外部商业环境和内部规模的双重挤压，对大数据平台提出了很高的性能和成本要求。2.实时性挑战，如果从广义的数据质量角度看，随着时间的推移，数据的价值将逐渐降低，时间越久的数据，价值越低。举个例子，一家商场需要对当前在商场内的客户做一个推荐活动。但是端到端采集和处理数据的时间过长，最后推荐平台得到的用户列表都是过期的列表，列表上的名单可能已经不在商场内，而新到的用户还没有更新到名单中，所以很多业务对大数据平台端到端的实时性提出了很高的要求。3.安全挑战，安全挑战体现在两个方面：a.一方面是在技术上，随着HTTPS的推广应用，数据在传输过程中采管理加密的方式，运营商作为管道获取数据的难度变得越来越大。b.另一面是在法理上，用户的哪些数据是可以获取、哪些是不允许读取，始终存在侵犯用户隐私的法律风险。本文由百家号作者上传并发布，百家号仅提供信息发布平台。文章仅代表作者个人观点，不代表百度立场。未经作者许可，不得转载。科技智能之家百家号最近更新：简介:给千万网友提供最最专业的科技智能的知识作者最新文章相关文章您正在使用IE低版浏览器，为了您的雷锋网账号安全和更好的产品体验，强烈建议使用更快更安全的浏览器
发私信给易北辰
导语：9月24日，2014中国互联网安全大会在北京国家会议中心召开。360公司董事长兼CEO周鸿祎在主题演讲中表示，随着IoT（Internet of Things）万物互联时代的到来，任何设备都将接入互联网，由此带来的信息安全将面临前所未有的挑战。
同步到新浪微博
当月热门文章
为了您的账户安全，请
您的邮箱还未验证,完成可获20积分哟！
您的账号已经绑定，现在您可以以方便用邮箱登录
请填写申请人资料大数据发展趋势和带来挑战是什么？_大树精,趋势,挑战,智能化_企业关注_中国安防展览网
大数据发展趋势和带来挑战是什么？
　　【中国安防展览网 企业关注】 &大数据是指数据规模巨大、数据类型复杂的数据集，其本身蕴含着丰富的价值。尽管大数据已成为媒体和专家热议的话题，但其有效利用程度仍然偏低。高德纳(Gartner)咨询公司副总裁兼著名分析师Debra Logan认为，95%-97%的组织和外部研究机构对大数据还只是处于探索阶段，对于大数据的研究才刚刚起步。有鉴于此，太和智库研究员近希撰文对目前大数据应用的场景和领域进行了简要介绍，对未来中国大数据应用的趋势作出了初步分析，并指出当前及今后一个时期大数据应用领域所面临的挑战。&&　　一、从国内外案例看大数据应用&　　案例一：特朗普并非&黑天鹅&&　　不少人对特朗普当选大跌眼镜，认为这是一次&黑天鹅&事件，然而通过分析日至11月7日美国大选期间的有关数据，我们不难发现特朗普的成功逆袭并非偶然。根据特朗普和希拉里在不同传媒平台上被热议的内容，通过相关内容抽取所做的倾向性分析，人们得出了二人在选战期间的舆论积极倾向变化图(如图1-1)。&图1-1：:舆论积极倾向变化图&　　从图表中可以看出，倾向于特朗普获胜的比例较为稳定，而希拉里虽然曝光度颇高，但受&特朗普一半支持者都是无耻之徒&的言论、&邮件门&、邪教控国论、与警卫性丑闻等负面影响，希拉里已陷入信任危机，美国民众对其好感骤降。因此不少美国民众抛弃了在三次电视辩论中貌似取胜的希拉里，选择了看起来&更为诚实&的特朗普。&　　案例二：高速公路拥堵趋势预测&图1-3：春节期间易拥缓高速路段&　　日，新华网联合高德地图，根据往年车流量信息、高速拥堵信息等数据，运用大数据技术对2017年春节期间高速公路的车流拥堵情况做出预测，为人们选择高速公路出行提供参考信息，从而在一定程度上缓解了高速公路的拥堵压力。&　　案例三：电信大数据的多领域应用&　　国内电信运营商对于大数据的应用主要集中在基于位置的大数据分析服务、针对网络广告的潜在客户挖掘服务、征信服务、行业精确营销服务以及防诈骗等领域。以打击电信诈骗为例，江苏省公安厅副厅长程建东表示，自2016年8月使用线上恶意呼叫电信拦截平台后，平均每天拦截诈骗电话2.1万次，电信诈骗案因此同比往年下降84.6%。通过应用大数据技术，警方有效提升了打击电信诈骗的能力。&　　案例四：电网运营智能管理&　　美国加州电网系统运营中心管理着加州超过80%的电力供应，每年向3500万用户输送电力2.89亿兆瓦，电力线长度超过4万千米。该中心采用Space-Time Insight的软件对电网运营进行智能管理，综合分析来自气象、、计量设备等各种数据源的海量数据，预测各地电力需求变化，同时进行智能调度，平衡全网电力供需，并对潜在危机做出快速响应。&　　案例五：心脏病致死几率评估&　　美国麻省理工学院研究人员约翰&古塔格(John Guttag)和柯林&斯塔尔兹(Collin Stultz)创建了一个计算机模型，用以分析心脏病患者的心电图数据。他们利用数据挖掘和&机器学习&技术筛选海量数据，发现心电图中出现三类异常的人在一年内死于二次心脏病发作的机率比未出现者高1-2倍。相比传统筛查方法，这种有大数据技术介入的新方法能够识别出更多心脏病致死高危病人。&　　未来随着大数据技术的不断完善升级以及在医学领域的广泛应用，医生将能通过对患者健康数据信息的深度挖掘让诊断和治疗更为精确。比如服药，将不再遵循传统的&成人每日三次，一次一片&的方法，而是通过检测服药者血液中药剂是否已经代谢完毕自动提醒其再次服药。&　　二、我国大数据应用的发展趋势&　　据统计，2016年近 40%的中国公司正在实施和扩展大数据技术应用，另有30%的大中型公司计划未来一年内采用大数据技术。随着各种相关政策落地以及大数据应用领域的突破，预计中国大数据将在2017年迎来大发展。&(一)基于大数据技术的人工智能得到更加广泛应用&　　2016年，无人驾驶汽车试驾成功，AlphaGo在围棋对弈中胜出。随着人工智能技术的日益成熟，未来公司企业将越来越多地运用甚至是依赖于人工智能技术。虚拟助手、智能机器人、智能顾问、自动驾驶汽车等多种技术都将得到更为广泛的应用，而这一切都与大数据技术的发展与支撑密不可分。&　　(二)&机器学习&技术成为高科技投资重要领域&　　随着大数据分析能力的提升，很多企业已开始进军和投资&机器学习&技术领域。高德纳咨询公司称，&机器学习&是2017年十大战略技术之一。&机器学习&和人工智能系统正在超越基于规则的传统算法，创建出越来越多能够理解、学习、预测、适应甚至是自主操控的系统。&　　(三)建设力度进一步加大&　　截至2016年6月，全国95%的副省级以上城市、超过76%的地级市，总计逾500座城市(占世界智慧城市创建总数一半以上)在政府年度工作报告中明确提出将要或正在建设智慧城市。中国已经成为世界创建智慧城市的主要试验场，并引起美国、新加坡、欧盟和其他金砖国家的高度关注。此外，在可预见的将来，中国约70%的大数据需求将集中于政府应用和金融领域，而政府数据也将成为一项重要的国家资产。&　　(四)预测分析工具将倍受重视&　　根据2016年调查显示，目前虽然仅有29%的公司使用预测分析技术，但预测分析工具在帮助企业把握商业先机、发掘潜在商业利益上所发挥的作用正在日益凸显。未来随着预测分析技术的日臻完善，企业将会越来越意识到运用预测分析工具的必要性和重要性，预测分析工具的使用数量也必将大幅增长。&　　(五)企业将普遍运用大数据技术强化网络智能防护能力&　　许多企业已将大数据分析纳入安全战略范畴，特别是在网络防护方面。网络安全日志提供了以往发生的未遂网络攻击信息，利用这些数据，企业可以有效预测并防止未来可能发生的网络攻击。目前，一些公司正将其网络安全信息和管理软件与大数据平台结合起来；一些公司则选择向能够提供大数据分析服务的公司求助，为其网络提供帮助。&　　三、大数据应用技术领域面临的挑战&　　根据高德纳咨询公司 2016年7月的研究结果，大数据业务创新已成为&新常态&，但与此同时也有诸多技术领域亟待突破创新。&&　　(一)智能数据挖掘(Smart Data Discovery)&　　在过去五年中，基于视觉的数据挖掘工具已经颠覆了传统的商业智能(BI)和分析市场，其易于使用，并且能实现数据的快速组合，让用户在数据中找到新观点，对未来的一些假设进行可视化探索。虽然智能数据挖掘在探索数据的方式上一直不断变革，但许多与数据制备、海量复杂数据组合模式探索、见解分享相关的活动仍在很大程度上依赖人工完成。&　　(二)情感运算(Affective Computing)&　　情感运算技术能够感知用户情绪状态 (通过传感器、麦克风、摄像机或软件逻辑)，并通过执行预定指令做出回应反馈，比如与用户之间的交互，或向用户适时推荐符合其心情的视频等。目前，与多个传感器输入相结合的情感运算技术仍停留在早期概念验证阶段，其难点主要在于寻找出扩展和增长记忆力的算法。&　　(三)自动驾驶(Autonomous Vehicles)&　　自动驾驶是指车辆不需要人类干预，借助各种车载技术和传感器，如雷达、摄像头以及控制系统、软件、地图数据、GPS和无线通信数据等，自行驶抵预定目的地。传感器、定位、成像、引导、人工智能(AI)、映射和通讯技术的不断进步，以及先进软件和云计算的快速发展，已经让自动驾驶成为现实。但由于自动驾驶技术本身的复杂性，加之研发成本居高不下，已严重影响了它的可靠性和可购性。日，美国佛罗里达州发生一起车祸，事故车辆型号是特斯拉Model S，车祸中死亡的车主当时使用的正是自动驾驶模式。&　　(四)自然语言问答(Natural-Language Question Answering)&　　目前，非对话式、以信息为中心的问答已经实现(例如谷歌Now和Siri)，但根据用户个人的对话、环境等完成一段简短对话的技术还不是很成熟，仍面临很多瓶颈问题，如：对有疑问的语句给出合理解释，把未知范畴匹配到已有的知识库中，从有限答案(甚至是一个答案)中做出选择等。按照当前的关注度、发展速度以及技术能力，预计解决这些问题至少还需要5年时间。&　　结语&　　信息技术的飞速跃进已将人类拖入大数据时代，加快发展大数据技术是我们对这个时代必须作出的回应。未来，在数据与数据的碰撞、数据价值的深度开发、数据应用技术的落地等方面存在着巨大的想象空间，而大数据技术与各行业、产业的融合也必将产生强烈的化学反应，促使相关行业、产业发生颠覆性变革。与此同时，大数据领域也日渐成为强国竞争博弈的一个重要战场。面对大数据时代的滚滚巨浪，崛起中的中国必须直面挑战，把握机遇，在突破创新中，抢占先机，赢得主动。
声明：凡来源标明“中国安防展览网”的文章版权均为本站所有，如需转载请务必注明出处，违者本网将追究相关法律责任；所有未标明来源为“中国安防展览网”的转载文章目的在于传递更多信息，均不代表本网立场及观点，“中国安防展览网”不对这些第三方内容或链接做任何保证或承担任何责任；如涉及版权等问题，请在内容发表之日起一周内与本网联系，否则视为放弃相关权利。
请输入正确验证码
所有评论仅代表网友意见，与本站立场无关。
2018年，安防行业定调高质量发展，快马加鞭不下鞍。当
5月16日，由浙江省安全技术防范行业协会主办，中国安
安防草莽时代已过。低门槛，鱼龙混杂的模拟监控时代，已经渐
　　在广东省公共安全技术防范协会带领下，来自全国各省市安
　　自动驾驶作为当前火热的产业之一，备受投资者的关注，安
　　5月25日，由青海省公安厅、青海省科学技术协会、西宁市
　　5月25日，由青海省公安厅、青海省科学技术协会、西宁市
为了更进一步促进吉林省公共安全行业的健康发展，加快和谐社
咨询中心服务咨询在线客服媒体合作展会合作大数据带来的管理变革和挑战,信息管理论文_学术堂
您当前的位置： >
大数据带来的管理变革和挑战时间： 来源：学术堂 所属分类：
本文字数：6282字
本篇论文快速导航：题目：第一章：第二章：第三章：大数据带来的管理变革和挑战第四章：第五章：总结/参考文献：
　　第 3 章 大数据带来的管理变革和挑战
　　大数据的出现使管理环境发生变化，管理方式面临新的挑战，必须有相应的管理变革来与技术的变革相适应。从总的方向来看，管理的变革应该是从简单性管理向复杂性管理转变，其本质是以复杂性组织，变革智能性组织以适应互联网时代的复杂的环境变化。面向复杂性管理、以技术发展推动管理变革，总结新的管理模式，具有十分重要的现实意义。
　　3.1 大数据带来的管理变革
　　3.1.1 管理结构的超扁平化
　　传统的管理方式与军队的管理模式有很多相似的地方，管理上往往依赖着层层级级的组织和严格的管理流程，信息往往是逐层汇集和收敛，然后再根据这些数据来制定相对应的决策，之后通过决策在组织中的传递和分解以及规范相应流程来确保决策能够得到相应的贯彻执行。以这样的方法来规避一定的风险和使得经营活动的质量能够得到保障。然而随着世界经济的发展，第三次工业革命脚步的加快，面对信息化和大数据化的当今社会，市场环境变化越来越快，竞争越来越激烈，传统的管理模式面对这样的环境越发不能适用。其较长的决策链和缓慢的反应机制很难应付瞬息万变的市场，为了与时俱进，适应全新的市场环境，必须改变以往一味增加管理层次的做法，转而对管理幅度做出一定程度的调整。由其是面对当今这样的大数据时代，信息技术高速发展、计算机管理信息系统的广泛应用、各类移动终端的普及和互联网的飞速发展，过去那种层层汇报，管理严格的多层级，垂直化管理模式不再有效，企业组织机构的扁平化趋势就更加明显。
　　美国通用公司是最早将&扁平化管理&思想付诸实施的，为了解决公司由于其森严的等级制度和臃肿的管理方式而造成的管理反应迟钝这一现状，公司管理人杰克&韦尔奇大胆将以往的管理层次从 8 层缩短到 3 层；将许多不必要的经营单位裁撤或合并成一些主要机构；精简工作人员；调整工薪体系，从各个方面使公司向扁平化方向转变[13].为了促进供应商和公司内部的合作关系，同时使公司各个部门和团队之间的跨部门合作更加快捷有效，他打破了许多障碍，自上而下的进行了大量改革。杰克&韦尔奇通过采取&无边界行动&、&零管理层&等管理措施，使得深植于组织内部的官僚体系被成功瓦解，为企业节省出了大量的资源，于此同时，管理的效率也得到了很大的提高，故而从很大程度上提升了经济效益。杰克&韦尔奇的&无边界合作&,正是企业组织与外部环境之间扁平化的最好便证[13].
　　美国的管理学家德鲁克曾近说过：&管理的层次过于繁多是组织不良的常见病症之一，尽量减少管理层次，使指挥链得以缩小是组织结构的一项基本原则[14].&对于传统的&金字塔&型管理模式来说，信息的传递有效性是有很大局限性的，由于每个管理者所能够管理的下属是有限的，且越往高层越少，这样一来从底层所传递上来的往往不是最初始的信息，可能会产生偏差甚至是错误[15].这一问题在以前或许不够突出，然而在信息量越来越大的如今，如何能有效获得和处理大量的信息成了管理的关键所在[16].
　　伴随着高速发展的信息技术，流程化管理的相关制度得到不断地完善的同时，流程化管理也不断发展成型，这样，企业管理层次降低的同时管理幅度得到了很大的提高，管理逐渐向新的扁平化方向转变[17].海尔公司为了使企业能够达到&三个零&的目标，将从前的职能结构转变成流程网络结构，垂直业务结构转变成水平业务流程，这一点充分说明了新时代管理模式超扁平化的趋势[18].
　　3.1.2 营销模式高度网络化
　　传统的营销模式往往按照制造商&批发商&零售商&消费者这一传统商品销售渠道进行商品的对外销售[21],在这样的模式之下，冗长的销售环节除了对于销售成本的增大，同时对于产品的时效性还大大地降低了。企业往往会从企业利润点出发，重点研究市场营销的全部过程，从而探索出一般市场规律[22].
　　传统营销模式从市场调研开始，进而进行市场分析，在选择目标市场之后再根据企业实际情况制定相应营销战术。不断深入的强调市场，销售本质是满足市场的需求，强调顾客导向。
　　然而随着信息技术的飞速发展，由其是互联网和大数据的发展，世界范围内的业务拓展和基于互联网为顾客提供服务成了许多公司的发展趋势。在这样一个形式之下，传统的营销模式就越来越无法满足企业的生存和发展需求，基于互联网，结合大数据特性的营销模式是许多企业所正在探索和发展的。
　　但是随着信息技术尤其是互联网飞速发展，各个传统企业纷纷开始利用互联网为顾客提供服务并且在世界范围内拓展公司的业务。在这种形势下，传统的营销模式已越来越不能适应企业的生存所需。于是各个企业就开始按照互联网的特点积极的探索新的营销模式。网络营销这一模式开始越来越为人们所接受。
　　消费者从对网络购物的懵懂无知到如今，越来越多的人对于其的接受和喜爱。随着移动互联的发展，顾客信息更是随时随地都可以通过各种设备投射到网上，这些信息可以直接反应消费者的需求，企业便以此为根据做出相应销售对策。对于产品的推广也会从单一的广告中走出，通过朋友的推荐、基于喜好的系统推荐、平台多方位推广等，顾客总能找到适合自己的产品[23].
　　在大数据的影响之下，每个顾客都会成为一个透明的个体，企业通过对数据的整合与分析可以很好得出顾客的特征，从营销角度对顾客数据进行分析和处理，在通过网络对这些数据从营销的角度进行假设，从而清晰分析出顾客的需求、兴趣和爱好。例如亚马逊公司在这方面就做出了大量的尝试，除了做到与在书店相差无几的服务之外，亚马逊还利用大数据实时知晓购书者的偏好，然后做出精准的推荐以便消费者选择，这样无疑将会大大改变营销的管理，如今这一做法已被多数电子商务公司所效仿[3].
　　3.1.3 生产方式的智能化
　　随着制造技术的进步和现代管理观念的普及，制造业企业的运营越来越依靠于信息技术。数据逐渐涉及到了制造业的各个环节，包括制造业的整个价值链、制造业产品的整个生命周期等。由于大数据到来的关系，制造业的数据正呈现爆炸性的增长趋势。
　　从产品的建模设计到产品的测试加工，数据出现在生产的每一个环节；在运营过程之中，库存、采购、质量数据、目标计划等许多地方也离不开数据；加上供应商和客户等产品价值链等行业数据和价值数据；如此一来，企业面对这所有的数据（结构化或非结构化）使得企业所需要管理的数据种类繁多庞大。
　　与此同时，在大数据时代，个性化的消费已经成为了一种现实与趋势，对于现行制造业所提供的标准化产品，消费者已经很难满足，由此，新一代的非标准的生产方式就成为了一种需求,这种生产方式以就是大数据作为基础的新一代智能制造生产方式。这一方式不仅仅是单一的生产的智能化，还包括了定制生产，个性化服务等各个环节。
　　由于消费需求的个性化，传统制造业就必须突破现有的生产方式与制造模式。掌握所有顾客的个性化需求及其变化是为顾客生产个性化产品所必须的，也就是说，要对每个顾客的各方面信息进行收集，将这大量的数据进行收集、传递和处理就成了非常关键的一点。同时，对于那些非标准化产品的生产过程中所产生的海量数据的收集、处理和传递也是非常重要的。故而，为了确保产品的品质，就必须由智能制造设备进行分析、判断、调整及控制整个制造过程，这样就决定了互联网、信息技术、大数据与制造相融合的历史必然。
　　海尔公司的发展策略中就曾提到，积极探索、打造海尔互联工厂模式，持续推进信息技术与制造技术深度融合的数据化、网络化、智能化制造，将是顺应全新新工业革命，互联网的大数据潮流的必由之路。这对于打造一个生生不息的制造生态系统，中国乃至世界的制造方式都将产生积极影响。
　　3.1.4 物流服务的智慧化
　　传统物流服务是按照&仓库+运输&到另一仓库&的模式[24],仅仅是按照生产和销售的需求对货物进行保管和运输。这样的物流服务只能提供简单的位移，服务也相对被动，其监控基本依靠人工进行，实施标准化服务，主要侧重于点到点或线到线的服务。面对当前大数据环境，其主要缺陷体现如服务总成本较高和信息化程度低，且较低的信息化程度是造成高成本的主要原因之一，由于较低的信息化，数据信息得不到及时的更新，导致信息获取的延时甚至差错，这样会引起运输车辆的空再，从而提高了成本。
　　这样的传统物流服务显然无法是适应当前信息化高速发展的大数据时代。由于传感技术、定位技术、视频监控技术等现代信息和通信技术在物流服务中越来越多的应用，物流信息化将是未来的发展趋势。主动的服务，实施主要依靠信息的监管，多样化的服务标准和整体服务网络的构建将是现代物流服务多必须的。
　　由于缺少统一信息平台，各个物流服务以地区或企业为点，各自为政，各信息平台的研发与建设系统功能复杂，设计结构的不统一，数据标准的多样化，因此导致了各信息平台无法做到互联互通.这样，相关物流信息的获取就变得十分困难，对于物流需求信息和货物跟踪信息的及时获取也无法很有效的做到，企业与上下游之间的数据交换和共享无法做到及时性，甚至会有数据丢失现象。因此，构建智慧物流信息平台是解决上述问题的有效途径。
　　由于各地区、各政府各自为政，物流行业缺少统一的信息平台，由于设计和研发的独立性，平台缺乏统一的标准和数据格式，这样使得各个平台很难顺利的连接起来，无法做到数据的互通。这样一来，物流信息的获取就变的十分困难，企业上下游之间的数据交换和信息共享也就很难实现。物流行业正处于一个较低的阶段，为了解决这一问题，构建智慧物流信息平台是决一个有效的途径。
　　阿里旗下的菜鸟网络真是基于这样一个现实的一个尝试性例子，其通过电商大数据的整合和挖掘及线下仓储的建设来改变目前电商快递生产模式，并破解双 11 快递爆仓、商家货物囤积等一系列难题[27].
　　3.2 大数据带来的管理挑战
　　在互联网技术和传感技术飞速发展的当今社会，越来越多的非结构化数据出现并不断累积，数据存储和处理分析变得越发困难，由此便发展出了适应时代的大数据理论和相关技术，大数据的重大作用和其前巨大价值是显而易见的，在其积极作用的另一面，大数据的概念也存在被过分炒作的现象。
　　随着大数据这一概念的出现，就出现了传统数据处理方案应该立即被大数据所迅速替代的论调，认为大数据是万能的，传统的数据分析、处理方法已经可以退出历史的舞台。一切都以数据为中心，当数据达到一定程度的时候，就无需去关注算法而只需要去关注数据，用最简单的算法就能得到想要的结果，应用计算上的优势来处理大数据所带来的巨大运算量。然而，大数据仅仅只是一种新兴的理论，其理论层面和技术方法都还不够成熟，在现实的发展过程之中还有着许许多多的挑战，其主要挑战有以下几点：
　　（1）大数据并不能完全代替传统数据
　　尽管我们正处于大数据时代，在海量的数据中 75%都是非结构化数据，这决定了大数据的主导地位，然而大数据并不能完全替代传统的结构化数据[28].
　　尽管非结构化数据占据总数据量的绝大一部分，然而由于大数据价值密度低这一特性，与结构化数据相比，有效的非结构化数据并没有占据多大的优势。在互联网、社交网、电子商务网等网络的应用中，利用大数据技术能够更好的分析相关联的非结构化数据以得到更好的发展，因此，EMC、亚马逊、Google 等企业面对数据爆炸的现状，不断积极推动大数据技术的发展。然而对于某些特定的应用，结构化数据仍然起着重要的作用[29].就如传统的结构化数据密集型的应用，相关研究已经比较完善，传统的数据处理技术可以很好的处理这些结构化数据，完全没有必要应用大数据相关技术去替代。当前很多所谓的大数据处理也仅仅只是对原有的技术重新进行了改良和包装，并没有多少重大突破[30].故而，盲目的使用大数据技术替代原有数据处理技术是不可取的，按需索取，根据实际情况去选择和发展适当的数据处理方式才是大数据时代的发展道路。
　　（2）大数据带来的数据存储和分析技术挑战
　　随着大数据时代的到来，互联网公司正在被数据所淹没。面对每天 24 拍字节的数据处理量，谷歌公司每天处理的数据量将是美国国家图书馆所有纸质出版物数据量的上千倍；Facebook 公司为了挖掘用户喜好而收集的网站上每天约为三十亿次的点击&喜好&按钮和评论数据的次数；YouTube 上每一秒就会有一段长度在一小时以上的视频上传；twitter网站每天增加2亿条微薄，其信息量每一年就翻一番；沃尔玛每小时可处理超过 100 万笔客户交易，为数据库注入超过 2.5PB 的数据；基于云的医疗数据，如病例、检查、影像和病理报告等，每年增长 35%,预计 2015 年将达到 14ZB[31].从互联网到银行业，从医疗保险到科学研究，数据的爆发式增长在社会的各个方面正体现出来，这种爆发超出了我们的想象[32].
　　面对庞大的数据量，如何存储、分析和处理这些数据就成为了首要问题，同时这也是大数据所带来的重大挑战之一。大数据时代，网络日志、传感器网络、社交网络、互联网搜索索引、视频档案、图片档案等众多数据充斥着人们的生活，其中绝大多数数据都不是传统的结构化数据，随着非结构化数据的增多，传统的主要适用于结构化数据的软件和工具将很难及时收集、存储和管理这些大数据，对于对数据进行深度的分析和挖掘，则更加需要新的技术和方法[33].
　　由于大数据所潜在的商业价值，大数据要求使用专门的数据库技术和数据存储设备。对于追求高度数据一致性和容错性的传统数据库而言，其扩展性和系统可用性就稍显不足，对于视频、音乐、图像等非结构化和半结构化数据不能有效地存储，目前，数据的存储能力远远落后与数据的增长速度，设计合理的分布式存储构架来解决成为了关键所在。数据的多样化对传统的数据分析平台也提出了挑战，由于数据量的不断增大，大型数据库中的数据无法同时导入内存，算法的效率将对数据分析产生影响。
　　以开源形式发展起来的 Hadoop 等软件平台可以用于解决大数据问题[34],然而对于海量数据的存储和分析仍就是大数据时代的重大挑战之一。在这方面，我国数据存储、处理技术基础薄弱，总体上还是以跟随为主，对于大数据的大规模应用仍存在苦难，这是我国需要解决的问题。
　　（3）大数据所带来的数据保护挑战
　　根据 IDC 的统计数据，需要保护的数据量从 2010 年的 1/3 开始不断增大，预计到 2020 年这一比例将超过 2/5.根据 2012 年的统计报告显示，需要保护的数据信息有 35%,然而实际得到保护的却连一半也没有达到[2].
　　由于互联网的发展，大数据时代的到来，人们随时随地可以通过多种手段获取数据信息，数据的获取变得十分便利，在给人们生活带来便利的同时，信息安全也成了我们必须要去关注的重要问题。随着互联网、移动互联网的快速发展及 3G、4G 手机的普及，我们每时每刻都在产生着数据，然而这些数据不再私有、不再神秘。在使用网络设备的同时，我们的数据在毫不知情的情况下被一下数据公司收集，以苹果公司为例，iphone 在用户不知情的情况下收集位置和无线信息并将其传输回苹果公司[35].随着越来越多的人接受和使用电子商务，还有社交网络的流行，每个独立的个体都被网络紧密联系起来，我们时时刻刻都产生着数据信息，如果对这些信息进行筛选和分析，得到人们的个人相关信息将变得十分容易，这样一来我们的一些隐私数据的被外人所掌握，可能会造成许多不必要的损失。然而，大数据时代这种数据通过网络发布和传输共享的机制使得人们隐私数据的暴露成了一个必然，使我们防不胜防。由于网络的范围广泛，数据的访问随机，使得人们防范数据盗取等行为的困难更大，只有在数据存储的安全机制、数据容灾机制和数据多副本机制等各个方面全面做出提高，才能尽可能的保证数据使用的安全性对于安全漏洞的及时发现，安全体系的不断升级，最大程度的确保信息安全成了大数据时代的重要任务。大数据时代的数据保护变得格外重要，美国的大数据研发计划就有从数据安全的方面做考量[36].故而，如何保护自我的隐私和数据成为了大数据时代的一大重要挑战。
相关内容推荐
相近论文：
上一篇： 下一篇：