大数据技术及应用

摘要：随着互联网技术的飞速发展，特别是近几年，云计算，物联网，社交网络和其他新服务，以促进以前所未有的速度数据类型和人类社会的规模，大数据时代的正式到来是数据。简单的处理对象开始改变作为基本资源，如何更好地管理和利用大数据已成为人们关注的共同话题。大规模数据到数据存储，管理和数据分析带来了极大的挑战改变酿造和发病率数据的管理。背景和基本概念来分析大数据，大数据的主要应用做一个简单的比较。在此基础上，基本框架阐述了大型数据处理和云计算技术来分析产生的大数据的数据管理角色的时代。最后总结了面向大数据时代的新挑战。
关键词：机遇与挑战大数据的应用趋势
大数据的一，时代背景
半个世纪以来，随着社会生活的范围内充分融合计算机技术，信息爆炸已经积累，开始触发变化。 21世纪是大数据，移动互联网，社交网络，电子商务，大大扩展了范围边界和互联网应用，各种数据正在迅速扩大和年龄较大的发展。因特网（社交，搜索，电商） ，移动互联网（微博） ，网络（传感器，智慧地球） ，车联网，全球定位系统，医疗成像，安防监控，金融（银行，证券市场和保险） ，产生电信（电话，短信）的数据是疯了。 2011年5月，在“云计算相遇大数据”作为2011年的EMC World大会的主题， EMC抛出大数据概念。正如“纽约时报”在2012年2月写了时报的一篇文章，题为“大数据”已经在商业，经济及其他领域的专栏中，将越来越多地基于数据和分析，而不是经验和直觉做出决策。 •美国哈佛大学社会学教授加里·金说： “这是一场革命，庞大的数据资源，使量化过程的各个领域开始了，不管是学术，企业或政府，各区域将开始这一进程。 ”
二，什么是大数据
大数据（大数据）是指超越传统数据库系统处理能力的数据。数据传输和高速传输，或一个结构的大小是不适合于现有的数据库系统的要求。为了获得一个大的数据值，我们必须选择另一种方式来处理它。有价值的数据模式和隐藏的信息，在常规的提取的信息需要相当的时间和成本才能。如沃尔玛或谷歌的领先企业不得不从大量的数据挖掘信息付出高昂的代价。和今天的各种资源，如硬件，云架构和开源软件可以更容易地处理大量的数据和价格便宜。即使是在一个车库创业公司可以以较低的价格云计算服务时租用。对于企业大型组织反映在数据的价值在两个方面条款：二次开发的使用和分析。对于大数据分析可以揭示隐藏的信息。例如，零售销售网点，地理分析和社会信息化，以提高客户的理解。大数据的二次开发是一个长期成功的互联网公司。例如，通过结合大量的Facebook用户信息，定制高度个性化的用户体验，并创建一个新的广告模式。通过创造新的产品和服务，商业惯例这么大的数据是不是巧合，谷歌，雅虎，亚马逊和Facebook ，他们是创新者在大数据时代。
4V特点（一）大数据
大量（卷） ：企业面临着数据量的快速增长。例如， IDC最近的一份报告预测，到2020年， 50倍的数据将扩大全球量。目前，大规模的数据仍然是改变单一的一组数据，从几十到几百的指标TB PB大小的范围。总之，这家店就需要两万1PB与PC数据50GB硬盘。此外，多个数据源可以产生意想不到的。
多样性（多样性） ：一个常见的​​观点是，人们使用互联网来搜索表单数据的多样性的主要原因，这种观点是部分正确的。不过，增加的主要原因是数据的多样性是一种新的多结构化数据，以及病因，包括博客，社交媒体，互联网搜索，手机通话记录及传感器网络等数据类型。其中所述传感器的一部分被安装在火车，汽车和飞机中，每个传感器，以增加数据的多样性。
快速的技术（速度） ：介绍了高速数据，并创建一个移动速度。在的高速网络，高速计算机为基础的处理器和服务器，创建实时数据流的性能优化软件的时代已经成为一种流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理，分析并返回给用户，以满足他们的实时性要求。根据速度创造IMS Research的数据调查显示，据预测，到2020年全球将有22个十亿互联网连接设备。
（价值） ：有很多无关信息，淘沙浪，但弥足珍贵。未来的趋势和模式分析，预测复杂的分析深度（机器学习，人工智能，比传统的商业智能（咨询，报告等）
三，数字化时代的生活工作中的巨大影响
大数据，除了其对经济的影响，政治，文化等各个方面，它也可以产生大量的数据产生深远的影响可以帮助人们通过打开“几”的管理模式，我们提出了“大社会”反映，三大技术中，一个第七数据，在世界上谁的数据。
“大数据” ，日益增长的需求信息管理专家的影响。事实上，影响并不仅仅局限于大型数据信息和通信产业，数据分析工具，但许多传统产业“吞噬”和重建，广泛用于管理和优化公司的业务，其实质是一家数据公司。麦当劳，肯德基，以及诸如苹果旗舰店公司座落在建立基本的数据分析的准确位置。被广泛应用于零售，技术和数据分析方法，传统企业如沃尔玛，通过数据挖掘重塑和优化供应链，新的电力供应商，通过亚马逊的海量数据的崛起，淘宝的理解和分析，为客户提供的用户提供更专业，个性化的服务。
大数据隐私问题，往往包含大量的数据来证明一些关于我们潜在的细节，并逐渐引起了我们对个人隐私的担忧。有些公司需要处理大量的数据是一个重大问题。核心信息，如美国一天给人们留下了深刻的印象，他是一个科学家提出，我们不应该简单地遵守隐私，这是不够的，原则的法律问题，企业应遵守谷歌并不邪恶甚至更多的努力应该更加活跃。
大数据时代的趋势四，发展方向
据调查在国际电子商务ESM显示大数据应用和发展趋势的状态： 2013 ：受访者最关心的大数据技术，五大是一个大数据分析（ 12.91 ％ ） ，云数据库（ 11.82 ％ ） ， Hadoop的的（ 11.73 ％ ） ，内存数据库（ 11.64 ％ ）和数据安全（ 9.21 ％ ） 。 Hadoop是不再被视为唯一的大数据技术，以及大数据分析技术成为最关注的问题。可以看出，大数据是逐步加深的关注技术的人的认识也越来越多。由于大量的数据分析技术的发展趋势最关心的问题，这么大的数据分析哪些功能是最重要的？正如从图中可以看出，排在前三位的特点是实时分析（ 21.32 ％ ） ，丰富的挖掘模型（ 17.97 ％）和可视化界面（ 15.91 ％ ） 。 2012进行了一项类似的调查，然后选择一个丰富的挖掘模型（ 27.22 ％）高于实时分析（ 19.88 ％ ）超过7.34％显著为高。在短短一年内，对商业行为的激增，许多创新技术，大数据实时分析，实时分析的需求厂商的成就。从调查结果可以看出：迫切需要部署大型企业数据和基础设施已经从一开始，并逐渐发展成一个大的数据分析和未来数年的大数据解决方案的整体需求。同时，大数据挑战缺乏人才也需要联合企业和高校一起，在该领域的培训复合型人才的数据，帮助企业赢得了“数据战”。
五个数据应用你（一）谁建立了一个大扩容的行业数据的支柱产业
IBM ：提供IBM的大数据服务包括数据分析，文本分析，蓝云杉（混搭平台供应网络协作）;业务事件处理;测光IBM Mashup Center中，监测和商业化服务（ MMM的） 。 IBM的大数据产品组合，基于Apache Hadoop的最新系列的InfoSphere BigInsights中的的。
该产品组合包括： Apache的Hadoop的软件包和服务，核心代码是BigInsights中开始大数据分析。行业解决方案软件被称为bigsheet ，该软件可以轻松地帮助从大量数据的企业在一个简单而直观的提取，约量身定制的金融，风险管理，媒体和娱乐行业的注释信息
微软： 2011年1月合作（特别是惠普，集成数据库应用部门）和惠普的目标是开发出一系列提高生产力，更快的决策设备。
EMC ： EMC获得纽交所和纳斯达克;大数据解决方案已包括40多个产品。
甲骨文：甲骨文大数据机和Oracle Exalogic中间件云服务器， Oracle数据库云服务器和Oracle商务智能云服务器商务智能Oracle数据库云服务器一起组成了高度集成的系统的广泛的产品组合。
（二）推进大政府职能转换数据
强调大数据技术，围绕资产使用云计算中心的应用：在工业园区，离政绩工程，转化为某种原始的工业园项目的智慧大规模的投资，但在应用的大数据领域安全技术，提高应急反应和民生等领域的支持能力，大数据技术，以提高服务能力和运营效率，以及个性化的服务，如医疗，卫生，教育等行业，解决问题的应用数据，如金融服务，电信和分析领域：一些是非常大的关注，但被困在存储容量和计算能力的限制，只限于数据类型的事务数统计分析。一方面是大数据转换应用，以促进政府职能，另一方面，政府将形成示范效应，极大地推动了大数据的发展。
（三）打造“智慧城市”
美国奥巴马政府出台了“大数据研究和发展倡议”的白宫网站， “通过收集，处理庞大而复杂的数据，信息和获取知识和见解，以提高加速科学和工程创新的步伐加强能力国土安全部美国部，改变教育和学习模式“ ，中国工程院院士邬贺铨说， ”智慧城市是利用智能计算技术的一个关键要素，使城市基础设施和服务更智能，互联，高效，和城市建设社会的智慧将步入“大数据”时代。 “
（四）未来改变了一切
未来，公司将依靠数据的更深入的了解，了解他们的信息，但也有一个更好的了解客户的。
数据重复使用：由于信息价值链的特殊地位，一些公司可能会收集大量的数据，但他们不是在重复使用急需无法使用这些数据。例如，短信手机信号的移动电话运营商的手机用户的位置，这是对他们的数据只有一个狭窄的技术目的。但它是个性化的，可能会释放位置的广告和促销活动，该公司再利用，然后变得更有价值。
六，机遇与挑战并存
大数据给了我们洞悉未来的能力，但问题解决了很多领域，最重要的是每个人的信息被记录和存储在互联网上，并进行处理和利用，由人民，这是我们所担心的信息安全隐患！更多的隐私，安全问题：我们的隐私是一种二次利用。如何口令和帐户流出因“社交网络”许多？
 
参考文献：
[1]中国知网 大数据管理：概念、技术与挑战
  [2]ESM国际电子商情2013年大数据应用与趋势调查
  [3]大数据时代来临：国内IT企业布局已然落后 ．新浪网 ．2012-06-01
        [4] 大数据时代降临 ．半月谈网 ．2012-09-22