导语:大数据(BigData)是从收集的海量数据中,通过一定方法将这些来自不同渠道、格式的数据进行直接分类分析,从中寻找到数据之间的相关性趋势。简单而言,大数据更偏重于发现,以及猜测到印证的循环过程。对于金融机构来讲,大数据分析主要用来提高客户情商,减少风险,符合监管,在可见的未来,处于第一梯队的大型技能机构都会围绕大数据展开各种运作。在一个越来越多被数据驱动的经济体中,大数据是紧紧控制住巨大商机的关键。目前,前瞻产业研究院发布的《我国大数据产业前景趋势与投资规划分析简报》对我国大数据现状做了简要而全面的分析,我们据此整理了部分内容,与您分享。第一部分中国大数据产业发展现状分析与前景预测
大数据产业链建设情况
目前,IT产业在发展过程中已经形成了一些层次分布,有做服务器和底层系统的,有做软件的,有做应用的,大数据也需要在原有的架构上加以发展。原来做基础设施的企业,如联想、华为,也要向大数据转型,提供低成本、低能耗的大型存储器,这是大数据产业的基础。中间层是类似Hadoop、MapReduce的数据分析软件,原有的软件产业也要转型,由卖软件转为以数据为中心。再往上就是百度、腾讯、阿里巴巴等大数据应用服务公司,需要增加数据分析的效用。
据贵阳大数据交易所发布的《年中国大数据交易产业白皮书》数据显示,年,中国大数据产业规模大约为亿元,年产业整体规模达到亿元。随着大数据应用范围的不断扩大,大数据所形成的价值正在快速提升。
大数据产业面临的挑战
大数据在开始应用的同时,也在基础软件研发、智慧城市建设、数据流动性等方面尚存在一些不足。主要表现在以下几个方面:
大数据在经济预警方面的应用
在年金融危机中,阿里平台的海量交易记录预测了经济指数的下滑。年初,阿里巴巴平台上整个买家询盘数急剧下滑,预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警,为预防危机做好了准备。
大数据在医疗领域的应用
中国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据,医院能够精准地分析病人的体征、治疗费用和疗效数据,可避免过度及副作用较为明显的治疗,此外还可以利用这些数据进行实现计算机远程监护,对慢性病进行管理等。
大数据在市场营销方面的应用
与传统的市场研究方法不同,大数据的市场研究方法不再局限于抽样调查,而是基于几乎全样本空间。例如,百度拥有中国最大的消费者行为数据库,覆盖95%的中国网民,搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具,帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息,根据百度分析的结论,宝洁适时地调整了营销策略。
中国大数据产业前景预测
据贵阳大数据统计来看,中国大数据产业市场在未来五年内,仍将保持着高速增长。预计年末,市场规模将达到亿元,而随着各项政策的配套落实及推进,到年,中国大数据产业规模或达亿元的高点。
大数据产业细分市场预测
1、大数据基础架构硬件市场预测
年,我国大数据相关硬件市场在亿元,到年已经达到亿元的规模。随着大数据相关产业的快速发展及应用场景的扩大,我国大数据硬件层市场将迎来一个崭新的快速发展的局面。预计年市场规模将达到亿元,年将突破至亿元。
2、大数据技术市场发展前景预测
就中国大数据市场而言,大数据软件市场占比较小。年,大数据软件市场规模约为0.54亿元,年市场规模约为2.48亿元,前瞻预测,-年,中国大数据软件市场规模年均复合增长率约为65%。预计到年,其市场规模达到80亿元。
3、大数据服务市场发展前景预测
年,大数据服务市场规模约为1.16亿元,年,其市场规模约为6.13亿元;前瞻预测,-年,中国大数据服务市场年均复合增长率将超过软件市场和硬件市场,年均复合增速将达到75%,到年,中国大数据服务市场规模有望达到亿元。
第二部分中国企业大数据需求与应用趋势调查中国大数据产业发展现状分析
企业数据系统架构存在的问题
针对企业的数据系统架构,被调查者认为运营成本过高、资源利用率低、应用部署过于复杂和扩展性差这四方面的问题几乎同等重要,其中运营成本过高以27.74%成为被调查者眼中企业数据系统架构最严重的问题。因此,如果企业部署新的大数据解决方案,就应摒弃原系统中的问题,或者改良系统架构,或者推倒重来。
企业面临的数据技术难题
在大数据的影响下,现有数据系统架构的问题日益凸显,在企业面临的数据处理技术挑战的调查中,23.87%的被调查者认为数据读写瓶颈是最大的技术挑战,20.16%选择了数据类型多样化,16.26%选择了存储压力,16.26%选择了系统性能瓶颈。从排名前三位的技术挑战中可以看出,大数据中快速的数据流转(velocity)和多样的数据类型(variety)成为最困扰企业用户的两个关键特性,同样也是最亟待解决的关键问题。
企业数据挖掘和分析面临的问题
关于数据挖掘与分析应用,29.40%的被调查者认为这些应用最大的问题是分析不准确,21.36%的被调查者选择了分析速度慢,18.34%选择了价格昂贵。从这三个方面来看,用户最担心的还是企业花钱部署数据挖掘与分析类应用,却不能通过分析做出正确的决策。
分析的速度也是一个重要的问题。随着企业数据量越来越大,进行一次分析所用的时间也越来越长。起初企业总是利用下班时间跑报表,但这种方式越来越不能满足实时决策的需求,常常会错过商机。因此从软硬件角度优化分析速度,即是企业经营决策的需求,又是数据分析产品新的考察指标。
企业大数据应用现状与规划
企业数据处理产品的服务商
由下图可以看出,企业现有数据产品的服务商,排在前六位的分别是Oracle(27.93%)、IBM(15.99%)、Microsoft(14.41%)、ApacheHadoop(9.01%)、EMC(8.33%)以及SAP(7.66%)。Oracle以绝对的优势拔得头筹,可见其在数据库、数据分析和大数据方面的地位。
企业大数据投入情况
关于企业在大数据领域的投入问题,28.83%的被调查者选择20-49.9万元,27.48%的被调查者选择0-19.9万元,17.57%的被调查者选择50-99.9万元,即56.31%的企业用户对大数据的投入小于50万元。另外,万元以上的只占13.96%。由此可见,企业对于大数据的投入仍处于初级阶段,并且以Hadoop和NoSQL为代表的大数据基础设施都属于开源产品,硬件方面也可使用廉价的PC服务器,所以投入并不高。
企业部署开源大数据解决方案的计划
如前文所述,Hadoop、NoSQL这样的开源大数据解决方案能够节省资源、提高系统利用率,是性价比极高的选择。由下图可知,19.82%的企业用户正在使用开源大数据技术,22.97%的企业用户计划于1年内部署,9.91%计划于2年内部署,没有相关计划和不确定的人群占到47.29%。由此看出,Hadoop等开源大数据技术相当热门,已经有至少52.71%的企业用户已经或计划部署相关解决方案。
企业大数据的部署规模
从被调查者所在企业考虑或已经部署的大数据节点来看,选择0-5个节点的为40.54%,6-10个节点的为22.07%,11-20个节点的为16.67%,21-50个节点的为10.81%,51-个节点的为2.70%,而个以上节点的为7.21%。由此可见,大数据的部署还处在初级规模,大多数企业还未部署,或部署少量节点。相信随着数据量的不断增加,大数据相关的节点规模会不断增加。
企业大数据应用趋势分析