大数据可以解决的问题有哪些？

1. 大数据可以解决的问题有哪些？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。
第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。
第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

2. 大数据解决方案都有哪些？

在信息时代的我们，总会听到一些新鲜词，比如大数据，物联网，人工智能等等。而现在，物联网、大数据、人工智能已经走进了我们的生活，对于很多人看到的大数据的前景从而走进了这一行业，对于大数据的分析和解决是很多人不太了解的，那么大数据的解决方案都有哪些呢？一般来说，大数据的解决方案就有Apache Drill、Pentaho BI、Hadoop、RapidMiner、Storm、HPCC等等。下面就给大家逐个讲解一下这些解决方案的情况。 

 
第一要说的就是Apache Drill。这个方案的产生就是为了帮助企业用户寻找更有效、加快Hadoop数据查询的方法。这个项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。 

 
第二要说的就是Pentaho BI。Pentaho BI 平台和传统的BI 产品不同，它是一个以数据流程为中心的，面向解决方案的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，这样一来就方便了商务智能应用的开发。Pentaho BI的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项复杂的、完整的商务智能解决方案。 

 
 

 
然后要说的就是Hadoop。Hadoop 是一个能够对海量数据进行分布式处理的软件框架。不过Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。另外，Hadoop 依赖于社区服务器，所以Hadoop的成本比较低，任何人都可以使用。 

 
接着要说的是RapidMiner。RapidMiner是世界领先的数据挖掘解决方案，有着先进的技术。RapidMiner数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。 

 
Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、Admaster等等。 

 
最后要说的就是HPCC。什么是HPPC呢？HPCC是High Performance Computing and Communications(高性能计算与通信)的缩写。HPCC主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。 

 
通过上述的内容，想必大家已经知道了大数据的解决方案了吧，目前世界范围内拥有的大数据解决方案种类较多，只有开发并使用好最先进的，最完备的大数据解决方案，一个公司，甚至一个国家才能走在世界前列。

3. 大数据分析需全面解决方案

大数据分析需全面解决方案 
当前，越来越多企业将大数据的分析结果作为其判断未来发展的依据。同时，传统的商业预测逻辑正日益被新的大数据预测所取代。但是，我们要谨慎管理大家对大数据的期望值，因为海量数据只有在得到有效治理的前提下才能进一步发展其业务价值。

    最广为人知的大数据定义是Gartner给出的大数据的3V特性：巨大的数据量（Volume）、数据的快速处理（Velocity）、多变的数据结构和类型（Variety）。根据这一定义，大家首先想到的是IT系统中一直难以处理却又不容忽视的非结构化数据。也就是说，大数据不仅要处理好交易型数据的分析，还把社交媒体、电子商务、决策支持等信息都融入进来。现在，分布式处理技术Hadoop和NoSQL已经能对非结构化数据进行存储、处理、分析和挖掘，但未能为满足客户的大数据需求提供一个全面的解决方案。
    事实上，普遍意义上的大数据范围更加广泛，任何涉及海量数据及多数据源的复杂计算，均属大数据范畴，而不仅局限于非结构化数据。因此，诸如电信运营商所拥有的巨量用户的各类详细数据、手机开关机信息、手机在网注册信息、手机通话计费信息、手机上网详细日志信息、用户漫游信息、用户订阅服务信息和用户基础服务信息等，均可划归为大数据。
    与几年前兴起的云计算相比，大数据实现其业务价值所要走的路或许更为长远。但是企业用户已经迫不及待，越来越多企业高层倾向于将大数据分析结果作为其商业决策的重要依据。在这种背景下，我们必须找到一种全面的大数据解决方案，不仅要解决非结构化数据的处理问题，还要将功能扩展到海量数据的存储、大数据的分布式采集和交换、海量数据的实时快速访问、统计分析与挖掘和商务智能分析等。
    典型的大数据解决方案应该是具有多种能力的平台化解决方案，这些能力包括结构化数据的存储、计算、分析和挖掘，多结构化数据的存储、加工和处理，以及大数据的商务智能分析。这种解决方案在技术应具有以下四个特性：软硬集成化的大数据处理、全结构化数据处理的能力、大规模内存计算的能力、超高网络速度的访问。

4. 业界采用的大数据解决方案

　　常用的还是IBM BigInsight与Hadoop，
　　还有，微软大数据解决方案 - SQL Server 2014，（官网简介：伴随一张张照片的上传、推送、购买和 GPS 定位过程，数据也随之创建。今天，85% 的数据由传感器和设备自动生成。这是一个大数据时代，大数据可以带来巨大的成就——前提是您手中掌握驯服它的工具。
　　Microsoft 认为大数据应由最了解您的公司、最接近大数据伟大构想的人来掌控。微软大数据方案很简单——整合 Hadoop 和您的核心数据库，并借助您最常使用的工具通过丰富的 3D 数据可视化技术将非结构化数据和结构化数据带入现实生活。
　　借助 Microsoft 的大数据解决方案，您可以使用用于 SQL Server 的相同技术部署一个 Hadoop 群集，并在数分钟内做好查询与合并关系型和非关系型数据的准备。所有人都可以成为 BI 专家，使用 Excel 和 Power BI 创建强大且美观的可视化数据并通过数据讲述故事。）

5. 大数据能解决什么核心问题

资源浪费，其实大数据这个概念就是资源整合，把数据集中。我给你举几个例子吧
在零售业大数据的就是把全国的零售店的销量、销售时间之类和卖的好的商品的数据找出来，然后通过查看所有商品的数据，选择最优的捆绑销售的方式或者促销方式。
在政府行业应用就是智慧城市，拿智慧城市的智慧交通举例，1路公交车你等了30分钟才来，来的时候车上已经满员了，可能要等几辆车你才可以上去，如果通过大数据，进行分析挖掘这个数据，当天就可以紧急把多发几辆车。缓解了压力。智慧医疗，原先在一家医院看完病医生不是都让人保留病史和诊断报告吗？好下回再去医院的时候方便。但是如果应用大数据，你觉得这家医院看的不好，再去第二家的时候，不需要带病史和诊断报告，因为医生可以调出你在上家医院的诊断报告和病史。
     而且大数据节省了IT业的人力成本，数据都集中在某个机房中了，不需要每地都存有一个机房。

6. 解决大数据问题的关键是什么技术

关键技术可能不是某一方面的，要从多方面来解决，并行计算，内存计算，高性能IO等等。譬如国内永洪科技的实时大数据BI。从具体底层技术来说。

有四方面，也代表了部分通用大数据底层技术：
Z-Suite具有高性能的大数据分析能力，她完全摒弃了向上升级(Scale-Up)，全面支持横向扩展(Scale-Out)。Z-Suite主要通过以下核心技术来支撑PB级的大数据：

跨粒度计算(In-DatabaseComputing)
Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。得益于跨粒度计算技术，Z-Suite数据分析引擎将找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，我们称之为库内计算(In-Database)。这一技术大大减少了数据移动，降低了通讯负担，保证了高性能数据分析。

并行计算(MPP Computing)
Z-Suite是基于MPP架构的商业智能平台，她能够把计算分布到多个计算节点，再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源，不管是服务器还是普通的PC，她对网络条件也没有严苛的要求。作为横向扩展的大数据平台，Z-Suite能够充分发挥各个节点的计算能力，轻松实现针对TB/PB级数据分析的秒级响应。

列存储 (Column-Based)
Z-Suite是列存储的。基于列存储的数据集市，不读取无关数据，能降低读写开销，同时提高I/O 的效率，从而大大提高查询性能。另外，列存储能够更好地压缩数据，一般压缩比在5 -10倍之间，这样一来，数据占有空间降低到传统存储的1/5到1/10 。良好的数据压缩技术，节省了存储设备和内存的开销，却大大了提升计算性能。

内存计算
得益于列存储技术和并行计算技术，Z-Suite能够大大压缩数据，并同时利用多个节点的计算能力和内存容量。一般地，内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算，CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速，是实现大数据分析的关键应用技术。

7. 大数据在开发中遇到的困难怎么解决方案

　　大数据时代下的信息技术日存在的问题：

　　第一：运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战;

　　第二：大数据处理和分析的能力远远不及理想中水平，数据量的快速增长，对存储技术提出了挑战;同时，需要高速信息传输能力支持，与低密度有价值数据的快速分析、处理能力。

　　第三：部分早期的Hadoop项目将面临挑战;

　　第四：大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，乃至企业用户的商业机密，对个人隐私问题必须引起充分重视;

　　第五：大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，如何创新已成为大数据时代的一个首要问题;

　　第六：大数据时代对政府制订规则与监管部门发挥作用提出了新的挑战

　　

     大数据时代面临挑战的应对策略：

　　1、合理获取数据

　　在大数据时代，数据的产生速度飞快而且体量庞大，往往以TB或YB甚至是ZB来衡量。各种机构、个人都在不断地向外产生和发布结构化与非结构化的复杂数据，并进行数据交换，如人们当前最常用的数据来源渠道——互联网，每天的数据交换量已极为惊人。

　　2、存储随需而变

　　美国一家知名的 DVD 租赁企业每年都会邀请一些协同处理算法的专家对其用户数据进行分析，从而了解租赁客户的需求。

　　3、筛选与分析大数据

　　充分利用数据“洞察”自己身边的人或物，在诸多供给方当中精准地匹配自身需求，从而最大限度地满足自身吁求也是大数据价值的应有之义。

　　4、理性面对大数据的价值诱惑

　　毫无疑问，大数据时代将是商业智能“大显身手”的时代。企业利用发达的数据挖掘技术正日益精准地揣摩着消费者心态，并运用各种手段对其“循循善诱” 。

　　5、云计算和大数据相辅相成

　　为了满足大数据的需求，商务智能软件必须改变。

8. 什么是大数据亟待解决的问题？

大数据分析能够帮用户发掘他们的价值，从而使其在市场竞争中处于更有利的地位，同时提升他们的市场生命力，但其在发展过程中仍有需要解决的问题，依然存在着这样那样的问题，在这些问题中我们不得不提其在隐私方面的问题。 隐私问题是大数据亟待解决的问题 大数据挖掘不但可以挖掘数字信息，同样还能够挖掘图像、文本、视频等等，如今我们甚至能够通过数据挖掘了解一个人的整天的行动，甚至能够预判一个即将要做的事情。但当我们的数据挖掘关系到公民的生活问题时就会遇到一个问题，那就是隐私。隐私问题 隐私是目前很多人都关注的问题，如今，电话推销的人几乎天天都有，这就是我们隐私被透露的结果。甚至有的犯罪分子利用从即时通讯上得到的信息，冒充孩子的家长来实施犯罪，这些都是我们需要解决的问题。 那么目前对个人隐私数据方面的保护如何呢？有，但是目前扔不完善。有的时候我们虽然将注册信息设为不公开，但是仍然会接到各种骚扰电话。所以在这方面的保护并不完善，这主要是背后一个庞大的利益集团在驱动。而且现在相关的法律法规并不完善，让个人信息在大数据时代泄露的时间比比皆是。 法律框架的搭建远远赶不上新技术的发展，各国对个人隐私也界定不一，为此Facebook还专门设立了首席隐私官这个职位。但是目前的措施并不能够完全保护个人隐私的安全，个人在大数据时代似乎总是站在被分析的地位。隐私问题是大数据亟待解决的问题。