什么是大数据分析

什么是大数据分析?大数据分析就是指对规模巨大的数据进行数据分析，大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，而数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析的有如下五个基本方面：

1. Analytic Visualizations(可视化分析)

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。

2. Data Mining Algorithms(数据挖掘算法)

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。

3. Predictive Analytic Capabilities(预测性分析能力)

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4. Semantic Engines(语义引擎)

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。

5. Data Quality and Master Data Management(数据质量和数据管理)

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

大数据分析五大步骤

(一)问题识别

大数据分析的第一步是要清晰界定需要回答的问题。对问题的界定有两个标准，一是清晰、二是符合现实。

(二)数据可行性论证

论证现有数据是否足够丰富、准确，以致可以为问题提供答案，是大数据分析的第二步，项目是否可行取决于这步的结论。

(三)数据准备

数据准备环节需要梳理分析所需每个条目的数据，为下一步建立模型做好从充分预备。这种准备可以分为数据的采集准备和清洗整理准备两步。

(四)建立模型

大数据分析项目需要建立的模型可以分为两类。对于这两类模型，团队都需要在设立模型、论证模型的可靠性方面下功夫。

(五)评估结果

评估结果阶段是要评估上述步骤得到的结果是否足够严谨可靠，并确保数据分析结果能够有利于决策。评估结果包括定量评估和定性评估两部分。

大数据的应用

大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。

大数据的意义和前景

总的来说，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。以前，面对庞大的数据，我们可能会一叶障目、可见一斑，因此不能了解到事物的真正本质，从而在科学工作中得到错误的推断，而大数据时代的来临，一切真相将会展现在我么面前。

大数据发展战略

传统的数据方法，不管是传统的 OLAP技术还是数据挖掘技术，都难以应付大数据的挑战。首先是执行效率低。传统数据挖掘技术都是基于集中式的底层软件架构开发，难以并行化，因而在处理 TB级以上数据的效率低。其次是数据分析精度难以随着数据量提升而得到改进，特别是难以应对非结构化数据。

在人类全部数字化数据中，仅有非常小的一部分(约占总数据量的1%)数值型数据得到了深入分析和挖掘(如回归、分类、聚类)，大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析(如排序)，占总量近60%的语音、图片、视频等非结构化数据还难以进行有效的分析。