大数据分析 开源数据集

有数据，然后有大数据。 那么，有什么区别呢？

大数据定义

一个清晰的大数据定义可能很难确定，因为大数据可以涵盖许多用例。 但是总的来说，该术语指的是数据量如此之大，如此复杂以至于传统的数据处理软件产品无法在合理的时间内捕获，管理和处理数据的数据集。

这些大数据集可以包括结构化，非结构化和半结构化数据，可以挖掘每种数据以获取见识。

究竟究竟有多少数据构成“大数据”尚有待商debate，但通常可以是PB的倍数，对于EB级最大的项目来说也是如此。

大数据通常由三个V来表征：

• 大量数据
• 各种各样的数据
• 需要处理和分析数据的速度

构成大数据存储的数据可能来自以下来源，包括网站，社交媒体，桌面和移动应用，科学实验，以及越来越多的传感器和其他物联网（IoT）设备。

大数据的概念带有一组相关的组件，这些组件使组织能够将数据投入实际使用并解决许多业务问题。 其中包括支持大数据技术所需的IT基础架构，应用于数据的分析； 项目，相关技能集以及对大数据有意义的实际用例所需的大数据平台。

[InfoWorld的要点： 什么是Apache Spark？ 大数据分析平台解释了 • 什么是数据挖掘？ 分析如何发现见解 。 | 通过InfoWorld大数据和分析报告时事通讯深入了解分析和大数据。 ]

什么是数据分析？

从所有大数据组织收集中真正带来价值的是应用于数据的分析。 如果没有分析（涉及检查数据以发现模式，相关性，洞察力和趋势），则数据只是一堆零零的东西，业务用途有限。

通过将分析应用于大数据，公司可以看到诸如增加销售额，改善客户服务，提高效率以及整体提升竞争力等好处。

数据分析涉及检查数据集，以获取见解或就其包含的内容得出结论，例如趋势和对未来活动的预测。

通过使用大数据分析工具分析信息，组织可以做出更明智的业务决策，例如何时何地进行营销活动或引入新产品或服务。

分析可以指基本的商业智能应用程序，也可以指更高级的预测性分析，例如科学组织使用的分析。 数据挖掘是最先进的数据分析类型之一，分析人员在其中评估大型数据集以识别关系，模式和趋势。

数据分析可以包括探索性数据分析（以识别数据中的模式和关系）和确认性数据分析（应用统计技术以找出关于特定数据集的假设是否正确）。

另一个区别是定量数据分析（或具有可统计比较的可量化变量的数字数据分析）与定性数据分析（侧重于视频，图像和文本等非数字数据）之间的区别。

[同样来自InfoWorld： 大数据项目失败的4个原因-成功的4种方法 | 如何避免大数据分析失败 。 | 通过InfoWorld大数据和分析报告时事通讯深入了解分析和大数据。 ]

支持大数据的IT基础架构

为了使大数据概念起作用，组织需要适当的基础架构来收集和存储数据，提供对数据的访问并在存储和传输中保护信息的安全。 这就需要部署大数据分析工具。

从高层次上讲，它们包括专为大数据而设计的存储系统和服务器，数据管理和集成软件，商业智能和数据分析软件以及大数据应用程序。

随着公司希望继续利用其数据中心投资，许多此类基础架构可能都是本地的。 但是越来越多的组织依靠云计算服务来满足他们的大数据需求。

数据收集需要有来源来收集数据。 其中许多工具（例如Web应用程序，社交媒体渠道，移动应用程序和电子邮件存档）已经到位。 但是随着物联网的日益牢固，公司可能需要在各种设备，车辆和产品上部署传感器以收集数据以及生成用户数据的新应用程序。 （ 面向物联网的大数据分析具有自己的专门技术和工具。）

为了存储所有传入的数据，组织需要适当的数据存储。 存储选项包括传统的数据仓库，数据湖和基于云的存储。

安全基础架构工具可能包括数据加密，用户身份验证和其他访问控制，监视系统，防火墙，企业移动性管理以及其他用于保护系统和数据的产品，

大数据技术

除了上述用于数据的一般IT基础架构。 IT基础架构应支持几种特定于大数据的技术。

Hadoop生态系统

Hadoop是与大数据联系最紧密的技术之一。 Apache Hadoop项目开发了可扩展的分布式计算的开源软件。

Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。 它旨在从单个服务器扩展到数千个，每个服务器都提供本地计算和存储。

该项目包括几个模块：

• Hadoop Common，支持其他Hadoop模块的通用实用程序
• Hadoop分布式文件系统，提供对应用程序数据的高吞吐量访问
• Hadoop YARN，用于作业调度和集群资源管理的框架
• Hadoop MapReduce，这是一个基于YARN的系统，用于并行处理大数据集。

Apache Spark

Apache Spark是Hadoop生态系统的一部分，是一个开放源代码集群计算框架，可作为在Hadoop中处理大数据的引擎。 Spark已成为关键的大数据分布式处理框架之一，并且可以通过多种方式进行部署。 它为Java，Scala，Python （特别是Anaconda Python发行版 ）和R编程语言（ R特别适合大数据 ）提供本机绑定，并且支持SQL ，流数据， 机器学习和图形处理 。

[InfoWorld的要点： 什么是Apache Spark？ 大数据分析平台介绍了 • Spark教程：Apache Spark入门 | 阅读InfoWorld快速指南： 学习使用R处理大数据 。 | 通过InfoWorld大数据报告新闻通讯了解最新的分析和大数据。 ]

数据湖

数据湖是存储库，以其本机格式保存大量原始数据，直到业务用户需要该数据为止。 数字化转型计划和物联网的发展助推了数据湖的发展。 数据湖旨在使用户在需要时更轻松地访问大量数据。

NoSQL数据库

常规SQL数据库是为可靠的事务处理和临时查询而设计的，但是它们带有诸如刚性架构之类的限制，使它们不太适合某些类型的应用程序。 NoSQL数据库解决了这些限制，并以允许较高的操作速度和极大的灵活性的方式存储和管理数据。 许多是由公司开发的，它们寻求更好的方法来存储大型网站的内容或处理数据。 与SQL数据库不同，许多NoSQL数据库可以在成百上千个服务器上水平扩展 。

内存数据库

内存数据库（IMDB）是一种数据库管理系统，主要依靠主内存而不是磁盘进行数据存储。 内存数据库比磁盘优化数据库快，这是大数据分析用途以及数据仓库和数据集市的重要考虑因素。

[您应该使用哪个数据库？ 让InfoWorld成为您的指南。 最好的分布式关系数据库 。 • 最好的NoSQL数据库 。 • 最好的图形数据库 。 | 通过InfoWorld大数据和分析报告时事通讯深入了解分析和大数据。 ]

大数据技能

大数据和大数据分析工作需要特定的技能，无论这些技能来自组织内部还是来自外部专家。

其中许多技能与关键的大数据技术组件有关，例如Hadoop，Spark，NoSQL数据库，内存数据库和分析软件。

其他则针对特定学科，例如数据科学，数据挖掘，统计和定量分析，数据可视化，通用编程以及数据结构和算法。 还需要具有整体管理技能的人员来查看大数据项目直至完成。

鉴于大数据分析项目已经变得越来越普遍，并且缺乏具备这类技能的人员，寻找经验丰富的专业人员可能是组织面临的最大挑战之一。

大数据分析用例

大数据和分析可以应用于许多业务问题和用例。 这里有一些例子：

• 客户分析。 公司可以检查客户数据，以改善客户体验，提高转化率并增加保留率。
• 运营分析。 改善运营绩效和更好地利用公司资产是许多公司的目标。 大数据分析工具可以帮助企业找到更有效地运营和改善绩效的方法。
• 预防诈骗。 大数据工具和分析可以帮助组织识别可能表明欺诈行为的可疑活动和模式，并帮助减轻风险。
• 价格优化。 公司可以使用大数据分析来优化他们对产品和服务收取的价格，从而帮助增加收入。

翻译自: https://www.infoworld.com/article/3220044/what-is-big-data-analytics-fast-answers-from-diverse-data-sets.html

大数据分析 开源数据集