从零开始了解大数据(一)：数据分析入门篇

这篇具有很好参考价值的文章主要介绍了从零开始了解大数据(一)：数据分析入门篇。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

一、数据分析

1.企业数据分析方向

(1) 原因分析：离线分析 (Batch Processing)

(2) 现状分析：实时分析 (Real Time Processing | Streaming)

(3) 预测分析：机器学习 (Machine Learning)

2.数据分析基本步骤

3.大数据5V特征

4.分布式与集群

总结

前言

在开启大数据的探索之前，我们首先需要理解数据分析的基础与核心。毕竟，大数据的真正价值，是在于对其进行深入、有效的分析后，能够提取出有意义的信息和知识。本文将介绍有关数据分析的知识，希望对大家有所帮助。

在现代企业中，数据分析主要涵盖以下三大方向：

此分析方法主要针对历史数据，对过去的事件进行深入剖析。通常，这种分析是按照一定的时间周期进行的，例如每周或每天（一周一分析（T+7），一天一分析（T+1）），因此得名“批处理”。

与离线分析不同，实时分析关注的是当前正在产生的数据，其特点是从数据产生到数据分析，再到数据应用的时间间隔非常短，可以是秒级或毫秒级。

预测分析主要利用历史数据和实时产生的数据来预测未来的趋势或事件。这一领域大量运用了数学算法，如分类、聚类、关联规则和预测模型等。

无论是处理大数据还是小数据，一个清晰、结构化的分析流程都是至关重要的。以下是进行数据分析时的六个基本步骤：

要理解大数据分析的特点，我们需要首先认识大数据的5V特征：

Volume（数据体量大）：大数据的第一个特点就是数据量巨大，通常以PB（Petabytes）或EB（Exabytes）为单位来衡量。
Variety（种类、来源多样化）：大数据不仅体量大，其种类和来源也非常多样，包括结构化数据（如数据库中的表格）、非结构化数据（如社交媒体上的文字或图片）以及半结构化数据（如XML文件）。
Value（低价值密度）：虽然大数据体量巨大，但真正有价值的信息可能只占其中的一小部分，因此需要高效的分析方法来提炼价值。
Velocity（速度快）：大数据的产生和处理速度都非常快，要求分析系统能够快速响应和处理数据流。
Veracity（数据的质量）：由于大数据来源多样，其质量也参差不齐，包括准确性、完整性和一致性等方面都可能存在问题。

在大数据领域，两个经常被提及的概念是“分布式”和“集群”：

分布式系统：是由多台计算机组成的一个系统，每台计算机上部署不同的组件，共同完成一个任务。这种架构能够提供更好的扩展性和可靠性。
集群：也是由多台计算机组成，但每台计算机上都部署相同的组件。这种架构常用于提高处理能力或实现高可用性。例如，Hadoop就是一个典型的分布式集群系统，其中每台机器上运行相同的Hadoop组件。