思考:
大数据是什么?
大数据技术对企业能产生什么核心价值?
大数据技术属于前端还是后端?
一、大数据的背景
随着数字化时代的到来,人们在日常生活中无时无刻都在产生大量的数据,数据可以理解为对人类行为及产生的事件的一种记录,例如金融市场变化记录、购物网站浏览记录、产品生产过程记录、疫情时代感染人数记录、交通拥堵记录等等。对于个体而言,这些记录没有太大的用处,但对企业而言,拥有海量的数据便可进行数据分析,挖掘出数据中潜在的商业价值。例如金融业者可提升商业决策准确性、电商平台可精准推送商品、制造业可实时了解产品生产效率、疫情时代可快速精准把握感染人数和涉及的区域、导航软件可提醒司机躲避拥堵等。
二、大数据概述
大数据学科独立于前端、后端之外,目的是解决海量数据的存储,计算和传输这三个问题。大数据应用场景是从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。
狭义上:大数据就是使用分布式技术完成海量数据处理,得到数据背后的商业价值。
广义上:大数据使数字化时代、信息化时代的基础(技术)支持,以数据为生活赋能。
大数据的五V特点:
VOLUME:体积、数据量大
VARIETY:种类、来源多
VALUE:价值、低价值密度
VELOCITY:速度、增长数据快,处理速度块,获取速度快
VERACITY:质量、准确性
三、大数据技术的核心价值
由大数据背景可知,大数据(Big Data)顾名思义就是在一定时间范围内无法用常规软件进行捕捉、管理及处理的海量数据集合,而大数据技术就是企业为了解决日益增长数据量而采取的应对之策。大数据技术通常是结合业务需求对海量的数据进行处理,因此大数据技术本身并不能创造核心价值,它能为企业挖掘出数据中潜在的商业价值、提升企业的决策能力以及提升数据处理效率。
已购物网站为例,数据带来的商业价值应用最常见的就是用户画像,通过用户购买时间、商品浏览记录、下单地区等信息,可分析出用户的基本特征,按客户画像进行精准营销。
曾看过一个亚马逊的物流项目案例,亚马逊在客户还没确认下单,商品就已经邮寄到了客户手上,进而促成了交易。依靠的就是对用户画像的分析,将客户需要的商品先发往客户附件的物流仓库,实现对客户的精准营销。
四、大数据技术的前端与后端之争
这里有个知识误区,技术本身没有前后端之分,实际应用场景才能区分前后端。Python技术应用中,Scrapy框架可以写爬虫程序,从后台获取数据应该属于后端;而Django框架可以设计网页又应该属于前端的内容。
1、前端开发的概念
前端统称为”客户端开发“,在应用程序或网站的屏幕上看到的所有内容,都是由浏览器解析、处理、渲染相关HTML、CSS、JAVA文件后呈现出来,都属于前端的工作范畴。
2、后端开发的概念
在后端服务器和浏览器或应用程序之间存储网站、应用数据和中间媒介的服务器都在后端的工作范畴内。在应用程序或网站屏幕上看不到的东西基本上都是后端。
3、大数据技术的前端和后端岗位
前端:BI工程师
后端:大数据开发工程师、Hadoop开发工程师、Spark开发工程师、实时计算工程师、数据仓库工程师、ETL开发工程师、数据挖掘工程师、数据架构师等
五、大数据技术三要素
在数据量巨大的基础下,各大企业以计算机数量解决问题方案使分布式处理技术应运而生,以分布式服务器集群协同工作解决大规模数据处理问题。通过各种技术栈实现大规模数据存储、大规模数据计算、大规模数据传输。
1、大规模数据存储技术栈
(1)Apache Hadoop - HDFS:使用最广泛的分布式存储技术
(2)Apache HBASE:NoSQL KV型数据库技术
(3)Apache KUDU
(4)阿里云OSS、Ucloud的US3、AWS的S3、金山云的KS3等
2、大规模数据计算技术栈
(1)Apache Hadoop - MapReduce:分布式计算引擎
(2)Apache Hive
(3)Apache Spark:分布式内存计算引擎
(4)Apache Flink:分布式内存计算引擎,特别在实时计算(流计算)领域特别强大,成本高
3、大规模数据传输技术栈
(1)Apache Sqoop:ETL工具,可以协助大数据提醒和关系型数据库之间进行数据传输
(2)Apache Flume:流式数据采集工具,可以从非常多的数据源中完成数据采集传输的任务
(3)Apache kafka:分布式消息系统,可以完成海量规模的数据传输工作文章来源:https://www.toymoban.com/news/detail-803003.html
(4)Apache Pulsar:分布式消息系统文章来源地址https://www.toymoban.com/news/detail-803003.html
到了这里,关于大数据-技术探讨的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!