大数据-技术探讨

这篇具有很好参考价值的文章主要介绍了大数据-技术探讨。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

思考:

大数据是什么?

大数据技术对企业能产生什么核心价值?

大数据技术属于前端还是后端?

一、大数据的背景

        随着数字化时代的到来,人们在日常生活中无时无刻都在产生大量的数据,数据可以理解为对人类行为及产生的事件的一种记录,例如金融市场变化记录、购物网站浏览记录、产品生产过程记录、疫情时代感染人数记录、交通拥堵记录等等。对于个体而言,这些记录没有太大的用处,但对企业而言,拥有海量的数据便可进行数据分析,挖掘出数据中潜在的商业价值。例如金融业者可提升商业决策准确性、电商平台可精准推送商品、制造业可实时了解产品生产效率、疫情时代可快速精准把握感染人数和涉及的区域、导航软件可提醒司机躲避拥堵等。

二、大数据概述

        大数据学科独立于前端、后端之外,目的是解决海量数据的存储,计算和传输这三个问题。大数据应用场景是从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。

狭义上:大数据就是使用分布式技术完成海量数据处理,得到数据背后的商业价值。

广义上:大数据使数字化时代、信息化时代的基础(技术)支持,以数据为生活赋能。

大数据的五V特点:

VOLUME:体积、数据量大

VARIETY:种类、来源多

VALUE:价值、低价值密度

VELOCITY:速度、增长数据快,处理速度块,获取速度快

VERACITY:质量、准确性

三、大数据技术的核心价值

        由大数据背景可知,大数据(Big Data)顾名思义就是在一定时间范围内无法用常规软件进行捕捉、管理及处理的海量数据集合,而大数据技术就是企业为了解决日益增长数据量而采取的应对之策。大数据技术通常是结合业务需求对海量的数据进行处理,因此大数据技术本身并不能创造核心价值,它能为企业挖掘出数据中潜在的商业价值、提升企业的决策能力以及提升数据处理效率。

        已购物网站为例,数据带来的商业价值应用最常见的就是用户画像,通过用户购买时间、商品浏览记录、下单地区等信息,可分析出用户的基本特征,按客户画像进行精准营销。

大数据-技术探讨,零散知识点,大数据

        曾看过一个亚马逊的物流项目案例,亚马逊在客户还没确认下单,商品就已经邮寄到了客户手上,进而促成了交易。依靠的就是对用户画像的分析,将客户需要的商品先发往客户附件的物流仓库,实现对客户的精准营销。

四、大数据技术的前端与后端之争

        这里有个知识误区,技术本身没有前后端之分,实际应用场景才能区分前后端。Python技术应用中,Scrapy框架可以写爬虫程序,从后台获取数据应该属于后端;而Django框架可以设计网页又应该属于前端的内容。

1、前端开发的概念

        前端统称为”客户端开发“,在应用程序或网站的屏幕上看到的所有内容,都是由浏览器解析、处理、渲染相关HTML、CSS、JAVA文件后呈现出来,都属于前端的工作范畴。

2、后端开发的概念

        在后端服务器和浏览器或应用程序之间存储网站、应用数据和中间媒介的服务器都在后端的工作范畴内。在应用程序或网站屏幕上看不到的东西基本上都是后端。

3、大数据技术的前端和后端岗位

前端:BI工程师

后端:大数据开发工程师、Hadoop开发工程师、Spark开发工程师、实时计算工程师、数据仓库工程师、ETL开发工程师、数据挖掘工程师、数据架构师等

五、大数据技术三要素

         在数据量巨大的基础下,各大企业以计算机数量解决问题方案使分布式处理技术应运而生,以分布式服务器集群协同工作解决大规模数据处理问题。通过各种技术栈实现大规模数据存储大规模数据计算大规模数据传输

1、大规模数据存储技术栈

(1)Apache Hadoop - HDFS:使用最广泛的分布式存储技术

(2)Apache HBASE:NoSQL KV型数据库技术

(3)Apache KUDU

(4)阿里云OSS、Ucloud的US3、AWS的S3、金山云的KS3等

2、大规模数据计算技术栈

(1)Apache Hadoop - MapReduce:分布式计算引擎

(2)Apache Hive

(3)Apache Spark:分布式内存计算引擎

(4)Apache Flink:分布式内存计算引擎,特别在实时计算(流计算)领域特别强大,成本高

3、大规模数据传输技术栈

(1)Apache Sqoop:ETL工具,可以协助大数据提醒和关系型数据库之间进行数据传输

(2)Apache Flume:流式数据采集工具,可以从非常多的数据源中完成数据采集传输的任务

(3)Apache kafka:分布式消息系统,可以完成海量规模的数据传输工作

(4)Apache Pulsar:分布式消息系统文章来源地址https://www.toymoban.com/news/detail-803003.html

到了这里,关于大数据-技术探讨的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 智慧水务未来技术发展方向预测探讨

    随着科技的不断发展和城市化的加速,智慧水务作为一种新的水务模式,逐渐受到广泛关注。未来,智慧水务将会面临更多的技术挑战和商机。本博客将对智慧水务的未来技术发展方向进行预测,以探讨智慧水务未来可能的技术重点。 未来,人工智能技术将成为智慧水务领域

    2024年01月24日
    浏览(53)
  • 人脸识别技术的安全性及其应用探讨

    随着科技的不断发展,人脸识别技术已经成为了一个热门话题。人脸识别系统的出现,给人们的生活带来了极大的便利,同时也为一些犯罪分子提供了方便。因此,人脸识别技术的安全性和可靠性一直备受关注。 一、人脸识别技术的原理 人脸识别技术的原理是将人脸特征提

    2024年02月04日
    浏览(41)
  • 互联网高可用架构探讨 | 京东云技术团队

    高可用,英文单词High Availability,缩写HA,它是分布式系统架构设计中一个重要的度量。业界通常用多个9来衡量系统的可用性,如下表: 既然有可用率,有一定会存在不可用的情况。系统宕机一般分为有计划的和无计划的,有计划的如日常维护、系统升级等,无计划的如设备

    2024年02月12日
    浏览(40)
  • 深入探讨:开发连锁餐饮APP的关键技术要点

    时下,开发一款功能强大、用户友好的连锁餐饮APP成为许多餐饮企业的当务之急。在本文中,我们将深入探讨开发连锁餐饮APP的关键技术要点,涵盖了前端、后端以及数据库等方面。 一、前端开发 前端是用户与APP交互的入口,因此设计良好的用户界面和用户体验至关重要。

    2024年01月23日
    浏览(82)
  • 探讨AIGC的崛起历程,浅析其背后技术发展

    摘要: 本文主要讨论了AIGC(人工智能生成内容)的发展历程、现状、应用,浅析其背后技术发展、与华为云的联系,以及面临的挑战和展望。 本文分享自华为云社区 《AIGC:人工智能生成内容的崛起与未来展望 》,作者:杜甫盖房子。 AIGC被认为是继专业生成内容(PGC)和

    2024年02月03日
    浏览(46)
  • 云原生技术在云计算中的应用探讨

      云原生技术是一种针对云计算环境设计的应用程序开发和部署方法,主要目标是提高应用程序的可伸缩性、可移植性、高可用性和自动化管理等方面的特性。这种技术是近年来在云计算领域兴起的一个新的开发模式,它主要依赖于容器化和微服务架构等技术,并且还结合了

    2024年02月04日
    浏览(39)
  • 深度探讨 Golang 中并发发送 HTTP 请求的最佳技术

    💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】 🤟 基于Web端打造的:👉轻量化工具创作平台 💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 在 Golang 领域,并发发送 HTTP 请求是优化 Web 应用程序的一项重要技能。本文探讨了实现此目的的各种方法

    2024年01月18日
    浏览(51)
  • 外汇天眼:高手在一起很少探讨技术分析,他们更多交流的是......

    高手在一起很少探讨技术分析,他们更多交流的是资金管理。 交易市场不懂得资金管理的有几种人: 一、初学者,刚刚进入外汇市场的想从事交易的朋友。 二、操盘手,属于从不为钱发愁的,也从来没有属于自己的资金。 三、一直没有渡过技术分析关的输家,他们入行多年

    2024年04月13日
    浏览(39)
  • 跨平台低延迟RTSP转RTMP推送技术方案探讨

    实现RTSP摄像头数据转RTMP推送到服务器,可以用第三方库或者工具实现,总体设计架构如下:   一个好的转发模块,首先要低延迟!其次足够稳定、灵活、有状态反馈机制、资源占用低,跨平台,最好以接口形式提供,便于第三方系统集成,整体功能设计如下: 1. 拉流: 通

    2024年02月13日
    浏览(59)
  • CSA研讨会|聚焦云原生安全,探讨技术与应用策略

    为产业数字化保驾护航, 云原生安全体系如何有效抵御网络威胁? 网络安全的下一个十年, 云原生安全是网络安全创新之路吗? CNAPP部署现状,你了解多少? 9月6日(周三)下午14:30-18:00, CSA大中华区联合探真科技举办CSA研讨会|云原生安全技术与应用。会上还将深度解读

    2024年02月10日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包