云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例

这篇具有很好参考价值的文章主要介绍了云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、 实验目的

本实验考察学生Hadoop平台下的环境配置、分布式文件存储操作和管理以及基于Hadoop的分布式编程的设计与实现。

二、 实验环境

Linux的虚拟机环境、线上操作视频和实验指导手册

三、 实验任务

完成Hadoop开发环境安装、熟悉基本功能和编程方法。

四、 实验步骤

请按照线上操作视频和实验知道手册,完成以下实验内容:
实验1-1 Hadoop安装部署

(1)登录虚拟机
(2)主机配置:主机名、网络和免密登录等
(3)Hadoop主节点和从节点配置
(4)启动Hadoop集群和网页操作界面

实验1-2 Hadoop常用命令

(1)Hadoop启动与状态查看等命令
(2)HDFS目录操作、文件操作等命令

实验1-3 MapReduce编程:单词计数

(1)使用Eclipse新建Hadoop项目
(2)使用单词计数示例代码编写MapReduce程序
(3)编译并运行MapReduce程序

五、 实验作业

1、提交实验报告电子稿和纸质稿,内容包括安装步骤及主要配置方法说明,关键步骤截图,并对截图内容进行解释说明;
2、个人对实验的总结和心得
3、搜索互联网并回答问题:谈谈利用大数据可以在未来促进哪些具体方面可持续发展?并请在其中选取一个详细的例子说明。(回答需大于500字,回答讲述越透彻,分数越高)

六、 实验结果与分析

1、安装步骤及主要配置方法说明

实验1-1 Hadoop安装部署

1、测试主从机是否成功联网
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

2、三台主机分别完成时钟同步(这里仅演示master主机)

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

3、依次配置三台虚拟机的java环境
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

这里仅演示slave02虚拟机java环境安装成功。

4、安装部署Hadoop集群
三台虚拟机解压hadoop并配置环境变量,此处不截图。
格式化Hadoop文件目录
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

5、启动Hadoop集群
使用jps查看节点是否启动成功
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

查看namenode和datanode是否正常
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

检查Yarn是否正常
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

运行指定命令后查看pi的值
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

通过以上三步验证,发现hadoop安装成功,集群正常启动

实验1-2 Hadoop常用命令

1、列出目录及文件
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据
2、递归列出目录及文件

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

3、创建目录
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

4、上传文件
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

5、下载文件
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

6、删除文件

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

实验1-3 MapReduce编程:单词计数

1、启动hadoop集群、eclipse

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

2、编写核心代码
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

3、运行测试
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

运行jar包执行分割

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例,# 云计算,hadoop,云计算,大数据

2、实验的总结和心得

本次实验主要完成Hadoop环境的安装、集群配置、了解常用的Hadoop指令、使用Hadoop完成单词分割的小程序。通过三个实验让我初步了解Hadoop运行过程,Hadoop是一个分布式的架构,所以在实验过程中至少需要三台虚拟机即一台主机,两台从机,由此可以体会集群配置。在实验过程中,我对hadoop操作更加熟悉同时对Linux下虚拟机的操作更加熟练,目前我仅通过单词分割的例子来感受hadoop的功能,这还不够明显,hadoop本身是一个能够对大量数据进行分布式处理的软件框架,所以未来需要通过更多的实例来感受hadoop的强大功能。
整体配置难度不大,相对来说繁琐程度大于难度,尤其是其中的权限问题,即在正确的权限下操作会避免后续的错误。

实验总结

1、多虚拟机配置相同环境,可以编写shell脚本自动执行,避免大量繁琐重复无意义的配置。
2、重视权限问题,使用root权限创建文件可能导致普通用户写入时出现权限不够的情况。
3、hadoop在删除文件时遇到多层目录的情况要选择使用 -rmr 命令,否则无法完成级联删除。
4、hadoop主要应用于大数据的计算,所以计算过程相对较慢。

3、问题:谈谈利用大数据可以在未来促进哪些具体方面可持续发展?并请在其中选取一个详细的例子说明。

大数据可以应用于金融领域、安防领域、能源领域、业务领域、医疗领域、电力行业领域等。
大数据应用于金融领域是比较常见的。大数据所带来的社会变革已经深入到人们生活的各个方面,金融创新离不开大数据,日常的出行、购物、运动、理财等等。金融业面临众多前所未有的跨界竞争对手,市场格局、业务流程将发生巨大改变。未来的金融业将开展新一轮围绕大数据的IT建设投资。据悉,目前,中国的金融行业数据量已经超过100TB,非结构化数据迅速增长。分析人士认为,中国金融行业正在步入大数据时代的初级阶段。优秀的数据分析能力是当今金融市场创新的关键,资本管理、交易执行、安全和反欺诈等相关的数据洞察力,成为金融企业运作和发展的核心竞争力。信贷风险评估。在传统方法中,银行对企业客户的违约风险评估多是基于过往的信贷数据和交易数据等静态数据,这种方式的最大弊端就是缺少前瞻性。因为影响企业违约的重要因素并不仅仅只是企业历史的信用情况,还包括行业的整体发展状况和实时的经营情况。而大数据手段的介入使信贷风险评估更趋近于事实。
内外部数据资源整合是大数据信贷风险评估的前提。一般来说,商业银行在识别客户需求、估算客户价值、判断客户优劣、预测客户违约可能的过程中,既需要借助银行内部已掌握的客户相关信息,也需要借助外部机构掌握的人行征信信息、客户公共评价信息、商务经营信息、收支消费信息、社会关联信息等。该部分策略主要目标为数据分析提供更广阔的数据维度和数据鲜活度,从而共同形成商业银行贷款风险评估资源。
供应链金融。供应链金融的风险控制从授信主体向整个链条转变。供应链核心企业拥有良好的资产、充足的资金和高额的授信额度。而依附于核心企业的上下游企业可能需要资金,但是贷不到款。供应链金融可以由核心企业做担保,以产品或应收账款做质押,帮助上下游企业获得资金。
利用大数据技术,银行可以根据企业之间的投资、控股、借贷、担保以及股东和法人之间的关系,形成企业之间的关系图谱,利于关联企业分析及风险控制。知识图谱在通过建立数据之间的关联链接,将碎片化的数据有机的组织起来,让数据更加容易被人和机器理解和处理,并为搜索、挖掘、分析等提供便利。
在风控上,银行以核心企业为切入点,将供应链上的多个关键企业作为一个整体。利用交往圈分析模型,持续观察企业间的通信交往数据变化情况,通过与基线数据的对比来洞察异常的交往动态,评估供应链的健康度及为企业贷后风控提供参考依据。文章来源地址https://www.toymoban.com/news/detail-778670.html

到了这里,关于云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 电商技术揭秘十八:电商平台的云计算与大数据应用小结

    电商技术揭秘相关系列文章 电商技术揭秘一:电商架构设计与核心技术 电商技术揭秘二:电商平台推荐系统的实现与优化 电商技术揭秘三:电商平台的支付与结算系统 电商技术揭秘四:电商平台的物流管理系统 电商技术揭秘五:电商平台的个性化营销与数据分析 电商技术

    2024年04月11日
    浏览(77)
  • 计算机毕业设计springboot基于Hadoop平台的电影推荐系统541039【附源码+数据库+部署+LW】

    本项目包含程序+源码+数据库+LW+调试部署环境,文末可获取一份本项目的java源码和数据库参考。 系统的选题背景和意义 选题背景: 随着互联网的快速发展和大数据技术的成熟应用,电影推荐系统成为了电影行业中不可或缺的一部分。基于Hadoop平台的电影推荐系统应运而生,

    2024年02月06日
    浏览(67)
  • 【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发

    注意:该项目只展示部分功能,如需了解,评论区咨询即可。 在当今数字化时代,电商行业成为全球商业生态系统的关键组成部分,电商平台已经深入各行各业,影响了人们的购物方式和消费习惯。随着互联网技术的不断发展,电商平台产生了大量的用户数据,包括点击、购

    2024年02月04日
    浏览(135)
  • 东方通信基于 KubeSphere 的云计算落地经验

    作者:周峰 吴昌泰 东方通信股份有限公司(以下简称“东方通信”)创立于 1958 年,是一家集硬件设备、软件、服务为一体的整体解决方案提供商。公司于 1996 年成功改制上市,成为上海证交所同时发行 A 股和 B 股的国有控股上市公司。公司业务主要包括:专网通信及信息

    2024年02月17日
    浏览(44)
  • 云计算实验——Hadoop实验

    2024年02月03日
    浏览(41)
  • 【云计算OpenStack-OpenStack Queens版本】基于OpenStack的云计算环境搭建

    OpenStack云计算环境的搭建是基于虚拟机的多节点Linux网络环境基础上搭建起来的,所以需要我们先搭建好集群环境。(基础环境搭建参考:基于虚拟机的多节点Linux网络环境搭建) 操作系统:CentOS7 controller节点IP:192.168.43.199 compute节点IP:192.168.43.74 neutron节点IP:192.168.43.180 说

    2024年02月04日
    浏览(47)
  • 计算机网络 基于Cisco Packet Tracer虚拟局域网VLAN配置实验

    虚拟局域网VLAN配置实验——基于Cisco Packet Tracer 了解VLAN的概念; 掌握单台、两台交换机基于端口划分VLAN的配置方法; 探索VLAN划分前后的广播域; 验证同一VLAN中的终端能相互通信; 验证不同VLAN中的终端不能通信; 了解和学习IEEE 802.1Q帧格式; 掌握单臂路由器的配置过程; 证通过单

    2024年02月09日
    浏览(50)
  • 云计算技术 实验三 安装Hadoop系统并熟悉hadoop命令

    参考资料为: 教材代码-林子雨编著《大数据基础编程、实验和案例教程(第2版)》教材所有章节代码_厦大数据库实验室博客 1 . 实验学时 4学时 2 . 实验目的 熟悉Hadoop系统的安装 掌握Hadoop系统的两种安装方式 掌握Hadoop系统的基本命令 3 . 实验内容 安装虚拟机和Linux环境。

    2024年02月07日
    浏览(41)
  • Java基于云计算的云HIS源码 云部署模式,可支持多家医院共同使用

    Java基于云计算技术的B/S架构医院信息管理系统(简称 云HIS ),采用前后端分离架构,前端由Angular、JavaScript开发;后端使用Java语言开发。功能包括门诊、住院、收费、电子病历、药品药房、药库、财务、统计等模块,支持医保接口。系统遵循服务化、模块化原则开发,具有强

    2024年02月02日
    浏览(44)
  • 三台虚拟机搭建Hadoop集群(云计算实验新)

    本文将介绍利用三台虚拟机实现互相免密访问并搭建Hadoop集群。 1. 下载操作系统镜像源 本文利用Centos7.9版本,下载地址,需要其他版本可在阿里镜像源下载。 2. 下载虚拟机软件VMware VMware官网链接,VMware下载指南 3. 配置三台Centos虚拟机 VMware中创建虚拟机教程,创建完成一个

    2024年02月10日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包