大数据前置学习基础准备(非常详细!)

这篇具有很好参考价值的文章主要介绍了大数据前置学习基础准备(非常详细!)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.需要的环境

        需要3台服务器,centos7

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

为集群,全部设置为nat模式

2.整个环境大体

1.设置三台Linux虚拟机的主机和固定ip

2.在Linux系统以及本机系统中配置了主机名映射

3.配置了三台服务器之间root用户的ssh免密互通

4.安装配置JDK环境

5.关闭防火墙和SELinux

6.更新时区和同步时间

7.拍摄快照

3.修改主机名,配置静态ip

vim /etc/hostanme

将里面的内容修改为root1,其他的机器以此类推root2,root3

设置固定ip地址,三台机器设置同一个网段,并且ip相连

vim /etc/sysconfig/network-scripts/ifcfg-ens33

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

修改后进行网卡重启

Systemctl restart network

4.配置Linux主机名映射

配置3台linux的/etc/hosts

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

配置这个原因就是之后再远程连接工具中只输入主机名就好了《例如

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

5.配置windows主机名映射

在windows系统中修改host文件,填入如下内容:
windows路径为C:\Windows\System32\drivers\etc下的hosts文件中添加ip和用户名

或者直接win+r输入system32

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

6.配置ssh免密登录

后续安装的集群化软件,多数需要远程登录以及远程执行命令,我们可以简单起见,配置三台Linux服务器之间的免密码互相ssh登录

1.首先在每一台机器中执行ssh-keygen -t rsa -b 4096 一直回车就好了(rsa是密钥,4096是4096位的密码)

2.再在每一台机器中执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3

全部执行完毕后就root1,root2,root3用户之间就能免密互通,直接ssh root2就能切换到root2,其他也一样

创建hadoop用户并配置免密登录

后续大数据的软件,将不会以root用户启动(主要是确保安全,要是被黑客攻击了就不会是root权限,养成良好习惯)

1.在每台机器上执行useradd hadoop创建hadoop用户

2.在每一台机器上执行passwd hadoop,设置hadoop用户密码123456

3.每一台机器都切换到hadoop用户,su hadoop,并且执行ssh-keygen -t rsa -b 4096,创建ssh密钥

4.在每台机器上执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3,现在也是一样能互通了

7.配置JDK环境

1.创建文件夹,用来部署JDK,将JDK和

Mkdir -p /export/server

上传jdk文件到服务器上,我用的是finalshell,直接拖进去

2.解压缩到这个export/server中

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

3.配置软链接

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

4.配置JAVA_HOME环境变量

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

加这两条

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

执行命令,让环境变量生效

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

将之前系统自带的java环境删除,将我们刚刚安装的创建一个软链接到系统目录下

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

执行命令验证,java -version,javac

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

另外的两台机器也是一样,使用远程复制过去java,之后配置环境变量

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

对三台虚拟机完成防火墙,SElinux,时间同步等系统设置

8.关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

Linux有一个安全模块:SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定

在当前,我们需要关闭SELinux功能,避免导致后面的软件运行出现问题

编辑文件修改

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

大数据前置学习基础准备(非常详细!),大数据应用开发,大数据,学习

重启才能生效

9.修改时间地区配置自动时间同步

1.安装ntp软件

yum install -y ntp

2.更新时区

rm -f /etc/localtime;sudo In -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.同步时间

ntpdate -u ntp.aliyun.com

4.开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

最后拍摄快照,防止之后出现问题文章来源地址https://www.toymoban.com/news/detail-716358.html

到了这里,关于大数据前置学习基础准备(非常详细!)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【静态分析】软件分析课程实验-前置准备

    课程:南京大学的《软件分析》课程 平台:Tai-e(太阿)实验作业平台 Tai-e 是一个分析 Java 程序的静态程序分析框架 ,相比于已有的知名静态程序分析框架(如 Soot、Wala 等), Tai-e 要易学易用很多 。Tai-e 提供精炼的 IR,明晰且易拓展的接口,丰富的程序分析算法,直观易

    2024年04月17日
    浏览(26)
  • 脑电EEG代码开源分享 【1.前置准备-静息态篇】

    希望了解更多的道友点这里 0. 分享【脑机接口 + 人工智能】的学习之路 1.1 . 脑电EEG代码开源分享 【1.前置准备-静息态篇】 1.2 . 脑电EEG代码开源分享 【1.前置准备-任务态篇】 2.1 . 脑电EEG代码开源分享 【2.预处理-静息态篇】 2.2 . 脑电EEG代码开源分享 【2.预处理-任务态篇】

    2024年02月02日
    浏览(28)
  • 【数据结构】前置基础

    指针是什么? 指针理解的 2 个要点: 1)指针是内存中一个最小单元的编号,也就是地址 2)平时口语中说的指针,通常指的是指针变量,是用来存放内存地址的变量 总结:指针就是地址,口语中说的指针通常指的是指针变量 那我们就可以这样理解: 指针作用1:指针类型决

    2024年02月20日
    浏览(28)
  • 计算机网络基础知识(非常详细)

    文末有惊喜哦 👇👇👇 七层模型,亦称 OSI(Open System Interconnection)参考模型,即开放式系统互联,是网络通信的 标准模型 。一般称为 OSI 参考模型或七层模型。 它是一个七层的、抽象的模型体,不仅包括一系列抽象的术语或概念,也包括具体的协议。 物理层:负责传输原

    2024年02月09日
    浏览(35)
  • 链表基础知识详解(非常详细简单易懂)

          链表作为 C 语言中一种基础的数据结构,在平时写程序的时候用的并不多,但在操作系统里面使用的非常多。不管是RTOS还是Linux等使用非常广泛,所以必须要搞懂链表,链表分为单向链表和双向链表,单向链表很少用,使用最多的还是双向链表。单向链表懂了双向链表

    2024年02月03日
    浏览(31)
  • 零基础学Python入门教程非常详细(从小白到高级)

    第一章-第五章(5.1-5.4):简介、配置与基础知识 第六章:判断语句 Python它是一种直译式,面向对象,解释式的脚本语言。它和Java,C/C++,Go语言一样都是高级语言,但由于它是解释式语言,所以运行速度会比Java,C/C++等语言慢(虽说隔壁Go也是解释式语言,但比它快很多)。不

    2024年01月19日
    浏览(34)
  • 网络安全入门教程(非常详细)从零基础入门到精通!

    网络安全是一个庞大而不断发展的领域,它包含多个专业领域,如网络防御、网络攻击、数据加密等。介绍网络安全的基本概念、技术和工具,逐步深入,帮助您成为一名合格的网络安全从业人员。 1.计算机基础知识 了解了计算机的硬件、软件、操作系统和网络结构等基础知

    2024年04月13日
    浏览(51)
  • 网络安全入门教程(非常详细)从零基础入门到精通

    1.入行网络安全这是一条坚持的道路,三分钟的热情可以放弃往下看了。 2.多练多想,不要离开了教程什么都不会了,最好看完教程自己独立完成技术方面的开发。 3.有时多百度,我们往往都遇不到好心的大神,谁会无聊天天给你做解答。 4.遇到实在搞不懂的,可以先放放,

    2024年01月18日
    浏览(37)
  • 【React 入门实战篇】从零开始搭建与理解React应用-二、前置准备与环境搭建

    二、前置准备与环境搭建 2.1 安装Node.js与npm 在开始React开发之前,我们需要确保Node.js和npm(Node Package Manager)已经安装在我们的计算机上。Node.js是一个基于Chrome V8引擎的JavaScript运行环境,而npm则是Node.js的包管理器,用于安装和管理JavaScript库和工具。 安装Node.js: 访问Node.js官

    2024年04月10日
    浏览(72)
  • 鸿蒙系统(非常详细)从零基础入门到精通,看完这一篇就够了

    我们可以从以下三个主要方面进行概述: 系统定义、技术特征、系统安全 。 目录 鸿蒙系统概述(HarmonyOS) 系统定义 系统定位 技术架构 内核层 系统服务层 框架层 应用层 技术特性 硬件互助,资源共享 一次开发,多端部署 统一OS,弹性部署 系统安全 正确的人 正确的设备

    2024年02月12日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包