Day14 01-Shell脚本编程详解-Toy模板网

这篇具有很好参考价值的文章主要介绍了Day14 01-Shell脚本编程详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

第一章 Shell编程【重点】

1.1. Shell的概念介绍

1.1.1. 命令解释器

Shell是命令解释器(command interpreter)，是Unix操作系统的用户接口，程序从用户接口得到输入信息，shell将用户程序及其输入翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执行完将返回的输出通过shell再呈现给用户，下图所示用户、shell和操作系统的关系：

Day14 01-Shell脚本编程详解,全链路数据仓库,Shell,Shell脚本编程,Shell编程规范,Shell字符串,Shell编程运算符,Shell中数组

一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell。

[root@qianfeng01 ~]# cat /etc/shells

/bin/sh
/bin/bash
/usr/bin/sh
/usr/bin/bash

操作系统内核（kernel）与shell是独立的套件，而且都可被替换；不同的操作系统使用不同的shell；同一个kernel之上可以使用不同的shell。也可以查看当前shell环境是哪种：

[root@qianfeng01 ~]# echo $SHELL

4.1.1.2. Shell脚本

Shell也是一门编程语言，即shell脚本。在此脚本中，我们可以使用一些编程语法来进行一些任务操作。如：变量、类型、分支结构、循环结构、数组、函数等语法。在shell脚本里，必须指定一种shell命令解释器。

1.2. Shell编程规范

1.2.1. 脚本文件的结构

1 文件的扩展名必须是.sh
2 文件的首行必须使用#!       指定script的运行shell环境(即脚本解释器)
   如：#!/bin/bash
3 脚本里的行注释符号为#
4 指令、选项、参数之间即使有多个空格仍会被视为一个空格。
5 tab键形成的空白也被视为一个空格键
6 空白行会被忽略

1.2.2. 脚本文件的执行

使用bash程序调用执行，只需要有读权限即可

[root@qianfeng01 ~]# sh *.sh      
或者
[root@qianfeng01 ~]# bash *.sh

直接写script，必须要有rx权限才行

[root@qianfeng01 ~]# ./*.sh         
绝对路径写法： /hadoop/*.sh
相对路径写法： ./*.sh

借助变量PATH功能

将*.sh放入~/bin目录下，因为PATH里拼接了~/bin目录。
注意：~/bin目录必须自行创建

1.3. Shell的变量

1.3.1. 变量的用法

1. 变量的命名规则   
   - 命名只能使用英文字母，数字和下划线。首个字符不能以数字开头。
   - 字母习惯使用大写。
   - 中间不能有空格。
   - 不能使用标点符号。
   - 不能使用bash里的关键字（可用help命令查看保留关键字）

2. 变量的使用规则
   - 直接定义变量名称，没有类型需要强调（类似于数学中:x=1,y=2,z=x+y）
   - 赋值时，"="前后不能有空格
   - 命令的执行结果赋值给变量时，使用反单引号      如：TIME=`date`
   - 调用变量时，必须使用$       格式： $变量名    或    ${变量名}

1.3.2. 变量的分类

Linux Shell中的变量可以分为三种变量: 局部变量、环境变量、特殊变量。可以通过set命令查看系统中存在的所有变量

局部变量：也就是用户自定义的变量，在脚本中或命令中定义
环境变量：保存和系统操作环境相关的数据。$HOME、$PWD、$SHELL、$USER等等
特殊变量：
    一种是位置参数变量：主要用来向脚本中传递参数或数据，变量名不能自定义，变量作用固定。
    一种是预定义变量：是Bash中已经定义好的变量，变量名不能自定义，变量作用也是固定的。

1.3.3. 局部变量

用户自定义的变量由字母或下划线开头，由字母，数字或下划线序列组成，并且大小写字母意义不同，变量名长度没有限制。

定义变量

习惯上用大写字母来命名变量。变量名以字母表示的字符开头，不能用数字。

调用变量

在使用变量时，要在变量名前加上前缀“$”.
使用echo 命令查看变量值
eg: [root@qianfeng01 ~]# echo $A

变量赋值

第一种: 定义时赋值

# 变量=值
# 注意: 在上述的定义方式中，等号的左右两侧不能有空格
# eg:
[root@qianfeng01 ~]# STR="hello qianfeng"
[root@qianfeng01 ~]# A=9

第二种: 将一个命令的执行结果给变量赋值

[root@qianfeng01 ~]# A=`ls -la` 反引号，运行里面的命令，并把结果返回给变量A
[root@qianfeng01 ~]# A=$(ls -la) 等价于反引号
[root@qianfeng01 ~]# AA=$((4+5))
[root@qianfeng01 ~]# BB=`expr 4 + 5 `

第三种: 将一个变量的值赋给另一个变量
```
[root@qianfeng01 ~]# A=$STR
```

变量叠加

# 变量叠加，就是将两个字符串变量的值叠加在一起，类似于Java中的字符串拼接操作。

[root@qianfeng01 ~]# A=123
[root@qianfeng01 ~]# C="$A"456
[root@qianfeng01 ~]# D=${A}789

# 单引号和双引号的区别
# 现象：单引号里的内容会全部输出，而双引号里的内容会有变化
# 原因：单引号会将所有特殊字符脱意

[root@qianfeng01 ~]# NUM=10    

[root@qianfeng01 ~]# SUM="$NUM hehe"     
[root@qianfeng01 ~]# echo $SUM     # 输出10 hehe

[root@qianfeng01 ~]# SUM2='$NUM hehe'     
[root@qianfeng01 ~]# echo $SUM2    # 输出$NUM hehe

删除变量

# 删除之前已经定义过的变量，之后就无法再使用这个变量了。

# 撤销变量 A
[root@qianfeng01 ~]# unset A 
# 声明静态的变量 B=2 ，不能 unset
[root@qianfeng01 ~]# readonly B=2 
# 报错: -bash: unset: B: cannot unset: readonly variable
[root@qianfeng01 ~]# unset B

注意事项

关于局部变量的作用域的问题: 用户自定义的局部变量，作用于仅为当前的Shell环境。仅在当前的Shell示例中有效，其他的Shell启动的程序不能访问局部变量。

[root@qianfeng01 ~]# echo '#!/bin/bash' > test.sh
[root@qianfeng01 ~]# A=22
[root@qianfeng01 ~]# echo 'echo $A' >> test.sh
[root@qianfeng01 ~]# echo $A   结果:22
[root@qianfeng01 ~]# bash test.sh   结果:打印为空,因为bash会开启新的shell进程

1.3.4. 环境变量

用户自定义的局部变量，只能在当前的Shell中生效，而环境变量会在当前Shell和其所有的子Shell中生效。如果把环境变量写入相应的配置文件，那么这个环境变量就会在所有的Shell中生效。

作用域: 当前的Shell以及所有的子Shell

声明变量: export 变量名=变量值

定义环境变量的常见配置文件:

/etc/profile -> 针对系统所有的用户生效，此文件应用于所有用户每次登录系统时的环境变量定义。每次用户登录的时候，都会加载这个文件。
$HOME/.bash_profile -> 针对特定用户生效，HOME/.bash_profile文件中的定义。

1.3.5. 位置参数变量

变量	描述
0表示命令本身，9表示第1到第9个参数，10以上的参数需要使用大括号包含，例如${10}
1 n"的形式输出所有参数
1" “n” 的形式输出所有参数
$#	参数的个数

@ 的区别
- 他们都表示传递给函数或脚本的所有参数，不被双引号包含时，都以 "$1""$2""$3"..."$n"的形式输出所有参数。
- 当他们被双引号包含时
  - "$*"会将所有的参数作为一个整体，以 $1 $2 $3 ... $n 的形式输出所有的参数。
  - "$@"会将各个参数分开，以 "$1""$2""$3"..."$n" 的形式输出所有参数。

Shell脚本执行测试

# 执行脚本 test1.sh 
#!/bin/bash
echo "test \$*"
for i in $*
do
    echo $i
done

echo "test \$@"
for i in $@
do
    echo $i
done

echo "test \"\$*\""
for i in "$*"
do
    echo $i
done

echo "test \"\$@\""
for i in "$@"
do
    echo $i
done


输出结果:
[root@qianfeng01 ~]# sh test1.sh a b
test $*
a
b
test $@
a
b
test "$*"
a b
test "$@"
a
b

1.3.6. 预定义变量

变量	描述
$?	执行上一个命令的返回值。执行成功，返回0；执行失败，返回非0
$$	当前进程的进程号(PID)，即当前脚本执行时生成的进程号
$!	后台运行的最后一个进程的进程号(PID)，最近一个被放入后台执行的进程

测试 $?

[root@qianfeng01 ~]# ls ; echo $?
# 分析: 这里的意思是依次顺序执行两个命令
# 如果分号前的命令可以执行，$?会返回0; 否则会返回非0的一个数字

测试 $$

[root@qianfeng01 ~]# pwd > /dev/null
[root@qianfeng01 ~]# echo $$

测试 $!

[root@qianfeng01 ~]# ls /etc > /dev/null &
[root@qianfeng01 ~]# echo $!

1.4. read命令

1.4.1. 命令说明

read命令，可以从控制台读取用户输入的内容，并且给指定的变量进行赋值。
命令的基本格式为: read [option] variable
常见的option:
-p : 提示语句，在输入之前，给用户提示的信息
-n : 限制输入的字符数量，到达这个数量的字符的时候，会自动的停止输入
-t : 等待时间，单位为秒。当到达这个等待时间的时候，会自动的结束输入，并且不会读取任何输入的内容!
     即，输入操作且回车，必须在指定的时间内完成。
-s : 隐藏输入的内容。在控制台上不显示任何输入的内容，常见于密码的输入

1.4.2. read的实例

[root@qianfeng01 ~]# read -t 30 -p "please input your name:"  NAME

[root@qianfeng01 ~]# echo $NAME

[root@qianfeng01 ~]# read -s -p "please input your age :"  AGE

[root@qianfeng01 ~]# echo $AGE  注意：如果隐藏输入，这里的结果是看不到的

[root@qianfeng01 ~]# read -n 1 -p "please input your sex  [M/F]:"  GENDER

[root@qianfeng01 ~]# echo $GENDER

1.4.3. 注意事项

在输入的时候，如果输错了需要删除的时候，执行ctrl+delete
符号不要输入中文
变量与之前的内容需要保持有空格

1.5. 运算

1.5.1. expr

格式 :expr m + n 或$((m+n)) 注意expr与运算符和变量间要有空格  

sum=$((m+n))   中=与$之间没有空格

expr命令：对整数型变量进行算术运算

(注意：运算符前后必须要有空格)

[root@qianfeng01 ~]# expr 3 + 5 

[root@qianfeng01 ~]# expr 3 – 5

[root@qianfeng01 ~]# echo `expr 10 / 3`     

10/3的结果为3，因为是取整

[root@qianfeng01 ~]# expr  3  \* 10     

\ 是转义符

1.5.2. 示例

计算（2 ＋3 ）×4 的值

1 .分步计算

[root@qianfeng01 ~]# S=`expr 2 + 3`

[root@qianfeng01 ~]# expr $S  \* 4

2.一步完成计算

[root@qianfeng01 ~]# expr  `expr 2 + 3` \* 4
[root@qianfeng01 ~]# S=`expr  \` expr 2 + 3  \`  \* 4`
[root@qianfeng01 ~]# echo $S
       或
[root@qianfeng01 ~]# echo $(((2 + 3) * 4))

1.5.3. {}

$()与${}的区别

$( )的用途和反引号``一样，用来表示优先执行的命令

eg: [root@qianfeng01 ~]# echo $(ls /root)

${ } 就是取变量了  

eg：[root@qianfeng01 ~]# echo ${PATH}

$((运算内容)) 适用于数值运算

eg: [root@qianfeng01 ~]# echo $((3+1*4))

1.6. 字符串

1.6.1. 字符串的脚本用法

- 字符串不能单独出现，必须要配合变量。
- 字符串可以使用单引号['  ']，也可以使用双引号[" "]，也可以不用引号
- 单引号内的任何字符没有任何意义，都会原样输出
- 单引号内使用变量是无效的，单引号内不能出现单引号
- 双引号内可以使用变量
- 双引号内可以使用转义字符
- 在字符串拼接操作时，我们可以进行无缝拼接，或者是在双引号里使用变量

1.6.2. 字符串的长度

可以使用${#variable} 或者 expr length "${variable}"。因为expr是指令，所以别忘记使用反单引号``或者是$()

直接看案例：

[root@qianfeng01 ~]# vim test3.sh

#!/bin/bash
var='welcome to china'
length1=${#var}
length2=$(expr length "${var}")  <==$()写法
length3=`expr length "$var"`     <==反单引号写法

1.7. Shell数组

1.7.1. 数组的使用规则

- 在/bin/bash这个shell中，只有一维数组的概念，并且不限定数组的长度。
- 数组的元素下标是从0开始的，
- 获取数组的元素要使用下标
- 下标使用不当，会报错

1.7.2. 数组的定义

定义格式： variable=(值1  值2    …  值n)   
注意：元素之间除了使用空格作为分隔符，还可以使用换行符。

或者 

name[0]=值1     
name[1]=值2     
…     
name[n]=值n

1.7.3. 读取数组

${variable[index]}： 读取index索引上的元素
${variable[*]}或者${variable[@]}：读取所有元素  
${#variable[*]}或者${#variable[@]} :  读取数组的长度  
[root@qianfeng01 ~]# vim test3.sh

#!/bin/bash
citys=(cc sh bj sd hlj)
hobby[0]=book
hobby[1]=film
hobby[2]=music

echo ${citys[0]}      <==cc
echo ${hobby[*]}      <==book film music
echo ${#hobby[@]}     <==3
[root@qianfeng01 ~]# bash test3.sh

1.8. test测试命令

Day14 01-Shell脚本编程详解,全链路数据仓库,Shell,Shell脚本编程,Shell编程规范,Shell字符串,Shell编程运算符,Shell中数组

通常test命令不单独使用，而是与if语句连用，或是放在循环结构中

# && 表示测试通过的处理逻辑
# || 表示测试不通过的处理逻辑
[root@qianfeng01 ~]# test -e file && echo "exists" || echo "not exists"

判断符号[]

除了好用的test之外，我们还可以使用中括号来进行检测条件是否成立文章来源地址https://www.toymoban.com/news/detail-658352.html
```
[root@qianfeng01 ~]# [  -r  filename ]      检测filename是否有可读权限
[root@qianfeng01 ~]# [  -f  filename -a  -r  filename ]     检测filename是不是普通文件并且有可读权限
```