awk ，一个强大的文本分析工具，把文件逐行的读入，以指定分隔符将每行切片，切开的部分再进行分析处理。

1、基本用法

awk  [选项参数]  'pattern1{action1}  pattern2{action2}...'  filename

选项参数说明：

选项参数	功能
-F	分隔符。使用指定的分隔符对文件进行切割 。默认的分隔符是空格。
-v	临时变量。赋值一个用户定义变量

patternN{actionN} 说明：

• pattern ：表示 awk 在数据中查找的内容，就是匹配模式。
  • 还可以使用 BEGIN 、END 。这两个可以单个或一起使用。其中，
  • BEGIN 在所有数据读取行之前执行。
  • END 在所有数据执行之后执行。
• action ：在找到匹配内容时所执行的一系列命令；

常用变量：

• $1、$2...$N ，表示分割后的第1列，第2列 …第N列。
• $0， 表示所有列 。

内置变量：

变量	说明
FILENAME	文件名
NR	行号，第几行
NF	切割后，列的个数

2、案例实操

（0）数据准备

[java@localhost java_demo]$ cp  /etc/passwd  ./

（1）搜索passwd文件中以 root 关键字开头的所有行，每行以 : 分隔，输出第7列。

[java@localhost java_demo]$ awk -F: '/^root/{print $7}' passwd
/bin/bash

（2）搜索passwd文件中以 root 关键字开头的所有行，每行以 : 分隔，输出第1列和第7列，且第1列和第7列中间插入 ， 。

[java@localhost java_demo]$ awk -F: '/^root/{print $1","$7}' passwd
root,/bin/bash

注意：只有匹配了pattern的行才会执行 action 。

（3）搜索passwd文件的所有行，分隔符是: ， 在所有行的最前面加上 user，shell ，接着，输出分隔后的第1列和第7列，这两列中间是 ， ，在行的末尾加上 dahaige，/bin/zuishuai 内容。

[java@localhost java_demo]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd
user, shell
root,/bin/bash
bin,/sbin/nologin
...
java,/bin/bash
dahaige,/bin/zuishuai

注意：

BEGIN 在所有数据读取行之前执行。
END 在所有数据执行之后执行。

（4）将passwd文件中的用户id 增加数值1 ，并输出

[java@localhost java_demo]$ awk -v i=1 -F: '{print $3+i}' passwd
1
2
3
4
...
73
1001

3、内置变量的示列

3.1、在 passwd 文件的每行前面加上的行号

[java@localhost java_demo]$ awk '{print NR","$0}' passwd
1,root:x:0:0:root:/root:/bin/bash
2,bin:x:1:1:bin:/bin:/sbin/nologin
3,daemon:x:2:2:daemon:/sbin:/sbin/nologin
4,adm:x:3:4:adm:/var/adm:/sbin/nologin
...
45,tcpdump:x:72:72::/:/sbin/nologin
46,java:x:1000:1000:java:/home/java:/bin/bash
[java@localhost java_demo]$ 

NR是行号，接着是逗号(,)，$0 是所有列。

3.2、file1.txt 文件操作

file 内容如下：

ls:10:3.5

bb:40:5.4
ss:30:1.6

bd:20:4.2

xz:50:2.3

（1）统计 空行 的行号。 命令如下：

[java@localhost java_demo]$ awk '/^$/{print NR}' file1.txt 
2
5
7

（2）在每行的首列，添加行号。命令如下：

[java@localhost java_demo]$ awk '{print NR $0}' file1.txt 
1cls:10:3.5
2
3bb:40:5.4
4ss:30:1.6
5
6bd:20:4.2
7
8xz:50:2.3 

• 先打印 行号 NR，
• 接着输出是所有列 $0 。

（2）行号后面增加空格。命令如下：

[java@localhost java_demo]$ awk '{print NR" " $0}' file1.txt 
1 cls:10:3.5
2 
3 bb:40:5.4
4 ss:30:1.6
5 
6 bd:20:4.2
7 
8 xz:50:2.3

• 先打印 行号 NR，
• 输输出一个空格 " "，
• 最后输出是所有列 $0 。

3.3、切割IP

参考文章： Centos7 ，使用grep，cut 、awk 提取IP地址

3.4、查询sed.txt中空行所在的行号

[java@localhost java_demo]$ awk '/^$/{print NR}' sed.txt 

3.5、求和，求学生成绩的总和。

1）文件 chengji.txt 的内容如下:

张三 40
李四 50
王五 60

2）使用Linux命令提取并输出分数，并在最后输出求和总数。

[java@localhost java_demo]$ awk -v num=0  -F" " '{num+=$2} END  {print num}' chenji.txt 
150

说明：

• -F" " ， awk 的默认分隔符 就是空格 ，这块可以省略；
• -v num=0 ，是临时变量，统计总分数
• END {print num} ，END 表示遍历所有行结束，在最后 打印 num 的值

3）更复杂一些的， 在列的首行添加标题为 “姓名、分数”，在结尾处增加 "总分 "和 计算的值，命令如下：

[java@localhost java_demo]$ awk -v num=0 -F" " 'BEGIN{print "姓名 分数"} {print $0} {num+=$2 } END {print "总和 " num}' chenji.txt 
姓名 分数
张三 40
李四 50
王五 60
总分 150