Linux指令入门-文本文件处理命令grep
文本文件处理命令
grep
命令描述：grep命令用于查找文件里符合条件的字符串。
grep全称是Global Regular Expression Print，表示全局正则表达式版本，它能使用正则表达式搜索文本，并把匹配的行打印出来。
在Shell脚本中，grep通过返回一个状态值来表示搜索的状态：
- 0：匹配成功。
- 1：匹配失败。
- 2：搜索的文件不存在。
命令格式：grep [参数] [正则表达式] [文件]。
命令常用参数说明：
| 参数 | 说明 |
|---|---|
| -c或–count | 计算符合样式的列数 |
| -d recurse或-r | 指定要查找的是目录而非文件 |
| -e [范本样式] | 指定字符串做为查找文件内容的样式 |
| -E 或 –extended-regexp | 将样式为延伸的正则表达式来使用 |
| -F 或 –fixed-regexp | 将样式视为固定字符串的列表 |
| -G 或 –basic-regexp | 将样式视为普通的表示法来使用 |
| -i 或 –ignore-case | 忽略字符大小写的差别 |
| -n 或 –line-number | 在显示符合样式的那一行之前，标示出该行的列数编号 |
| -v 或 –revert-match | 显示不包含匹配文本的所有行 |
命令使用示例：
- 查看sshd服务配置文件中监听端口配置所在行编号。
grep -n Port /etc/ssh/ssh_config命令输出结果：
- 查询字符串在文本中出现的行数。
grep -c localhost /etc/hosts命令输出结果：
- 反向查找，不显示符合条件的行。
ps -ef | grep sshdps -ef | grep -v grep | grep sshd
- 以递归的方式查找目录下含有关键字的文件。
grep -r *.sh /etc命令输出结果：
- 使用正则表达式匹配httpd配置文件中异常状态码响应的相关配置。
grep \'ntp[0-9].aliyun.com\' /etc/ntp.conf命令输出结果：
sed
命令描述：sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用。
1. 处理时，把当前处理的行存储在临时缓冲区中，称为模式空间（pattern space）。
2. 接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。
3. 接着处理下一行，这样不断重复，直到文件末尾。
注意：
- sed命令不会修改原文件，例如删除命令只表示某些行不打印输出，而不是从原文件中删去。
- 如果要改变源文件，需要使用-i选项。
命令格式：sed [参数] [动作] [文件]。
参数说明：
| 参数 | 说明 |
|---|---|
| -e [script] | 执行多个script |
| -f [script文件] | 执行指定script文件 |
| -n | 仅显示script处理后的结果 |
| -i | 输出到原文件，静默执行（修改原文件） |
动作说明：
| 动作 | 说明 |
|---|---|
| a | 在行后面增加内容 |
| c | 替换行 |
| d | 删除行 |
| i | 在行前面插入 |
| p | 打印相关的行 |
| s | 替换内容 |
命令使用示例：
- 删除第3行到最后一行内容。
sed \'3,$d\' /etc/passwd命令输出结果：
- 在最后一行新增行。
sed \'$a admin:x:1000:1000:admin:/home/admin:/bin/bash\' /etc/passwd命令输出结果：
- 替换内容。
sed \'s/SELINUX=disabled/SELINUX=enforcing/\' /etc/selinux/config命令输出结果：
- 替换行。
sed \'1c abcdefg\' /etc/passwd命令输出结果：
awk
命令描述：和 sed 命令类似，awk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理。
命令格式：awk [参数] [脚本] [文件]。
参数说明：
| 参数 | 说明 |
|---|---|
| -F fs | 指定以fs作为输入行的分隔符，awk 命令默认分隔符为空格或制表符 |
| -f file | 读取awk脚本 |
| -v val=val | 在执行处理过程之前，设置一个变量var，并给其设置初始值为val |
内置变量：
| 变量 | 用途 |
|---|---|
| FS | 字段分隔符 |
| $n | 指定分隔的第n个字段，如$1、$3分别表示第1、第三列 |
| $0 | 当前读入的整行文本内容 |
| NF | 记录当前处理行的字段个数（列数） |
| NR | 记录当前已读入的行数 |
| FNR | 当前行在源文件中的行号 |
awk中还可以指定脚本命令的运行时机。默认情况下，awk会从输入中读取一行文本，然后针对该行的数据执行程序脚本，但有时可能需要在处理数据前运行一些脚本命令，这就需要使用BEGIN关键字，BEGIN会在awsk读取数据前强制执行该关键字后指定的脚本命令。
和BEGIN关键字相对应，END关键字允许我们指定一些脚本命令，awk会在读完数据后执行它们。
命令使用示例：
- 查看本机IP地址。
ifconfig eth0 |awk \'/inet/{print $2}\'命令输出结果：
- 查看本机剩余磁盘容量。
df -h |awk \'/\/$/{print $4}\'命令输出结果：
- 统计系统用户个数。
awk -F: \'$3<1000{x } END{print x}\' /etc/passwd命令输出结果：
- 输出其中登录Shell不以nologin结尾（对第7个字段做!~反向匹配）的用户名、登录Shell信息。
awk -F: \'$7!~/nologin$/{print $1,$7}\' /etc/passwd命令输出结果：
- 输出/etc/passwd文件中前三行记录的用户名和用户uid。
head -3 /etc/passwd | awk \'BEGIN{FS=":";print "name\tuid"}{print $1,"\t"$3}END{print "sum lines "NR}\'命令输出结果：
- 查看tcp连接数。
netstat -na | awk \'/^tcp/ { S[$NF]} END {for(a in S) print a, S[a]}\'命令输出结果：
- 关闭指定服务的所有的进程。
ps -ef | grep httpd | awk {\'print $2\'} | xargs kill -9
cut
命令描述：cut命令主要用来切割字符串，可以对输入的数据进行切割然后输出。
命令格式：cut [参数] [文件]。
参数说明：
| 参数 | 说明 |
|---|---|
| -b | 以字节为单位进行分割 |
| -c | 以字符为单位进行分割 |
| -d | 自定义分隔符，默认为制表符 |
命令使用示例：
- 按字节进行切割。
- 按字符进行切割。
- 按指定字符进行切割。
tr
命令描述：tr命令用于对来自标准输入的字符进行替换、压缩和删除。
命令格式：tr [参数] [文本]。
参数说明：
| 参数 | 说明 |
|---|---|
| -c | 反选指定字符 |
| -d | 删除指定字符 |
| -s | 将重复的字符缩减成一个字符 |
| -t [第一字符集] [第二字符集] | 删除第一字符集较第二字符集多出的字符，使两个字符集长度相等 |
命令使用示例：
- 将输入字符由大写转换为小写。
echo "HELLO WORLD" | tr \'A-Z\' \'a-z\'命令输出结果：
- 删除字符。
echo "hello 123 world 456" | tr -d \'0-9\'命令输出结果：
- 压缩字符。
echo "thissss is a text linnnnnnne." | tr -s \' sn\'命令输出结果：
- 产生随机密码。
cat /dev/urandom | tr -dc a-zA-Z0-9 | head -c 13命令输出结果：
评论