Linux如何查找大文件并安全清除
这篇文章主要介绍“Linux如何查找大文件并安全清除”，在日常操作中，相信很多人在Linux如何查找大文件并安全清除问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Linux如何查找大文件并安全清除”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
1 案例描述？
服务线上环境，会出现一些磁盘使用率过高而告警的情况，可能是某个日志文件过大，没有及时清理回收，如何找到大目录和大文件？
如何安全的清理大文件？
如何使占用的磁盘空间快速释放掉？
2 命令一（目录统计排序最佳命令）
(这里以当前目录 ./ 为例，统计 top5)
【du -k --max-depth=1 ./ |sort -nr|head -n5】
[root@test-001 /]# du -k --max-depth=1 ./ |sort -nr|head -n5 137450839518./ 6785876./data 2182577./usr 1830341./home 446856./var //du -k # 显示目录或文件大小时，以 kB 为单位； //du --max-depth=1 [目录] # 只显示指定目录下第一层目录（不含单个文件）的大小； //sort -nr # 以行为单位，根据数字大小从大到小排序； //head -n5 # 显示内容的开头 5 行，这里显示就是 top5 内容；
3 命令二（最实用，目录和文件一起统计排序）
(这里以当前目录 ./ 为例，统计 top5)
（1）命令详情和说明
【du -sk * ./ | sort -nr | head -n5 | awk -F'\t' '{if(1024 * 1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024 * 1024) {printf "%.2fT\t\t %s\n", $1/(1024 * 1024 * 1024), $2} else if(1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024) {printf "%.2fG\t\t %s\n", $1/(1024 * 1024), $2} else if (1024 * 1024 > $1 && $1 >= 1024) {printf "%.2fM\t\t %s\n", $1/1024, $2} else {printf "%sk\t\t %s\n", $1, $2}}' 】
[root@test-001 /]# du -sk * ./ | sort -nr | head -n5 | awk -F'\t' '{if(1024 * 1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024 * 1024) {printf "%.2fT\t\t %s\n", $1/(1024 * 1024 * 1024), $2} else if(1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024) {printf "%.2fG\t\t %s\n", $1/(1024 * 1024), $2} else if (1024 * 1024 > $1 && $1 >= 1024) {printf "%.2fM\t\t %s\n", $1/1024, $2} else {printf "%sk\t\t %s\n", $1, $2}}'
7.13G data
2.17G usr
1.75G home
447.04M var
408.50M run
//du -sk * # 显示当前目录下每个文件夹和文件的大小以KB为单位(最常用),s表示汇总,k是以KB为统计单位；
//./ #当前目录下
//sort -nr # 以行为单位，根据数字大小从大到小排序；
//awk -F'\t'# 以水平制表符进行分割，后面的程序就是进行换算单位，格式化输出成易懂的形式；（2）du、head、sort、awk 详细说明参考已有文章附录
（3）Linux 中 printf 命令使用参考
// Linux 中 printf 命令使用参考
// https://www.linuxprobe.com/linux-printf-example.html
'{
if(1024 * 1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024 * 1024)
{
printf "%.2fT\t\t %s\n", $1/(1024 * 1024 * 1024), $2
}
else if(1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024)
{
printf "%.2fG\t\t %s\n", $1/(1024 * 1024), $2
}
else if (1024 * 1024 > $1 && $1 >= 1024)
{
printf "%.2fM\t\t %s\n", $1/1024, $2
}
else
{
printf "%sk\t\t %s\n", $1, $2
}
}'4 如何安全使用 rm 命令删除文件？
（1）rm 命令有哪些坑？
rm -rf / # 这个命令绝逼不能操作，删除根目录下的文件，就是系统中的所有文件都要被删除。如果是线上服务机器操作了，那就悲剧了！误操作了怎么办？赶快ctrl+c、ctrl+z 能保住多少是多少吧。
rm -rf / home/apps/logs/ # 这也是个天坑命令！目的是删除日志文。结果书写时“多了一个空格”的 bug，看懂了么？这就变成了 [rm -rf /] ！
埋藏隐患的日志清理 shell 脚本！脚本关键内容如下。
cd ${log_path}
rm -rf *目的是：进入到日志目录，然后把日志都删除。隐患：当目录不存在时，悲剧就发生了！
（2）如何安全使用 rm 命令？
在生产环境把 [rm -rf] 命令替换为 [mv]，再写个脚本程序定期清理，模拟回收站的功能。
把日志清理 shell 脚本，改用逻辑与 && 进行连接。
cd ${log_path}
rm -rf *改用逻辑与 && 进行连接，合并成一句，前半句逻辑失败，后半句命令不执行：
```shell
cd ${log_path} && rm -rf *
完整的日志清理 shell 脚本如下：
```shell
#!/bin/bash
base_home="/home/apps"
log_path=${base_home}/logs
cd ${log_path} && rm -rf *5 磁盘使用率报警，却查不到具体的大文件？
（1）问题情景
1 磁盘使用率监控报警，进入机器可以 (df -h) 命令看到磁盘使用率确实超过了报警阀值。
2 使用命令查看大目录，并进入到目录下 【
du -sk * ./ | sort -nr | head -n5 | awk -F'\t' '{if(1024 * 1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024 * 1024) {printf "%.2fT\t\t %s\n", $1/(1024 * 1024 * 1024), $2} else if(1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024) {printf "%.2fG\t\t %s\n", $1/(1024 * 1024), $2} else if (1024 * 1024 > $1 && $1 >= 1024) {printf "%.2fM\t\t %s\n", $1/1024, $2} else {printf "%sk\t\t %s\n", $1, $2}}'】3 依然没找到大文件，该怎么办呢？
（2）排查思路
1 思考：是不是有文件已经被删除了，但进程还在占用该文件，进程未结束，空间未释放？
2 使用「
lsof |grep -i deleted」命令查看，能查看到已删除，空间没有释放的文件，包含文件大小，进程和服务名等信息。
lsof（List Open Files） 用于查看进程打开的文件，打开文件的进程，进程打开的端口(TCP、UDP)，找回/恢复删除的文件。是十分方便的系统监视工具，因为 lsof 命令需要访问核心内存和各种文件，所以需要root 用户权限执行。
（3）占用磁盘空间释放
重启下进程所指的服务，占用的磁盘空间即可释放掉。线上生产操作一定要谨慎，不要直接 kill 掉进程，评估看是否有进程服务自身的重启名命令，以及评估服务是否可以重启。
（4）备注附录
1 当一个文件正在被一个进程使用时，用户删除此文件，文件只会从目录结构中删除，但并没有从磁盘删除。
2 当使用这个文件的进程结束后，文件才会真正的从磁盘删除，释放占有的空间。Linux 打开一个文件的时候，内核会为每个进程在
/proc/『/proc/{nnnn}/fd/文件夹（{nnnn}为 pid）』建立一个以其 pid 为名的文件夹用来保存进程的相关信息，而其子文件夹 fd 保存的是该进程打开的全部文件的 fd（fd：file descriptor）。3
Ctrl + C和Ctrl + Z都是中断命令。Ctrl + C是强制中断程序的执行，进程已经终止；Ctrl + Z是将任务中止（暂停的意思），他仍然在进程中他只是维持挂起的状态。
6 生产环境常用的安全清理大文件命令
生产环境安全清理大文件的诉求是什么？既要不影响服务的正常运行，又要让磁盘占用的空间快速释放掉（让文件消失掉不是我们的目的，我们的目的是快速释放掉占用的磁盘空间）。
不要使用 「
rm -rf xxx.log」；常用 「echo "" > xxx.log」。这里假设 xxx.log 为大文件，如这个 xxx.log 有几十个 GB，「
echo "" > xxx.log」是用一个""内容覆盖原文件内容，使磁盘空间得到瞬间释放！
到此，关于“Linux如何查找大文件并安全清除”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注蜗牛博客网站，小编会继续努力为大家带来更多实用的文章！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：niceseo99@gmail.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
评论