Linux大几十GB的大日志文件查找

linux大几十GB的大日志文件查找，网关日志没有使用logrotate来进行切割，一天的日志有几十个GB， 当使用 grep , sed命令时会卡住很长时间， 基本是假死状态。决定使用脚本来处理。

思路就是： 先将大日志按8000行进行切割成小日志，再循环使用 sed 查找后追加至一个临时的日志当中。

脚本内容如下：

#!/bin/sh

echo ‘literate all the logfiles’
rm -rf x* # 删除掉历史的小文件
split -l 8000 ******.log -a 6 # 8000 行来切切割，小文件前缀是 x开头后加6个随机英文字母
echo ‘split files done’
for file in `ls`; do
echo $file
if [ -f “$file” ]; then
if [[ “$file” =~ ^”x” ]]; then

echo “find the $file”

sed -n ‘/2025-06-29 09:15/,/2025-06-29 09:20/p’ $file >> 0629.log # 将日志追加至0629.log中

echo ‘finish the grep append write’
fi
fi
done

echo ‘Done’

最后，在目标文件 0629.log 中再来查看内容。