sed 按日期过滤 nginx log 日志

log.png

针对 Linux 系统下 nginx 访问日志查询. 我们常常会直接上服务器使用 cat ,head , tail 等命令来查看.

但是面对几个G ,甚至几十个G 的log日志文件时,你想定位到多少行到多少行,谈何容易! 所以,今天和大家分享一个按日期提取 log 日志的方法.

sed 命令简介

sed全名叫stream editor,流编辑器,用程序的方式来编辑文本,基本上就是玩正则模式匹配,相当的hacker.

sed 参数简介


-n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e :直接在命令列模式上进行 sed 的动作编辑;
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作;
-r :sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到终端。

动作说明: [n1[,n2]]function
n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作是需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 』

function:
a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!

看下服务器上log 日志

tlog.png

一共 21G, 上面2个小文件是我已经按日期提取出来的当天日志. 所有的日志都存储在 access_log 文件中.

看下log 日志格式

xxxx.com 5.53.125.207 - - [24/Feb/2016:12:48:41 +0800] "GET http://xxxx.com/template/images/icon/weibo.png HTTP/1.1" 200 1027

主域 ip 请求时间 请求方式 请求地址 http版本

我们可以看到每一条记录都有详细的请求时间,时间格式是 dd/MM/YYYY 而且中间的月份显示的是英文缩写.

我们设定一个正则表达式来提取指定日期的log

sed -n '/16\/Feb\/2016/,/17\/Feb\/2016/p' access_log>20160216.log

上面的指令就是通过 sed 命令,把 access_log 日志文件中 2016年2月16日到 2016年2月17日的log 全部过滤出来. 然后写入 20160216.log 文件中

最后分析 20160216.log 文件即可. 当然,也有人可能需要过滤的小时,分钟,秒级别,都是可以的.直接修改上的正则表达式即可.

正则元字符

^ 行首定位符 /^my/ 匹配所有以my开头的行 $ 行尾定位符 /my$/ 匹配所有以my结尾的行 . 匹配除换行符以外的单个字符 /m…y/ 匹配包含字母m,后跟两个任意字符,再跟字母y的行

  •   匹配零个或多个前导字符             /my*/  匹配包含字母m,后跟零个或多个y字母的行
    

[] 匹配指定字符组内的任一字符 /[Mm]y/ 匹配包含My或my的行 [^] 匹配不在指定字符组内的任一字符 /[^Mm]y/ 匹配包含y,但y之前的那个字符不是M或m的行 (…) 保存已匹配的字符 1,20s/(you)self/\1r/ 标记元字符之间的模式,并将其保存为标签1,之后可以使用\1来引用它 & 保存查找串以便在替换串中引用 s/my/&/ 符号&代表查找串。my将被替换为my < 词首定位符 /<my/ 匹配包含以my开头的单词的行 > 词尾定位符 /my>/ 匹配包含以my结尾的单词的行 x{m} 连续m个x /9{5}/ 匹配包含连续5个9的行 x{m,} 至少m个x /9{5,}/ 匹配包含至少连续5个9的行 x{m,n} 至少m个,但不超过n个x /9{5,7}/ 匹配包含连续5到7个9的行

出自:sed 按日期过滤 nginx log 日志



回到顶部