iLogtail

1752
下载
iLogtail 是阿里云日志服务(Log Service)中的一款高性能、可扩展的日志采集工具。它被设计用于实时收集、解析和传输各类日志数据,支持多种数据源和复杂的日志处理场景,广泛应用于分布式系统、Web 服务器、应用程序等环境中的日志管理。

时间解析


简介

processor_parse_timestamp_native插件解析事件中记录时间的字段,并将结果置为事件的__time__字段。

版本

Stable

配置参数

参数类型是否必填默认值说明
Typestring/插件类型。固定为processor_parse_timestamp_native。
SourceKeystring/源字段名。
SourceFormatstring/日志时间格式。更多信息,请参见表1。
SourceTimezonestring日志时间所属时区。格式为GMT+HH:MM (东区)或GMT-HH:MM (西区)。
  • 表1:时间格式
时间格式说明示例
%a星期的缩写。Fri
%A星期的全称。Friday
%b月份的缩写。Jan
%B月份的全称。January
%d每月第几天,十进制,范围为01~31。07, 31
%h月份的缩写,等同于%b。Jan
%H小时,24小时制。22
%I小时,12小时制。11
%m月份,十进制,范围为01~12。08
%M分钟,十进制,范围为00~59。59
%n换行符。换行符
%pAM或PM。AM、PM
%r12小时制的时间组合,等同于%I:%M:%S %p。11:59:59 AM
%R小时和分钟组合,等同于%H:%M。23:59
%S秒数,十进制,范围为00~59。59
%tTab符号,制表符。
%y年份,十进制,不带世纪,范围为00~99。04、98
%Y年份,十进制。2004、1998
%C世纪,十进制,范围为00~99。16
%e每月第几天,十进制,范围为1~31。如果是个位数字,前面需要加空格。7、31
%j一年中的天数,十进制,范围为001~366。365
%u星期几,十进制,范围为1~7,1表示周一。2
%U每年的第几周,星期天是一周的开始,范围为00~53。23
%V每年的第几周,星期一是一周的开始,范围为01~53。如果一月份刚开始的一周>=4天,则认为是第1周,否则认为下一个星期是第1周。24
%w星期几,十进制,范围为0~6,0代表周日。5
%W每年的第几周,星期一是一周的开始,范围为00~53。23
%c标准的日期和时间。Tue Nov 20 14:12:58 2020
%x标准的日期,不带时间。Tue Nov 20 2020
%X标准的时间,不带日期。11:59:59
%sUnix时间戳。1476187251

样例

采集文件/home/test-log/reg.log,通过正则表达式解析日志内容并提取字段,然后将解析日志中的时间作为事件的__time__,最后将结果输出到stdout。

  • 输入
127.0.0.1 - - [2023-12-28T08:07:12.187340] "POST /PutData?Category=YunOsAccountOpLog" 0.024 18204 200 37 "-" "aliyun-sdk-java"
  • 采集配置
enable: true
inputs:
- Type: input_file
FilePaths:
- /home/test-log/reg.log
processors:
- Type: processor_parse_regex_native
SourceKey: content
Regex: ([\d\.]+) \S+ \S+ \[(\S+) \S+\] \"(\w+) ([^\\"]*)\" ([\d\.]+) (\d+) (\d+) (\d+|-) \"([^\\"]*)\" \"([^\\"]*)\"
Keys:
- ip
- time
- method
- url
- request_time
- request_length
- status
- length
- ref_url
- browser
- Type: processor_parse_timestamp_native
SourceKey: time
SourceFormat: '%Y-%m-%dT%H:%M:%S'
flushers:
- Type: flusher_stdout
OnlyStdout: true
  • 输出
{
"__tag__:__path__": "/home/test-log/reg.log",
"ip": "127.0.0.1",
"time": "2023-12-28T08:07:12.187340",
"method": "POST",
"url": "/PutData?Category=YunOsAccountOpLog",
"request_time": "0.024",
"request_length": "18204",
"status": "200",
"length": "37",
"ref_url": "-",
"browser": "aliyun-sdk-java",
"__time__": "1703722032"
}

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32