iLogtail

1769
下载
iLogtail 是阿里云日志服务(Log Service)中的一款高性能、可扩展的日志采集工具。它被设计用于实时收集、解析和传输各类日志数据,支持多种数据源和复杂的日志处理场景,广泛应用于分布式系统、Web 服务器、应用程序等环境中的日志管理。

分隔符解析


简介

processor_parse_delimiter_native插件解析事件中分隔符格式字段内容并提取新字段。

版本

Stable

配置参数

参数类型是否必填默认值说明
Typestring/插件类型。固定为processor_parse_delimiter_native。
SourceKeystring/源字段名。
Separatorstring/分隔符。
Quotestring引用符。
Keys[string]/提取的字段列表。
AllowingShortenedFieldsbooltrue是否允许提取的字段数量小于Keys的数量。若不允许,则此情景会被视为解析失败。
OverflowedFieldsTreatmentstringextend当提取的字段数量大于Keys的数量时的行为。可选值包括:
+ extend:保留多余的字段,且每个多余的字段都作为单独的一个字段加入日志,多余字段的字段名为__column$ i__,其中 $i代表额外字段序号,从0开始计数。
+ keep:保留多余的字段,但将多余内容作为一个整体字段加入日志,字段名为__column0__.
+ discard:丢弃多余的字段。
KeepingSourceWhenParseFailboolfalse当解析失败时,是否保留源字段。
KeepingSourceWhenParseSucceedboolfalse当解析成功时,是否保留源字段。
RenamedSourceKeystring当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。

样例

采集分隔符格式文件/home/test-log/delimiter.log,解析日志内容并提取字段,并将结果输出到stdout。

  • 输入
127.0.0.1,07/Jul/2022:10:43:30 +0800,POST,PutData?Category=YunOsAccountOpLog,0.024,18204,200,37,-,aliyun-sdk-java
  • 采集配置
enable: true
inputs:
- Type: input_file
FilePaths:
- /home/test-log/json.log
processors:
- Type: processor_parse_delimiter_native
SourceKey: content
Separator: ','
Quote: '"'
Keys:
- ip
- time
- method
- url
- request_time
- request_length
- status
- length
- ref_url
- browser
flushers:
- Type: flusher_stdout
OnlyStdout: true
  • 输出
{
"__tag__:__path__": "/home/test-log/json.log",
"ip": "127.0.0.1",
"time": "07/Jul/2022:10:43:30 +0800",
"method": "POST",
"url": "PutData?Category=YunOsAccountOpLog",
"request_time": "0.024",
"request_length": "18204",
"status": "200",
"length": "37",
"ref_url": "-",
"browser": "aliyun-sdk-java",
"__time__": "1657161028"
}

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32