iLogtail

1769
下载
iLogtail 是阿里云日志服务(Log Service)中的一款高性能、可扩展的日志采集工具。它被设计用于实时收集、解析和传输各类日志数据,支持多种数据源和复杂的日志处理场景,广泛应用于分布式系统、Web 服务器、应用程序等环境中的日志管理。

容器标准输出(原生插件)


简介

input_container_stdio input插件可以实现从容器标准输出/标准错误流中采集日志,采集的日志内容将会保存在content字段中。支持通过容器元信息筛选待采集容器,并支持多行文本切分、添加容器Meta信息等数据处理操作,仅支持 iLogtail 2.1 及以后版本。

版本

Stable

配置参数

参数类型是否必填默认值说明
Typestring/插件类型。固定为input_container_log。
IgnoringStdoutBooleanfalse是否忽略标准输出stdout。
IgnoringStderrBooleanfalse是否忽略标准出错信息stderr。
TailSizeKBuint1024配置首次生效时,标准输出文件的起始采集位置距离文件结尾的大小。如果文件大小小于该值,则从头开始采集,取值范围为0~10485760KB。
Multilineobject多行聚合选项,详见表1。
ContainerFiltersobject容器过滤选项。多个选项之间为“且”的关系,详见表2。
ExternalK8sLabelTagmap对于部署于K8s环境的容器,需要在日志中额外添加的与Pod标签相关的tag。map中的key为Pod标签名,value为对应的tag名。 例如:在map中添加app: k8s_label_app,则若pod中包含app=serviceA的标签时,会将该信息以tag的形式添加到日志中,即添加字段__tag__:k8s_label_app: serviceA;若不包含app标签,则会添加空字段__tag__:k8s_label_app:
ExternalEnvTagmap对于部署于K8s环境的容器,需要在日志中额外添加的与容器环境变量相关的tag。map中的key为环境变量名,value为对应的tag名。 例如:在map中添加VERSION: env_version,则当容器中包含环境变量VERSION=v1.0.0时,会将该信息以tag的形式添加到日志中,即添加字段__tag__:env_version: v1.0.0;若不包含VERSION环境变量,则会添加空字段__tag__:env_version:
FlushTimeoutSecsuint5当文件超过指定时间未出现新的完整日志时,将当前读取缓存中的内容作为一条日志输出。
AllowingIncludedByMultiConfigsboolfalse是否允许当前配置采集其它配置已匹配的容器的标准输出日志。
  • 表1:多行聚合选项
参数类型是否必填默认值说明
Modestringcustom多行聚合模式。仅支持custom。
StartPatternstring当Multiline.Mode取值为custom时,至少1个必填行首正则表达式。
ContinuePatternstring行继续正则表达式。
EndPatternstring行尾正则表达式。
UnmatchedContentTreatmentstringsingle_line对于无法匹配的日志段的处理方式,可选值如下:
+ discard:丢弃
+ single_line:将不匹配日志段的每一行各自存放在一个单独的事件中
  • 表2:容器过滤选项
参数类型是否必填默认值说明
K8sNamespaceRegexstring对于部署于K8s环境的容器,指定待采集容器所在Pod所属的命名空间条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。
K8sPodRegexstring对于部署于K8s环境的容器,指定待采集容器所在Pod的名称条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。
IncludeK8sLabelmap对于部署于K8s环境的容器,指定待采集容器所在pod的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map中的key为Pod标签名,value为Pod标签的值,说明如下:
+ 如果map中的value为空,则pod标签中包含以key为键的pod都会被匹配;
+ 如果map中的value不为空,则:
+ 若value以^开头并且以$结尾,则当pod标签中存在以key为标签名且对应标签值能正则匹配value的情况时,相应的pod会被匹配;
+ 其他情况下,当pod标签中存在以key为标签名且以value为标签值的情况时,相应的pod会被匹配。
ExcludeK8sLabelmap对于部署于K8s环境的容器,指定需要排除采集容器所在pod的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map中的key为pod标签名,value为pod标签的值,说明如下:
+ 如果map中的value为空,则pod标签中包含以key为键的pod都会被匹配;
+ 如果map中的value不为空,则:
+ 若value以^开头并且以$结尾,则当pod标签中存在以key为标签名且对应标签值能正则匹配value的情况时,相应的pod会被匹配;
+ 其他情况下,当pod标签中存在以key为标签名且以value为标签值的情况时,相应的pod会被匹配。
K8sContainerRegexstring对于部署于K8s环境的容器,指定待采集容器的名称条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。
IncludeEnvmap指定待采集容器的环境变量条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map中的key为环境变量名,value为环境变量的值,说明如下:
+ 如果map中的value为空,则容器环境变量中包含以key为键的容器都会被匹配;
+ 如果map中的value不为空,则:
+ 若value以^开头并且以$结尾,则当容器环境变量中存在以key为环境变量名且对应环境变量值能正则匹配value的情况时,相应的容器会被匹配;
+ 其他情况下,当容器环境变量中存在以key为环境变量名且以value为环境变量值的情况时,相应的容器会被匹配。
ExcludeEnvmap指定需要排除采集容器的环境变量条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map中的key为环境变量名,value为环境变量的值,说明如下:
+ 如果map中的value为空,则容器环境变量中包含以key为键的容器都会被匹配;
+ 如果map中的value不为空,则:
+ 若value以^开头并且以$结尾,则当容器环境变量中存在以key为环境变量名且对应环境变量值能正则匹配value的情况时,相应的容器会被匹配;
+ 其他情况下,当容器环境变量中存在以key为环境变量名且以value为环境变量值的情况时,相应的容器会被匹配。
IncludeContainerLabelmap指定待采集容器的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则默认为空,表示采集所有容器。支持正则匹配。 map中的key为容器标签名,value为容器标签的值,说明如下:
+ 如果map中的value为空,则容器标签中包含以key为键的容器都会被匹配;
+ 如果map中的value不为空,则:
+ 若value以^开头并且以$结尾,则当容器标签中存在以key为标签名且对应标签值能正则匹配value的情况时,相应的容器会被匹配;
+ 其他情况下,当容器标签中存在以key为标签名且以value为标签值的情况时,相应的容器会被匹配。
ExcludeContainerLabelmap指定需要排除采集容器的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则默认为空,表示采集所有容器。支持正则匹配。 map中的key为容器标签名,value为容器标签的值,说明如下:
+ 如果map中的value为空,则容器标签中包含以key为键的容器都会被匹配;
+ 如果map中的value不为空,则:
+ 若value以^开头并且以$结尾,则当容器标签中存在以key为标签名且对应标签值能正则匹配value的情况时,相应的容器会被匹配;
+ 其他情况下,当容器标签中存在以key为标签名且以value为标签值的情况时,相应的容器会被匹配。

默认日志字段

所有使用本插件上报的日志均额外携带下列字段。目前暂不支持更改。

字段名称说明
time日志采集时间,例如2021-02-02T02:18:41.979147844Z
source日志源类型,stdout或stderr。

默认Tag字段

所有使用本插件上报的日志Tag均额外携带下列字段。目前暂不支持更改。

字段名称说明
image_name镜像名
container_name容器名
pod_namePod名
namespacePod所在的命名空间
pod_uidPod的唯一标识

样例

示例1:通过容器环境变量黑白名单过滤容器

采集环境变量含NGINX_SERVICE_PORT=80且不含POD_NAMESPACE=kube-system的容器的标准输出。

  1. 获取环境变量。

您可以登录容器所在的宿主机查看容器的环境变量。具体操作,请参见获取容器环境变量

{% hint style=“info” %}
命令提示:

docker inspect

crictl inspect

ctr -n k8s.io containers info
{% endhint %}

"Env": [
...
"NGINX_SERVICE_PORT=80",
  1. 创建iLogtail采集配置。

iLogtail采集配置示例如下所示。

inputs:
- Type: input_container_stdio
IgnoringStdout: false
IgnoringStderr: true
ContainerFilters:
IncludeEnv:
NGINX_SERVICE_PORT: "80"
ExcludeEnv:
POD_NAMESPACE: "kube-system"

示例2:通过容器Label黑白名单过滤容器

采集容器Label含io.kubernetes.container.name:nginx且不含io.kubernetes.pod.namespace:kube-system容器的标准输出。

  1. 获取容器Label。

您可以登录容器所在的宿主机查看容器的Label。具体操作,请参见获取容器Label

"Labels": {
...
"io.kubernetes.container.name": "nginx",
  1. 创建Logtail采集配置。

Logtail采集配置示例如下所示。

inputs:
- Type: input_container_stdio
IgnoringStdout: false
IgnoringStderr: true
ContainerFilters:
IncludeContainerLabel:
io.kubernetes.container.name: "nginx"
IncludeContainerLabel:
io.kubernetes.pod.namespace": "kube-system"

示例3:通过Kubernetes Namespace名称、Pod名称和容器名称过滤容器

采集default命名空间下以nginx-开头的Pod中的nginx容器的标准输出。

  1. 获取Kubernetes层级的信息。

{% hint style=“info” %}
命令提示:

kubectl describe
{% endhint %}

Name: nginx-76d49876c7-r892w
Namespace: default
...
Containers:
nginx:
Container ID:...
  1. 创建Logtail采集配置。 Logtail采集配置示例如下所示。
inputs:
- Type: input_container_stdio
IgnoringStdout: false
IgnoringStderr: true
ContainerFilters:
K8sNamespaceRegex: "^(default)$"
K8sPodRegex: "^(nginx-.*)$"
K8sContainerRegex: "^(nginx)$"

示例4:通过Kubernetes Label过滤容器

采集Kubernetes Label含app=nginx且不含env=test开头的所有容器的标准输出。

  1. 获取Kubernetes层级的信息。
Name: nginx-76d49876c7-r892w
Namespace: default
...
Labels: app=nginx
...
  1. 创建Logtail采集配置。 Logtail采集配置示例如下所示。
inputs:
- Type: input_container_stdio
IgnoringStdout: false
IgnoringStderr: true
ContainerFilters:
IncludeK8sLabel:
app: "nginx"
ExcludeK8sLabel:
env: "^(test.*)$"

示例5:多行日志的iLogtail采集配置

采集输出在标准错误流的Java异常堆栈(多行日志)。

  1. 获取日志样例。
2021-02-03 14:18:41.969 ERROR [spring-cloud-monitor] [nio-8080-exec-4] c.g.s.web.controller.DemoController : java.lang.NullPointerException
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
...

根据有区分度的行首编写正则。

行首:2021-02-03 ...

正则:\d+-\d+-\d+.*

  1. 创建Logtail采集配置。 Logtail采集配置示例如下所示。
inputs:
- Type: input_container_stdio
IgnoringStdout: false
IgnoringStderr: true
Multiline:
StartPattern: \d+-\d+-\d+.*

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32