Journal数据

2024-12-16

简介

service_journal 插件支持从原始的二进制文件中采集Linux系统的Journal（systemd）日志。systemd是专用于 Linux 操作系统的系统与服务管理器。当作为启动进程(PID=1)运行时，它将作为初始化系统运行，启动并维护各种用户空间的服务。 systemd统一管理所有Unit的日志（包括内核和应用日志），配置文件一般在/etc/systemd/journald.conf中。源代码

版本

Stable

功能

支持设置初始同步位置，后续采集会自动保存checkpoint，不需关心应用重启。
支持过滤指定的Unit。
支持采集内核日志。
支持自动解析日志等级。
支持以容器方式采集宿主机上的Journal日志，适用于Docker/Kubernetes场景。

适用场景

监听内核事件，出现异常时自动告警。
采集所有系统日志，用于长期存储，减少磁盘空间占用。
采集软件（Unit）的输出日志，用于分析或告警。
采集所有Journal日志，可以从所有日志中快速检索关键词或日志，相比Journalctl查询大幅提升。

配置参数

参数	类型，默认值	说明
Type	String，无默认值（必填）	插件类型，固定为`service_journal`
JournalPaths	Array，其中value为String，无默认值（必填）	Journal日志路径，建议直接填写Journal日志所在文件夹，例如`/var/log/journal`。
SeekPosition	String，`tail`	首次采集方式，为head则采集所有数据，为tail则只采集配置应用后新的数据。
Kernel	Boolean，`true`	为false时则不采集内核日志。
Units	Array，其中value为String，`[]`	指定采集的Unit列表，为空时则全部采集。
ParseSyslogFacility	Boolean，`false`	是否解析syslog日志的facility字段。
ParsePriority	Boolean，`false`	是否解析Priority字段。
UseJournalEventTime	Boolean，`false`	是否使用Journal日志中的字段作为日志时间，即使用采集时间作为日志时间（实时日志采集一般相差3秒以内）。
CursorFlushPeriodMs	Integer，`5000`	日志读取检查点的刷新时间。
CursorSeekFallback	String，`SeekPositionTail`	日志读取检查点回退的位置。
Identifiers	Array，其中value为String，`[]`	syslog标识符，可以添加到监视器。
MatchPatterns	Array，其中value为String，`[]`	匹配规则，可以添加到监视器。

ParsePriority映射关系表如下：

 "0": "emergency"
 "1": "alert"
 "2": "critical"
 "3": "error"
 "4": "warning"
 "5": "notice"
 "6": "informational"
 "7": "debug"

样例

样例1

从默认的/var/log/journal路径采集journal日志。

采集配置1

enable: true
inputs:
  - Type: service_journal
    JournalPaths:
      - "/var/log/journal"
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

输出1

{
    "PRIORITY":"6",
    "_GID":"0",
    "_TRANSPORT":"syslog",
    "_SYSTEMD_OWNER_UID":"0",
    "_BOOT_ID":"bab**************54b",
    "_PID":"21848",
    "_MACHINE_ID":"************************",
    "_CAP_EFFECTIVE":"3fffffffff",
    "_COMM":"crond",
    "_HOSTNAME":"iZj*****************1hZ",
    "_SYSTEMD_SLICE":"user-0.slice",
    "MESSAGE":"(root) CMD (/usr/lib64/sa/sa1 1 1)",
    "_CMDLINE":"/usr/sbin/CROND -n",
    "SYSLOG_FACILITY":"9",
    "SYSLOG_IDENTIFIER":"CROND",
    "_AUDIT_LOGINUID":"0",
    "_SYSTEMD_SESSION":"3319",
    "_UID":"0",
    "_EXE":"/usr/sbin/crond",
    "SYSLOG_PID":"21848",
    "_AUDIT_SESSION":"3319",
    "_SYSTEMD_CGROUP":"/user.slice/user-0.slice/session-3319.scope",
    "_SYSTEMD_UNIT":"session-3319.scope",
    "_SOURCE_REALTIME_TIMESTAMP":"1658823001526225",
    "_realtime_timestamp_":"1658823001526482",
    "_monotonic_timestamp_":"1637927744052",
    "__time__":"1658823031"
}

样例2

Kubernetes场景下，使用Logtail的DaemonSet模式采集宿主机的系统日志，由于日志中有很多并不重要的字段，使用处理插件只挑选较为重要的日志字段。

采集配置2

enable: true
inputs:
  - Type: service_journal
    ParsePriority: true
    ParseSyslogFacility: true
    JournalPaths:
      - "/logtail_host/var/log/journal"
processors:
  - Type: processor_filter_regex
    Exclude:
      UNIT: "^libcontainer.*test"
  - Type: processor_pick_key
    Include:
      - MESSAGE
      - PRIORITY
      - _EXE
      - _PID
      - _SYSTEMD_UNIT
      - _realtime_timestamp_
      - _HOSTNAME
      - UNIT
      - SYSLOG_FACILITY
      - SYSLOG_IDENTIFIER
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

输出2

{
    "MESSAGE":  "ejected connection from \"192.168.0.251:48914\" (error \"EOF\", ServerName "")",
    "PRIORITY":  "informational",
    "SYSLOG_IDENTIFIER":  "etcd",
    "_EXE": "/opt/etcd-v3.3.8/etcd",
    "_HOSTNAME":  "iZb*****************ueZ",
    "_PID":  "10590",
    "_SYSTEMD_UNIT":  "etcd.service",
    "__source__":  "***.***.***.***",
    "__tag__:__hostname__":  "logtail-ds-dp48x",
    "_realtime_timestamp_":  "1547975837008708",
}

Journal数据

简介

版本

功能

相关限制

适用场景

配置参数

样例

样例1

样例2