LoongCollector

1896
下载
LoongCollector 是阿里云可观测性团队所开源的项目,是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。它继承了 iLogtail 强大的日志采集与处理能力,从原来单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。愿景是:打造业界领先的“统一可观测 Agent”与“端到端可观测”

概览



输入

原生插件

名称提供方简介
input_file
文本日志
SLS 官方文本采集。
input_container_stdio
容器标准输出
SLS 官方从容器标准输出/标准错误流中采集日志。
input_ebpf_file_security
eBPF 文件安全数据
SLS 官方eBPF 文件安全数据采集。
input_ebpf_network_observer
eBPF 网络可观测数据
SLS 官方eBPF 网络可观测数据采集。
input_ebpf_network_security
eBPF 网络安全数据
SLS 官方eBPF 网络安全数据采集。
input_ebpf_process_security
eBPF 进程安全数据
SLS 官方eBPF 进程安全数据采集。
input_internal_metrics
自监控指标数据
SLS 官方导出自监控指标数据。
input_internal_alarms
自监控告警数据
SLS 官方导出自监控告警数据。

扩展插件

名称提供方简介
input_command
脚本执行数据
社区
didachuxing
采集脚本执行数据。
input_docker_stdout
容器标准输出
SLS 官方从容器标准输出/标准错误流中采集日志。
metric_debug_file
文本日志(debug)
SLS 官方用于调试的读取文件内容的插件。
metric_input_example
MetricInput 示例插件
SLS 官方MetricInput 示例插件。
metric_meta_host
主机 Meta 数据
SLS 官方主机 Meta 数据。
metric_mock
Mock 数据-Metric
SLS 官方生成 metric 模拟数据的插件。
metric_system_v2
主机监控数据
SLS 官方主机监控数据。
service_canal
MySQL Binlog
SLS 官方将 MySQL Binlog 输入到 iLogtail。
service_go_profile
GO Profile
SLS 官方采集 Golang pprof 性能数据。
service_gpu_metric
GPU 数据
SLS 官方支持收集英伟达 GPU 指标。
service_http_server
HTTP 数据
SLS 官方接收来自 unix socket、http/https、tcp 的请求,并支持 sls 协议、otlp 等多种协议。
service_input_example
ServiceInput 示例插件
SLS 官方ServiceInput 示例插件。
service_journal
Journal 数据
SLS 官方从原始的二进制文件中采集 Linux 系统的 Journal(systemd)日志。
service_kafka
Kafka
SLS 官方将 Kafka 数据输入到 iLogtail。
service_mock
Mock 数据-Service
SLS 官方生成 service 模拟数据的插件。
service_mssql
SqlServer 查询数据
SLS 官方将 Sql Server 数据输入到 iLogtail。
service_otlp
OTLP 数据
社区
Zhu Shunjia
通过 http/grpc 协议,接收 OTLP 数据。
service_pgsql
PostgreSQL 查询数据
SLS 官方将 PostgresSQL 数据输入到 iLogtail。
service_snmp
收集 SNMP 协议机器信息
SLS 官方收集 SNMP 协议机器信息.
service_syslog
Syslog 数据
SLS 官方采集 syslog 数据。

处理

SPL 处理

名称提供方简介
processor_spl
SPL 处理
SLS 官方通过 SPL 语言解析数据

原生插件

名称提供方简介
processor_parse_regex_native
正则解析原生处理插件
SLS 官方通过正则匹配解析事件指定字段内容并提取新字段。
processor_parse_json_native
Json 解析原生处理插件
SLS 官方解析事件中 Json 格式字段内容并提取新字段。
processor_parse_delimiter_native
分隔符解析原生处理插件
SLS 官方解析事件中分隔符格式字段内容并提取新字段。
processor_parse_timestamp_native
时间解析原生处理插件
SLS 官方解析事件中记录时间的字段,并将结果置为事件的 __time__ 字段。
processor_filter_regex_native
过滤原生处理插件
SLS 官方根据事件字段内容来过滤事件。
processor_desensitize_native
脱敏原生处理插件
SLS 官方对事件指定字段内容进行脱敏。

扩展插件

名称提供方简介
processor_add_fields
添加字段
SLS 官方添加字段。
processor_appender
追加字段
SLS 官方追加字段。
processor_cloud_meta
添加云资产信息
SLS 官方为日志增加云平台元数据信息。
processor_default
原始数据
SLS 官方不对数据任何操作,只是简单的数据透传。
processor_desensitize
数据脱敏
SLS 官方
Takuka0311
对敏感数据进行脱敏处理。
processor_dict_map
字段值映射处理
SLS 官方对指定字段的值查表映射.
processor_drop
丢弃字段
SLS 官方丢弃字段。
processor_encrypt
字段加密
SLS 官方加密字段
processor_fields_with_conditions
条件字段处理
社区
pj1987111
根据日志部分字段的取值,动态进行字段扩展或删除。
processor_filter_regex
日志过滤
SLS 官方通过正则匹配过滤日志。
processor_gotime
时间提取(Go 时间格式)
SLS 官方以 Go 语言时间格式解析原始日志中的时间字段。
processor_grok
Grok
SLS 官方
Takuka0311
通过 Grok 语法对数据进行处理
processor_json
Json
SLS 官方实现对 Json 格式日志的解析。
processor_log_to_sls_metric
日志转 sls metric
SLS 官方将日志转 sls metric
processor_packjson
字段打包
SLS 官方可添加指定的字段(支持多个)以 JSON 格式打包成单个字段。
processor_rate_limit
日志限速
SLS 官方用于对日志进行限速处理,确保在设定的时间窗口内,具有相同索引值的日志条目的数量不超过预定的速率限制。
processor_regex
正则
SLS 官方通过正则匹配的模式实现文本日志的字段提取。
processor_rename
重命名字段
SLS 官方重命名字段。
processor_split_char
分隔符
SLS 官方通过单字符的分隔符提取字段。
processor_split_string
分隔符
SLS 官方通过多字符的分隔符提取字段。
processor_split_key_value
键值对
SLS 官方通过切分键值对的方式提取字段。
processor_split_log_regex
多行切分
SLS 官方实现多行日志(例如 Java 程序日志)的采集。
processor_string_replace
字符串替换
SLS 官方
pj1987111
通过全文匹配、正则匹配、去转义字符等方式对文本日志进行内容替换。
processor_strptime
时间提取(strptime 格式)
SLS 官方从指定字段中提取日志时间,时间格式为 Linux strptime

聚合

名称提供方简介
aggregator_base
基础聚合
SLS 官方对单条日志进行聚合
aggregator_context
上下文聚合
SLS 官方根据日志来源对单条日志进行聚合
aggregator_content_value_group
按 Key 聚合
社区
snakorse
按照指定的 Key 对采集到的数据进行分组聚合
aggregator_metadata_group
GroupMetadata 聚合
社区
urnotsally
按照指定的 Metadata Keys 对采集到的数据进行重新分组聚合

输出

原生插件

名称提供方简介
flusher_sls
SLS
SLS 官方将采集到的数据输出到 SLS。
flusher_file
本地文件
SLS 官方将采集到的数据写到本地文件。
flusher_blackhole
原生 Flusher 测试
SLS 官方直接丢弃采集的事件,属于原生输出插件,主要用于测试。

扩展插件

名称提供方简介
flusher_kafka
Kafka
社区将采集到的数据输出到 Kafka。推荐使用下面的 flusher_kafka_v2
flusher_kafka_v2
Kafka V2
社区
shalousun
将采集到的数据输出到 Kafka。
flusher_stdout
标准输出/文件
SLS 官方将采集到的数据输出到标准输出或文件。
flusher_otlp_log
OTLP 日志
社区
liuhaoyang
将采集到的数据支持Opentelemetry log protocol的后端。
flusher_http
HTTP
社区
snakorse
将采集到的数据以 http 方式输出到指定的后端。
flusher_pulsar
Pulsar
社区
shalousun
将采集到的数据输出到 Pulsar。
flusher_clickhouse
ClickHouse
社区
kl7sn
将采集到的数据输出到 ClickHouse。
flusher_elasticsearch
ElasticSearch
社区
joeCarf
将采集到的数据输出到 ElasticSearch。
flusher_loki
Loki
社区
abingcbc
将采集到的数据输出到 Loki。
flusher_prometheus
Prometheus
社区
将采集到的数据,经过处理后,通过 http 格式发送到指定的 Prometheus RemoteWrite 地址。

扩展

  • ClientAuthenticator

    名称提供方简介
    ext_basicauth
    Basic 认证
    社区
    snakorse
    为 http_flusher 插件提供 basic 认证能力
  • FlushInterceptor

    名称提供方简介
    ext_groupinfo_filter
    GroupInfo 过滤
    社区
    snakorse
    为 http_flusher 插件提供根据 GroupInfo 筛选最终提交数据的能力
  • RequestInterceptor

    名称提供方简介
    ext_request_breaker
    请求熔断器
    社区
    snakorse
    为 http_flusher 插件提供请求熔断能力
  • Decoder

    名称提供方简介
    ext_default_decoder
    默认的 decoder 扩展
    社区
    snakorse
    将内置支持的 Format 以 Decoder 扩展的形式封装
  • Encoder

    名称提供方简介
    ext_default_encoder
    默认的 encoder 扩展
    社区
    yuanshuai.1900
    将内置支持的 Format 以 Encoder 扩展的形式封装

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32