LoongCollector

1758
下载
LoongCollector 源自阿里云可观测性团队所开源的 iLogtail 项目,在继承了 iLogtail 强大的日志采集与处理能力的基础上,进行了全面的功能升级与扩展。从原来单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。 LoongCollector 是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。愿景是:打造业界领先的“统一可观测 Agent(Unified Observability Agent)”与“端到端可观

Prometheus


简介

flusher_prometheus flusher插件可以实现将采集到的数据,经过处理后,通过http格式发送到指定的 Prometheus RemoteWrite 地址。
参数配置大部分继承flusher_http,详见flusher_http

版本

Alpha

配置参数

参数类型是否必选说明
TypeString插件类型,固定为flusher_prometheus
EndpointString要发送到的URL地址,遵从Prometheus RemoteWrite协议,示例:http://localhost:8086/api/v1/write
SeriesLimitInt一次序列化 Prometheus RemoteWrite 请求的时间序列的最大长度,默认1000
HeadersMap<String,String>发送时附加的http请求header,如可添加 Authorization、Content-Type等信息,支持动态变量写法,如{"x-db":"%{tag.db}"}
v2版本支持从Group的Metadata或者Group.Tags中获取动态变量,如{"x-db":"%{metadata.db}"}或者{"x-db":"%{tag.db}"}
默认注入prometheus相关的Header(e.g. snappy压缩)
QueryMap<String,String>发送时附加到url上的query参数,支持动态变量写法,如{"db":"%{tag.db}"}
v2版本支持从Group的Metadata或者Group.Tags中获取动态变量,如{"db":"%{metadata.db}"}或者{"db":"%{tag.db}"}
TimeoutString请求的超时时间,默认 60s
Retry.EnableBoolean是否开启失败重试,默认为 true
Retry.MaxRetryTimesInt最大重试次数,默认为 3
Retry.InitialDelayString首次重试时间间隔,默认为 1s,重试间隔以会2的倍数递增
Retry.MaxDelayString最大重试时间间隔,默认为 30s
ConcurrencyInt向url发起请求的并发数,默认为1
MaxConnsPerHostInt每个host上的最大HTTP连接数(包含了拨号阶段的、活跃的、空闲的),默认50
MaxIdleConnsPerHostInt每个host上的最大空闲的HTTP连接数,默认50
IdleConnTimeoutStringHTTP连接在关闭前保持闲置状态的最长时间,默认90s
当其值大于http.DefaultTransport.(*http.Transport).IdleConnTimeout时(当前是90s),会采用该值
WriteBufferSizeInt写缓冲区的大小,默认64KB
QueueCapacityInt内部channel的缓存大小,默认为1024
AuthenticatorStruct鉴权扩展插件配置
Authenticator.TypeString鉴权扩展插件类型
Authenticator.OptionsMap<String,Struct>鉴权扩展插件配置内容
AsyncInterceptBoolean异步过滤数据,默认为否
DropEventWhenQueueFullBoolean当队列满时是否丢弃数据,否则需要等待,默认为丢弃

样例

采集Prometheus指标,并将指标以Prometheus协议发送到PROMETHEUS_REMOTEWRITE_ADDRESS
这里用到了ext_default_encoder插件(默认集成,无需用户手动配置),该插件可以配置使用Prometheus Encoder,从而支持将采集到的数据转换为Prometheus协议。

enable: true
global:
StructureType: v2
inputs:
- Type: service_prometheus
ConfigFilePath: '/etc/prometheus/prometheus.yml'
flushers:
- Type: flusher_prometheus
Endpoint: 'http://PROMETHEUS_REMOTEWRITE_ADDRESS/api/v1/write'
Concurrency: 10
QueueCapacity: 4096
DropEventWhenQueueFull: true
Authenticator:
Type: ext_basicauth
extensions:
- Type: ext_basicauth
Username: 'YOUR_USERNAME'
Password: 'YOUR_PASSWORD'

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32