LoongCollector

1758
下载
LoongCollector 源自阿里云可观测性团队所开源的 iLogtail 项目,在继承了 iLogtail 强大的日志采集与处理能力的基础上,进行了全面的功能升级与扩展。从原来单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。 LoongCollector 是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。愿景是:打造业界领先的“统一可观测 Agent(Unified Observability Agent)”与“端到端可观

产品优势


在可观测领域,Fluent Bit、OpenTelemetry Collector 及 Vector 都是备受推崇的可观测数据采集器。其中,FluentBit 小巧精悍,以性能著称;OpenTelemetry Collector 背靠 CNCF,借助 Opentelemetry 概念构建了丰富的生态体系;而 Vector 在 Datadog 加持下,则通过 Observability Pipelines 与 VRL 的组合,为数据处理提供了新的选择。

LoongCollector 则立足日志场景,通过持续完善指标、跟踪等场景实现更全面的 OneAgent 采集能力;依托性能、稳定性、Pipeline灵活性、可编程性优势,打造核心能力的差异化;同时,借助强大的管控能力,提供了大规模采集配置管理能力。更多详见下表,绿色部分为优势项。

大类子类LoongCollectorFluentBitOpenTelemetry CollectorVector
采集能力日志强。
采集、处理插件丰富。尤其是K8s友好,在Stdout采集、AutoTagging方面表现优异。
指标较强。
主机等场景原生支持、Prometheus抓取。
后续通过eBPF能力持续增强。
中。刚起步。较强。
数据源较全,但是较多处于Alpha阶段。
跟踪中。主要作为代理场景。中。主要作为代理场景。
性能与可靠性性能与资源开销性能:高。日志场景极简单核200M/s。
资源开销:低
性能:高
资源开销:低
性能:中
资源开销:高
性能:中
资源开销:中
可靠性完善的checkpoint机制
多级高低水位反馈队列
多租隔离
整体资源控制
可选的磁盘缓冲队列
完善的checkpoint机制
可选的磁盘缓冲队列
插件统一发送重试框架
缓冲区模型
事件确认机制
可编程能力插件开发语言C++、GoC++、Go、Lua、WebAssemblyGoRust
高级处理语法SPL 处理/编排能力强、性能高基于 SQL 的 Stream ProcessorOpenTelemetry Transformation Language(OTTL)VRL
Pipeline 能力多语言 Pipeline,可组合性高基于 Tag Match 实现基于 Connector 插件基于 Inputs 参数指定上游插件
管控全局管控开放的管控协议
支持机器组、心跳管理
配置热加载能力
ConfigServer实现
OpAMP Server
K8s Operator
与 CRD
商业版支持,开源敬请期待Fluent OperatorOpenTelemetry Operator

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32