自监控指标说明

指标类型

在 LoongCollector 中，有如下几种指标类型：

• 进程级（agent）：LoongCollector的整体状态，包含一些Cpu、Mem等信息。
• Runner级（runner）：LoongCollector内部的独立线程的单例，通常是一整个功能模块，例如file_server、processor_runner等。runner级指标记录的就是这些单例的状态。
• 配置级（pipeline）：每个采集配置的整体状态，例如一条采集配置的总输入、输出、延迟。
• 组件级（component）：每个采集配置运行过程中，会伴随一些组件的使用，例如Batcher、Compressor等。component级指标记录的就是这些组件的状态。
• 插件级（plugin）：每个配置中单个插件的详细指标，例如某个Processor插件的输入、输出、解析失败率。
• 数据源级（plugin_source）：每个配置的数据源的指标，例如文件采集时，每个源文件会有对应的数据，包含文件大小、读取的offset等。

指标格式

LoongCollector的指标为多值Metric结构。具体来说，对于某一个确定的对象（例如一条Pipeline、一个插件、一个数据源），它会存在一条指标记录，里面会以多个label来唯一标识它，并记录多个与它相关的指标值。

下面是一条指标的样例。__name__是指标类型，__labels__是标识该条指标对应的对象的标签，__time__是指标输出的时间戳，__value__是具体指标的值的map。

{
    "__labels__":{
        "component_name":"process_queue",
        "pipeline_name":"pipeline-demo",
        "project":"",
        "queue_type":"bounded"
    },
    "__name__":"component",
    "__time__":1735127390,
    "__value__":{
        "fetch_times_total":6000.0,
        "in_items_total":0.0,
        "in_size_bytes":0.0,
        "out_items_total":0.0,
        "queue_size":0.0,
        "queue_size_bytes":0.0,
        "total_delay_ms":0.0,
        "valid_fetch_times_total":0.0,
        "valid_to_push_status":1.0
    }
}

指标解释

LoongCollector的指标较多，这里仅列举一部分重要指标作为说明，未涉及的指标有些是过于细节的内部实现监控，有些是存在变化的可能，可以参考源代码查看用途。

Agent级指标

Agent级的指标记录了LoongCollector的整体状态，例如Cpu、Mem等，全局唯一。

常见Labels：

常见Metric Key：

Runner级指标

Runner 是 LoongCollector 内部的独立线程的单例，通常是一整个功能模块，例如file_server、processor_runner等。

常见Labels：

常见Metric Key：

Pipeline级指标

Pipeline 是 LoongCollector 的采集配置，它的指标包含Pipeline的基础信息和吞吐量。

常见Labels：

常见Metric Key：

Component级指标

组件是用于辅助Pipeline运行的对象，它们归属于Pipeline，却对外部不可见（外部可见、可配置的是Plugin）。组件的指标根据组件类型而不同，这里只列举一些重要的。

常见Labels：

常见Metric Key：

Plugin级指标

一条采集配置Pipeline会包含一些插件，每个插件在运行过程中都会产生一些指标。

常见Labels：

常见Metric Key：

PluginSource级指标

这一级指标是标记数据源信息的，例如对于文件采集，被采集的文件的信息就会记录到PluginSource级指标中

常见Labels：

常见Metric Key：

获取自监控指标

请参见如何收集自监控指标。

添加自监控指标

请参见如何添加自监控指标。