search
数据采集 采集源配置 etcd 指标采集

etcd 指标采集

简介

采集 etcd 数据指标上报到 DataFlux 中。

前置条件

配置

etcd 启动以后,会自动开启 /metrics 路由,用以获取指标数据,无需再次配置。

进入 DataKit 安装目录下的 conf.d/etcd 目录,复制 etcd.conf.sample 并命名为 etcd.conf。示例如下:

[[inputs.prom]]
    # etcd 指标来源 http(https)://HOST:PORT/metrics
    # 通常只需要修改 host 和 port 即可
    # 必填
    url = "http://127.0.0.1:2379/metrics"

    # 采集间隔时长,数字+单位,有效的时间单位 "ns", "us" (or "µs"), "ms", "s", "m", "h"
    # 不可以小于等于 0
    # 必填
    interval = "10s"
    
    # 是否开启 HTTPS TLS,如果开启则需要同时配置下面的3个路径
    tls_open = false
    # tls_ca = "/tmp/ca.crt"
    # tls_cert = "/tmp/peer.crt"
    # tls_key = "/tmp/peer.key"

    # 自定义 tags
    # 建议配置以区分数据来源
    # [inputs.prom.tags]
    # from = "127.0.0.1:2379"
    # tags1 = "value1"

说明:

  • 如果 etcd 接口需要使用 HTTPS 访问,需要在配置文件中将tls_open设置为true,且配置3个证书和私钥文件路径
  • 使用命令例如curl 127.0.0.1:2379/metrics 根据返回内容判断是否需要使用 HTTPS
  • 使用命令例如curl --cacert ca.crt --cert peer.crt --key peer.key -L https://127.0.0.1:2379/metrics 验证 tls 证书和私钥是否可用
  • 证书和私钥码只支持 PEM 编码
  • 只采集 etcd v3 API 的数据

采集指标

  • etcd 指标集
指标 描述 类型 单位
etcd_debugging_mvcc_db_compaction_keys_total db键值的压缩总数。 fields float
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_count db压缩暂停的持续时间。 fields float
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_sum db压缩暂停的持续时间之和。 fields float
etcd_debugging_mvcc_db_compaction_total_duration_milliseconds_count db压缩总计持续时间。 fields float
etcd_debugging_mvcc_db_compaction_total_duration_milliseconds_sum db压缩总计续时间之和。 fields float
etcd_debugging_mvcc_db_total_size_in_bytes 基础数据库的大小(以字节为单位)。 fields float
etcd_debugging_mvcc_delete_total 该成员看到的删除总数。 fields float
etcd_debugging_mvcc_events_total 此成员发送的事件总数。 fields float
etcd_debugging_mvcc_index_compaction_pause_duration_milliseconds_count 索引压缩暂停持续时间。 fields float
etcd_debugging_mvcc_index_compaction_pause_duration_milliseconds_sum 索引压缩暂停持续时间之和。 fields float
etcd_debugging_mvcc_keys_total 密钥总数。 fields float
etcd_debugging_mvcc_pending_events_total 要发送的未决事件总数。 fields float
etcd_debugging_mvcc_put_total 该成员观察到的放置总数。 fields float
etcd_debugging_mvcc_range_total 该成员观察到的范围总数。 fields float
etcd_debugging_mvcc_slow_watcher_total 未同步的慢速观察者总数。 fields float
etcd_debugging_mvcc_txn_total 该成员看到的txns总数。 fields float
etcd_debugging_mvcc_watch_stream_total 观看流总数。 fields float
etcd_debugging_mvcc_watcher_total 观察者总数。 fields float
etcd_debugging_server_lease_expired_total 过期的leases总数。 fields float
etcd_debugging_snap_save_marshalling_duration_seconds_count 快照调用marshalling的保存分配数。 fields float
etcd_debugging_snap_save_marshalling_duration_seconds_sum 快照调用marshalling的保存分配数之和。 fields float
etcd_debugging_snap_save_total_duration_seconds_count 快照调用latency的保存的总延迟数。 fields float
etcd_debugging_snap_save_total_duration_seconds_sum 快照调用latency的保存的总延迟数之和。 fields float
etcd_debugging_store_expires_total 过期密钥总数。 fields float
etcd_debugging_store_reads_total_get 此成员在本地的读取操作总数。 fields float
etcd_debugging_store_reads_total_getRecursive 此成员在本地的递归读取操作总数。 fields float
etcd_debugging_store_watch_requests_total 传入监视请求的总数(新的或重新建立的)。 fields float
etcd_debugging_store_watchers 当前活跃观察者的数量。 fields float
etcd_debugging_store_writes_total_create 此成员看到的总写入次数(例如set / compareAndDelete)。 fields float
etcd_debugging_store_writes_total_set 此成员看到的总写入次数(例如set / compareAndDelete)。 fields float
etcd_disk_backend_commit_duration_seconds_count 后端调用的提交的延迟分布数。 fields float
etcd_disk_backend_commit_duration_seconds_sum 后端调用的提交的延迟分布之和。 fields float
etcd_disk_backend_snapshot_duration_seconds_count 后端快照的延迟分布数。 fields float
etcd_disk_backend_snapshot_duration_seconds_sum 后端快照的延迟分布之和。 fields float
etcd_disk_wal_fsync_duration_seconds_count wal调用的fsync延迟分布数。 fields float
etcd_disk_wal_fsync_duration_seconds_sum wal调用的fsync延迟分布数之和。 fields float
etcd_grpc_proxy_cache_hits_total cache命中总数。 fields float
etcd_grpc_proxy_cache_keys_total cache的key/rangs的总数。 fields float
etcd_grpc_proxy_cache_misses_total cache未命中总数。 fields float
etcd_grpc_proxy_events_coalescing_total 事件总数。 fields float
etcd_grpc_proxy_watchers_coalescing_total 当前观察者的总数。 fields float
etcd_network_client_grpc_received_bytes_total 从grpc客户端收到的字节总数。 fields float
etcd_network_client_grpc_sent_bytes_total 发送给grpc客户端的字节总数。 fields float
etcd_server_has_leader leader是否存存,1存在,0不存在。 fields float
etcd_server_is_leader 此成员是否为leader,是为1,否为0。 fields float
etcd_server_leader_changes_seen_total 看到的leader变更数量。 fields float
etcd_server_proposals_applied_total 已应用的共识提案总数。 fields float
etcd_server_proposals_committed_total 已落实的共识提案总数。 fields float
etcd_server_proposals_failed_total 失败提案总数。 fields float
etcd_server_proposals_pending 当前待提交的提案数量。 fields float
go_gc_duration_seconds_count GC调用的持续时间。 fields float
go_gc_duration_seconds_sum GC调用的持续时间之和。 fields float
go_goroutines 当前存在的goroutine数量。 fields float
go_info 有关Golang环境的信息。 fields float
go_memstats_alloc_bytes 已分配并仍在使用的字节数。 fields float
go_memstats_alloc_bytes_total 已分配的字节总数,包括被释放的。 fields float
go_memstats_buck_hash_sys_bytes 分析存储区哈希表使用的字节数。 fields float
go_memstats_frees_total free总数。 fields float
go_memstats_gc_cpu_fraction 程序启动以来GC和程序使用的CPU时间比。 fields float
go_memstats_gc_sys_bytes 用于GC的系统元数据字节数。 fields float
go_memstats_heap_alloc_bytes 已分配且仍在使用的堆字节数。 fields float
go_memstats_heap_idle_bytes 等待使用的堆字节数。 fields float
go_memstats_heap_inuse_bytes 正在使用的堆字节数。 fields float
go_memstats_heap_objects 分配的对象数。 fields float
go_memstats_heap_released_bytes 返还给操作系统的堆字节数。 fields float
go_memstats_heap_sys_bytes 系统分配的堆字节数。 fields float
go_memstats_lookups_total 指针查找总数。 fields float
go_memstats_mallocs_total malloc总数。 fields float
go_memstats_mcache_inuse_bytes mcache正在使用的字节数。 fields float
go_memstats_mcache_sys_bytes 系统分配的用于mcache的字节数。 fields float
go_memstats_mspan_inuse_bytes mspan使用的字节数。 fields float
go_memstats_mspan_sys_bytes 系统分配的用于mspan的字节数。 fields float
go_memstats_next_gc_bytes 下次进行GC时将被回收的堆区字节数。 fields float
go_memstats_other_sys_bytes 用于其他系统分配的字节数。 fields float
go_memstats_stack_inuse_bytes 已使用的堆栈区字节数。 fields float
go_memstats_stack_sys_bytes 系统分配的堆栈区字节数。 fields float
go_memstats_sys_bytes 系统分配的字节数。 fields float
go_threads 操作系统创建的线程数。 fields float
process_cpu_seconds_total 进程在用户态和内核态花费的总时间(以秒为单位)。 fields float
process_max_fds 打开文件描述符的最大数量。 fields float
process_open_fds 打开文件描述符的数量。 fields float
process_resident_memory_bytes 进程所使用的的内存大小(以字节为单位)。 fields float
process_start_time_seconds 进程启动时的Unix时间戳(以秒为单位)。 fields float
process_virtual_memory_bytes 虚拟内存大小(以字节为单位)。 fields float
process_virtual_memory_max_bytes fields float
  • etcd 指标集
指标 类型 单位
promhttp_metric_handler_requests_in_flight fields float
etcd_debugging_auth_revision fields float
etcd_debugging_disk_backend_commit_rebalance_duration_seconds_count fields float
etcd_debugging_disk_backend_commit_rebalance_duration_seconds_sum fields float
etcd_debugging_disk_backend_commit_spill_duration_seconds_count fields float
etcd_debugging_disk_backend_commit_spill_duration_seconds_sum fields float
etcd_debugging_disk_backend_commit_write_duration_seconds_count fields float
etcd_debugging_disk_backend_commit_write_duration_seconds_sum fields float
etcd_debugging_lease_granted_total fields float
etcd_debugging_lease_renewed_total fields float
etcd_debugging_lease_revoked_total fields float
etcd_debugging_lease_ttl_total_count fields float
etcd_debugging_lease_ttl_total_sum fields float
etcd_debugging_mvcc_compact_revision fields float
etcd_debugging_mvcc_current_revision fields float
etcd_mvcc_db_open_read_transactions fields float
etcd_mvcc_db_total_size_in_bytes fields float
etcd_mvcc_db_total_size_in_use_in_bytes fields float
etcd_mvcc_delete_total fields float
etcd_mvcc_hash_duration_seconds_count fields float
etcd_mvcc_hash_duration_seconds_sum fields float
etcd_mvcc_hash_rev_duration_seconds_count fields float
etcd_mvcc_hash_rev_duration_seconds_sum fields float
etcd_mvcc_put_total fields float
etcd_mvcc_range_total fields float
etcd_mvcc_txn_total fields float
etcd_server_quota_backend_bytes fields float
etcd_server_read_indexes_failed_total fields float
etcd_server_slow_apply_total fields float
etcd_server_slow_read_indexes_total fields float
etcd_server_snapshot_apply_in_progress_total fields float
etcd_snap_db_fsync_duration_seconds_count fields float
etcd_snap_db_fsync_duration_seconds_sum fields float
etcd_snap_db_save_total_duration_seconds_count fields float
etcd_snap_db_save_total_duration_seconds_sum fields float
etcd_snap_fsync_duration_seconds_count fields float
etcd_snap_fsync_duration_seconds_sum fields float
  • etcd_debugging 指标集
指标 类型 单位
action tags string
etcd_debugging_store_writes_total fields float
  • etcd_promhttp_metric 指标集
指标 类型 单位
code tags string
promhttp_metric_handler_requests_total fields float