数据采集 采集源配置 etcd 指标采集
etcd 指标采集
简介
采集 etcd 数据指标上报到 DataFlux 中。
前置条件
- 已安装 etcd 且支持 V3 API(官方安装说明)
- 已安装 DataKit(DataKit 安装文档)
配置
etcd 启动以后,会自动开启 /metrics
路由,用以获取指标数据,无需再次配置。
进入 DataKit 安装目录下的 conf.d/etcd 目录,复制 etcd.conf.sample 并命名为 etcd.conf。示例如下:
[[inputs.prom]]
# etcd 指标来源 http(https)://HOST:PORT/metrics
# 通常只需要修改 host 和 port 即可
# 必填
url = "http://127.0.0.1:2379/metrics"
# 采集间隔时长,数字+单位,有效的时间单位 "ns", "us" (or "µs"), "ms", "s", "m", "h"
# 不可以小于等于 0
# 必填
interval = "10s"
# 是否开启 HTTPS TLS,如果开启则需要同时配置下面的3个路径
tls_open = false
# tls_ca = "/tmp/ca.crt"
# tls_cert = "/tmp/peer.crt"
# tls_key = "/tmp/peer.key"
# 自定义 tags
# 建议配置以区分数据来源
# [inputs.prom.tags]
# from = "127.0.0.1:2379"
# tags1 = "value1"
说明:
- 如果 etcd 接口需要使用 HTTPS 访问,需要在配置文件中将
tls_open
设置为true
,且配置3个证书和私钥文件路径 - 使用命令例如
curl 127.0.0.1:2379/metrics
根据返回内容判断是否需要使用 HTTPS - 使用命令例如
curl --cacert ca.crt --cert peer.crt --key peer.key -L https://127.0.0.1:2379/metrics
验证 tls 证书和私钥是否可用 - 证书和私钥码只支持 PEM 编码
- 只采集 etcd v3 API 的数据
采集指标
- etcd 指标集
指标 | 描述 | 类型 | 单位 |
---|---|---|---|
etcd_debugging_mvcc_db_compaction_keys_total | db键值的压缩总数。 | fields | float |
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_count | db压缩暂停的持续时间。 | fields | float |
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_sum | db压缩暂停的持续时间之和。 | fields | float |
etcd_debugging_mvcc_db_compaction_total_duration_milliseconds_count | db压缩总计持续时间。 | fields | float |
etcd_debugging_mvcc_db_compaction_total_duration_milliseconds_sum | db压缩总计续时间之和。 | fields | float |
etcd_debugging_mvcc_db_total_size_in_bytes | 基础数据库的大小(以字节为单位)。 | fields | float |
etcd_debugging_mvcc_delete_total | 该成员看到的删除总数。 | fields | float |
etcd_debugging_mvcc_events_total | 此成员发送的事件总数。 | fields | float |
etcd_debugging_mvcc_index_compaction_pause_duration_milliseconds_count | 索引压缩暂停持续时间。 | fields | float |
etcd_debugging_mvcc_index_compaction_pause_duration_milliseconds_sum | 索引压缩暂停持续时间之和。 | fields | float |
etcd_debugging_mvcc_keys_total | 密钥总数。 | fields | float |
etcd_debugging_mvcc_pending_events_total | 要发送的未决事件总数。 | fields | float |
etcd_debugging_mvcc_put_total | 该成员观察到的放置总数。 | fields | float |
etcd_debugging_mvcc_range_total | 该成员观察到的范围总数。 | fields | float |
etcd_debugging_mvcc_slow_watcher_total | 未同步的慢速观察者总数。 | fields | float |
etcd_debugging_mvcc_txn_total | 该成员看到的txns总数。 | fields | float |
etcd_debugging_mvcc_watch_stream_total | 观看流总数。 | fields | float |
etcd_debugging_mvcc_watcher_total | 观察者总数。 | fields | float |
etcd_debugging_server_lease_expired_total | 过期的leases总数。 | fields | float |
etcd_debugging_snap_save_marshalling_duration_seconds_count | 快照调用marshalling的保存分配数。 | fields | float |
etcd_debugging_snap_save_marshalling_duration_seconds_sum | 快照调用marshalling的保存分配数之和。 | fields | float |
etcd_debugging_snap_save_total_duration_seconds_count | 快照调用latency的保存的总延迟数。 | fields | float |
etcd_debugging_snap_save_total_duration_seconds_sum | 快照调用latency的保存的总延迟数之和。 | fields | float |
etcd_debugging_store_expires_total | 过期密钥总数。 | fields | float |
etcd_debugging_store_reads_total_get | 此成员在本地的读取操作总数。 | fields | float |
etcd_debugging_store_reads_total_getRecursive | 此成员在本地的递归读取操作总数。 | fields | float |
etcd_debugging_store_watch_requests_total | 传入监视请求的总数(新的或重新建立的)。 | fields | float |
etcd_debugging_store_watchers | 当前活跃观察者的数量。 | fields | float |
etcd_debugging_store_writes_total_create | 此成员看到的总写入次数(例如set / compareAndDelete)。 | fields | float |
etcd_debugging_store_writes_total_set | 此成员看到的总写入次数(例如set / compareAndDelete)。 | fields | float |
etcd_disk_backend_commit_duration_seconds_count | 后端调用的提交的延迟分布数。 | fields | float |
etcd_disk_backend_commit_duration_seconds_sum | 后端调用的提交的延迟分布之和。 | fields | float |
etcd_disk_backend_snapshot_duration_seconds_count | 后端快照的延迟分布数。 | fields | float |
etcd_disk_backend_snapshot_duration_seconds_sum | 后端快照的延迟分布之和。 | fields | float |
etcd_disk_wal_fsync_duration_seconds_count | wal调用的fsync延迟分布数。 | fields | float |
etcd_disk_wal_fsync_duration_seconds_sum | wal调用的fsync延迟分布数之和。 | fields | float |
etcd_grpc_proxy_cache_hits_total | cache命中总数。 | fields | float |
etcd_grpc_proxy_cache_keys_total | cache的key/rangs的总数。 | fields | float |
etcd_grpc_proxy_cache_misses_total | cache未命中总数。 | fields | float |
etcd_grpc_proxy_events_coalescing_total | 事件总数。 | fields | float |
etcd_grpc_proxy_watchers_coalescing_total | 当前观察者的总数。 | fields | float |
etcd_network_client_grpc_received_bytes_total | 从grpc客户端收到的字节总数。 | fields | float |
etcd_network_client_grpc_sent_bytes_total | 发送给grpc客户端的字节总数。 | fields | float |
etcd_server_has_leader | leader是否存存,1存在,0不存在。 | fields | float |
etcd_server_is_leader | 此成员是否为leader,是为1,否为0。 | fields | float |
etcd_server_leader_changes_seen_total | 看到的leader变更数量。 | fields | float |
etcd_server_proposals_applied_total | 已应用的共识提案总数。 | fields | float |
etcd_server_proposals_committed_total | 已落实的共识提案总数。 | fields | float |
etcd_server_proposals_failed_total | 失败提案总数。 | fields | float |
etcd_server_proposals_pending | 当前待提交的提案数量。 | fields | float |
go_gc_duration_seconds_count | GC调用的持续时间。 | fields | float |
go_gc_duration_seconds_sum | GC调用的持续时间之和。 | fields | float |
go_goroutines | 当前存在的goroutine数量。 | fields | float |
go_info | 有关Golang环境的信息。 | fields | float |
go_memstats_alloc_bytes | 已分配并仍在使用的字节数。 | fields | float |
go_memstats_alloc_bytes_total | 已分配的字节总数,包括被释放的。 | fields | float |
go_memstats_buck_hash_sys_bytes | 分析存储区哈希表使用的字节数。 | fields | float |
go_memstats_frees_total | free总数。 | fields | float |
go_memstats_gc_cpu_fraction | 程序启动以来GC和程序使用的CPU时间比。 | fields | float |
go_memstats_gc_sys_bytes | 用于GC的系统元数据字节数。 | fields | float |
go_memstats_heap_alloc_bytes | 已分配且仍在使用的堆字节数。 | fields | float |
go_memstats_heap_idle_bytes | 等待使用的堆字节数。 | fields | float |
go_memstats_heap_inuse_bytes | 正在使用的堆字节数。 | fields | float |
go_memstats_heap_objects | 分配的对象数。 | fields | float |
go_memstats_heap_released_bytes | 返还给操作系统的堆字节数。 | fields | float |
go_memstats_heap_sys_bytes | 系统分配的堆字节数。 | fields | float |
go_memstats_lookups_total | 指针查找总数。 | fields | float |
go_memstats_mallocs_total | malloc总数。 | fields | float |
go_memstats_mcache_inuse_bytes | mcache正在使用的字节数。 | fields | float |
go_memstats_mcache_sys_bytes | 系统分配的用于mcache的字节数。 | fields | float |
go_memstats_mspan_inuse_bytes | mspan使用的字节数。 | fields | float |
go_memstats_mspan_sys_bytes | 系统分配的用于mspan的字节数。 | fields | float |
go_memstats_next_gc_bytes | 下次进行GC时将被回收的堆区字节数。 | fields | float |
go_memstats_other_sys_bytes | 用于其他系统分配的字节数。 | fields | float |
go_memstats_stack_inuse_bytes | 已使用的堆栈区字节数。 | fields | float |
go_memstats_stack_sys_bytes | 系统分配的堆栈区字节数。 | fields | float |
go_memstats_sys_bytes | 系统分配的字节数。 | fields | float |
go_threads | 操作系统创建的线程数。 | fields | float |
process_cpu_seconds_total | 进程在用户态和内核态花费的总时间(以秒为单位)。 | fields | float |
process_max_fds | 打开文件描述符的最大数量。 | fields | float |
process_open_fds | 打开文件描述符的数量。 | fields | float |
process_resident_memory_bytes | 进程所使用的的内存大小(以字节为单位)。 | fields | float |
process_start_time_seconds | 进程启动时的Unix时间戳(以秒为单位)。 | fields | float |
process_virtual_memory_bytes | 虚拟内存大小(以字节为单位)。 | fields | float |
process_virtual_memory_max_bytes | fields | float |
- etcd 指标集
指标 | 类型 | 单位 |
---|---|---|
promhttp_metric_handler_requests_in_flight | fields | float |
etcd_debugging_auth_revision | fields | float |
etcd_debugging_disk_backend_commit_rebalance_duration_seconds_count | fields | float |
etcd_debugging_disk_backend_commit_rebalance_duration_seconds_sum | fields | float |
etcd_debugging_disk_backend_commit_spill_duration_seconds_count | fields | float |
etcd_debugging_disk_backend_commit_spill_duration_seconds_sum | fields | float |
etcd_debugging_disk_backend_commit_write_duration_seconds_count | fields | float |
etcd_debugging_disk_backend_commit_write_duration_seconds_sum | fields | float |
etcd_debugging_lease_granted_total | fields | float |
etcd_debugging_lease_renewed_total | fields | float |
etcd_debugging_lease_revoked_total | fields | float |
etcd_debugging_lease_ttl_total_count | fields | float |
etcd_debugging_lease_ttl_total_sum | fields | float |
etcd_debugging_mvcc_compact_revision | fields | float |
etcd_debugging_mvcc_current_revision | fields | float |
etcd_mvcc_db_open_read_transactions | fields | float |
etcd_mvcc_db_total_size_in_bytes | fields | float |
etcd_mvcc_db_total_size_in_use_in_bytes | fields | float |
etcd_mvcc_delete_total | fields | float |
etcd_mvcc_hash_duration_seconds_count | fields | float |
etcd_mvcc_hash_duration_seconds_sum | fields | float |
etcd_mvcc_hash_rev_duration_seconds_count | fields | float |
etcd_mvcc_hash_rev_duration_seconds_sum | fields | float |
etcd_mvcc_put_total | fields | float |
etcd_mvcc_range_total | fields | float |
etcd_mvcc_txn_total | fields | float |
etcd_server_quota_backend_bytes | fields | float |
etcd_server_read_indexes_failed_total | fields | float |
etcd_server_slow_apply_total | fields | float |
etcd_server_slow_read_indexes_total | fields | float |
etcd_server_snapshot_apply_in_progress_total | fields | float |
etcd_snap_db_fsync_duration_seconds_count | fields | float |
etcd_snap_db_fsync_duration_seconds_sum | fields | float |
etcd_snap_db_save_total_duration_seconds_count | fields | float |
etcd_snap_db_save_total_duration_seconds_sum | fields | float |
etcd_snap_fsync_duration_seconds_count | fields | float |
etcd_snap_fsync_duration_seconds_sum | fields | float |
- etcd_debugging 指标集
指标 | 类型 | 单位 |
---|---|---|
action | tags | string |
etcd_debugging_store_writes_total | fields | float |
- etcd_promhttp_metric 指标集
指标 | 类型 | 单位 |
---|---|---|
code | tags | string |
promhttp_metric_handler_requests_total | fields | float |