etcd 指标采集

简介

采集 etcd 数据指标上报到 DataFlux 中。

前置条件

• 已安装 etcd 且支持 V3 API（官方安装说明）
• 已安装 DataKit（DataKit 安装文档）

配置

etcd 启动以后，会自动开启 /metrics 路由，用以获取指标数据，无需再次配置。

进入 DataKit 安装目录下的 conf.d/etcd 目录，复制 etcd.conf.sample 并命名为 etcd.conf。示例如下：

[[inputs.prom]]
    # etcd 指标来源 http(https)://HOST:PORT/metrics
    # 通常只需要修改 host 和 port 即可
    # 必填
    url = "http://127.0.0.1:2379/metrics"

    # 采集间隔时长，数字+单位，有效的时间单位 "ns", "us" (or "µs"), "ms", "s", "m", "h"
    # 不可以小于等于 0
    # 必填
    interval = "10s"
    
    # 是否开启 HTTPS TLS，如果开启则需要同时配置下面的3个路径
    tls_open = false
    # tls_ca = "/tmp/ca.crt"
    # tls_cert = "/tmp/peer.crt"
    # tls_key = "/tmp/peer.key"

    # 自定义 tags
    # 建议配置以区分数据来源
    # [inputs.prom.tags]
    # from = "127.0.0.1:2379"
    # tags1 = "value1"

说明：

• 如果 etcd 接口需要使用 HTTPS 访问，需要在配置文件中将tls_open设置为true，且配置3个证书和私钥文件路径
• 使用命令例如curl 127.0.0.1:2379/metrics 根据返回内容判断是否需要使用 HTTPS
• 使用命令例如curl --cacert ca.crt --cert peer.crt --key peer.key -L https://127.0.0.1:2379/metrics 验证 tls 证书和私钥是否可用
• 证书和私钥码只支持 PEM 编码
• 只采集 etcd v3 API 的数据

采集指标

• etcd 指标集

指标	描述	类型	单位
etcd_debugging_mvcc_db_compaction_keys_total	db键值的压缩总数。	fields	float
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_count	db压缩暂停的持续时间。	fields	float
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_sum	db压缩暂停的持续时间之和。	fields	float
etcd_debugging_mvcc_db_compaction_total_duration_milliseconds_count	db压缩总计持续时间。	fields	float
etcd_debugging_mvcc_db_compaction_total_duration_milliseconds_sum	db压缩总计续时间之和。	fields	float
etcd_debugging_mvcc_db_total_size_in_bytes	基础数据库的大小（以字节为单位）。	fields	float
etcd_debugging_mvcc_delete_total	该成员看到的删除总数。	fields	float
etcd_debugging_mvcc_events_total	此成员发送的事件总数。	fields	float
etcd_debugging_mvcc_index_compaction_pause_duration_milliseconds_count	索引压缩暂停持续时间。	fields	float
etcd_debugging_mvcc_index_compaction_pause_duration_milliseconds_sum	索引压缩暂停持续时间之和。	fields	float
etcd_debugging_mvcc_keys_total	密钥总数。	fields	float
etcd_debugging_mvcc_pending_events_total	要发送的未决事件总数。	fields	float
etcd_debugging_mvcc_put_total	该成员观察到的放置总数。	fields	float
etcd_debugging_mvcc_range_total	该成员观察到的范围总数。	fields	float
etcd_debugging_mvcc_slow_watcher_total	未同步的慢速观察者总数。	fields	float
etcd_debugging_mvcc_txn_total	该成员看到的txns总数。	fields	float
etcd_debugging_mvcc_watch_stream_total	观看流总数。	fields	float
etcd_debugging_mvcc_watcher_total	观察者总数。	fields	float
etcd_debugging_server_lease_expired_total	过期的leases总数。	fields	float
etcd_debugging_snap_save_marshalling_duration_seconds_count	快照调用marshalling的保存分配数。	fields	float
etcd_debugging_snap_save_marshalling_duration_seconds_sum	快照调用marshalling的保存分配数之和。	fields	float
etcd_debugging_snap_save_total_duration_seconds_count	快照调用latency的保存的总延迟数。	fields	float
etcd_debugging_snap_save_total_duration_seconds_sum	快照调用latency的保存的总延迟数之和。	fields	float
etcd_debugging_store_expires_total	过期密钥总数。	fields	float
etcd_debugging_store_reads_total_get	此成员在本地的读取操作总数。	fields	float
etcd_debugging_store_reads_total_getRecursive	此成员在本地的递归读取操作总数。	fields	float
etcd_debugging_store_watch_requests_total	传入监视请求的总数（新的或重新建立的）。	fields	float
etcd_debugging_store_watchers	当前活跃观察者的数量。	fields	float
etcd_debugging_store_writes_total_create	此成员看到的总写入次数（例如set / compareAndDelete）。	fields	float
etcd_debugging_store_writes_total_set	此成员看到的总写入次数（例如set / compareAndDelete）。	fields	float
etcd_disk_backend_commit_duration_seconds_count	后端调用的提交的延迟分布数。	fields	float
etcd_disk_backend_commit_duration_seconds_sum	后端调用的提交的延迟分布之和。	fields	float
etcd_disk_backend_snapshot_duration_seconds_count	后端快照的延迟分布数。	fields	float
etcd_disk_backend_snapshot_duration_seconds_sum	后端快照的延迟分布之和。	fields	float
etcd_disk_wal_fsync_duration_seconds_count	wal调用的fsync延迟分布数。	fields	float
etcd_disk_wal_fsync_duration_seconds_sum	wal调用的fsync延迟分布数之和。	fields	float
etcd_grpc_proxy_cache_hits_total	cache命中总数。	fields	float
etcd_grpc_proxy_cache_keys_total	cache的key/rangs的总数。	fields	float
etcd_grpc_proxy_cache_misses_total	cache未命中总数。	fields	float
etcd_grpc_proxy_events_coalescing_total	事件总数。	fields	float
etcd_grpc_proxy_watchers_coalescing_total	当前观察者的总数。	fields	float
etcd_network_client_grpc_received_bytes_total	从grpc客户端收到的字节总数。	fields	float
etcd_network_client_grpc_sent_bytes_total	发送给grpc客户端的字节总数。	fields	float
etcd_server_has_leader	leader是否存存，1存在，0不存在。	fields	float
etcd_server_is_leader	此成员是否为leader，是为1，否为0。	fields	float
etcd_server_leader_changes_seen_total	看到的leader变更数量。	fields	float
etcd_server_proposals_applied_total	已应用的共识提案总数。	fields	float
etcd_server_proposals_committed_total	已落实的共识提案总数。	fields	float
etcd_server_proposals_failed_total	失败提案总数。	fields	float
etcd_server_proposals_pending	当前待提交的提案数量。	fields	float
go_gc_duration_seconds_count	GC调用的持续时间。	fields	float
go_gc_duration_seconds_sum	GC调用的持续时间之和。	fields	float
go_goroutines	当前存在的goroutine数量。	fields	float
go_info	有关Golang环境的信息。	fields	float
go_memstats_alloc_bytes	已分配并仍在使用的字节数。	fields	float
go_memstats_alloc_bytes_total	已分配的字节总数，包括被释放的。	fields	float
go_memstats_buck_hash_sys_bytes	分析存储区哈希表使用的字节数。	fields	float
go_memstats_frees_total	free总数。	fields	float
go_memstats_gc_cpu_fraction	程序启动以来GC和程序使用的CPU时间比。	fields	float
go_memstats_gc_sys_bytes	用于GC的系统元数据字节数。	fields	float
go_memstats_heap_alloc_bytes	已分配且仍在使用的堆字节数。	fields	float
go_memstats_heap_idle_bytes	等待使用的堆字节数。	fields	float
go_memstats_heap_inuse_bytes	正在使用的堆字节数。	fields	float
go_memstats_heap_objects	分配的对象数。	fields	float
go_memstats_heap_released_bytes	返还给操作系统的堆字节数。	fields	float
go_memstats_heap_sys_bytes	系统分配的堆字节数。	fields	float
go_memstats_lookups_total	指针查找总数。	fields	float
go_memstats_mallocs_total	malloc总数。	fields	float
go_memstats_mcache_inuse_bytes	mcache正在使用的字节数。	fields	float
go_memstats_mcache_sys_bytes	系统分配的用于mcache的字节数。	fields	float
go_memstats_mspan_inuse_bytes	mspan使用的字节数。	fields	float
go_memstats_mspan_sys_bytes	系统分配的用于mspan的字节数。	fields	float
go_memstats_next_gc_bytes	下次进行GC时将被回收的堆区字节数。	fields	float
go_memstats_other_sys_bytes	用于其他系统分配的字节数。	fields	float
go_memstats_stack_inuse_bytes	已使用的堆栈区字节数。	fields	float
go_memstats_stack_sys_bytes	系统分配的堆栈区字节数。	fields	float
go_memstats_sys_bytes	系统分配的字节数。	fields	float
go_threads	操作系统创建的线程数。	fields	float
process_cpu_seconds_total	进程在用户态和内核态花费的总时间（以秒为单位）。	fields	float
process_max_fds	打开文件描述符的最大数量。	fields	float
process_open_fds	打开文件描述符的数量。	fields	float
process_resident_memory_bytes	进程所使用的的内存大小（以字节为单位）。	fields	float
process_start_time_seconds	进程启动时的Unix时间戳（以秒为单位）。	fields	float
process_virtual_memory_bytes	虚拟内存大小（以字节为单位）。	fields	float
process_virtual_memory_max_bytes		fields	float

• etcd 指标集

指标	类型	单位
promhttp_metric_handler_requests_in_flight	fields	float
etcd_debugging_auth_revision	fields	float
etcd_debugging_disk_backend_commit_rebalance_duration_seconds_count	fields	float
etcd_debugging_disk_backend_commit_rebalance_duration_seconds_sum	fields	float
etcd_debugging_disk_backend_commit_spill_duration_seconds_count	fields	float
etcd_debugging_disk_backend_commit_spill_duration_seconds_sum	fields	float
etcd_debugging_disk_backend_commit_write_duration_seconds_count	fields	float
etcd_debugging_disk_backend_commit_write_duration_seconds_sum	fields	float
etcd_debugging_lease_granted_total	fields	float
etcd_debugging_lease_renewed_total	fields	float
etcd_debugging_lease_revoked_total	fields	float
etcd_debugging_lease_ttl_total_count	fields	float
etcd_debugging_lease_ttl_total_sum	fields	float
etcd_debugging_mvcc_compact_revision	fields	float
etcd_debugging_mvcc_current_revision	fields	float
etcd_mvcc_db_open_read_transactions	fields	float
etcd_mvcc_db_total_size_in_bytes	fields	float
etcd_mvcc_db_total_size_in_use_in_bytes	fields	float
etcd_mvcc_delete_total	fields	float
etcd_mvcc_hash_duration_seconds_count	fields	float
etcd_mvcc_hash_duration_seconds_sum	fields	float
etcd_mvcc_hash_rev_duration_seconds_count	fields	float
etcd_mvcc_hash_rev_duration_seconds_sum	fields	float
etcd_mvcc_put_total	fields	float
etcd_mvcc_range_total	fields	float
etcd_mvcc_txn_total	fields	float
etcd_server_quota_backend_bytes	fields	float
etcd_server_read_indexes_failed_total	fields	float
etcd_server_slow_apply_total	fields	float
etcd_server_slow_read_indexes_total	fields	float
etcd_server_snapshot_apply_in_progress_total	fields	float
etcd_snap_db_fsync_duration_seconds_count	fields	float
etcd_snap_db_fsync_duration_seconds_sum	fields	float
etcd_snap_db_save_total_duration_seconds_count	fields	float
etcd_snap_db_save_total_duration_seconds_sum	fields	float
etcd_snap_fsync_duration_seconds_count	fields	float
etcd_snap_fsync_duration_seconds_sum	fields	float

• etcd_debugging 指标集

指标	类型	单位
action	tags	string
etcd_debugging_store_writes_total	fields	float

• etcd_promhttp_metric 指标集

指标	类型	单位
code	tags	string
promhttp_metric_handler_requests_total	fields	float