search
数据采集 采集源配置 华为云对象采集

华为云对象采集

简介

采集华为云对象相关数据上报报到 DataFlux 中

前置条件

  • 已安装 DataKit(DataKit 安装文档
  • 需要有 rms:resources:list 权限的华为云 Access Key ID 和 Access Key Secret(为了保证你的数据安全,建议使用子用户授权,请不要使用超过只读权限的 Access Key ID 和 Access Key Secret)

配置

打开 DataKit 采集源配置文件夹(默认路径为 DataKit 安装目录的 conf.d 文件夹),进入 DataKit 安装目录下的 conf.d/huaweiyun 目录,复制 huaweiyunobject.conf.sample 并命名为 huaweiyunobject.conf。示例如下:

设置:

[[inputs.huaweiyunobject]]
# ##(required) 访问凭证
access_key_id = ''
access_key_secret = ''

# ##(optional) 采集间隔,默认15分钟
#interval = '15m'

配置好后,重启 DataKit 即可生效。当在华为云添加了新的资源(比如ECS服务器)后,不需要重启 DataKit,采集器会自动获取到新的资源对象。

对象字段

名称 描述 类型
name 资源对象的名称 string
class 分类: huaweiyun_service_type,service_type 为每种资源对应的服务名称,比如ECS实例对应 ecs,数据库实例对应 rds。 string
message 每个资源对象的详细信息 json string

采集器使用华为云接口 ListResources 来获取可用的资源对象,转化为 DataFlux 对象数据格式并上报。

Pipeline

支持配置 pipeline 从 message 中提取出字段。进入 DataKit 安装目录下的 pipeline 目录,创建 huaweiyunobject_service_type.p (service_type为资源类型,比如ecs, rds, vpc...) 并编辑,pipeline 的编写方法参考 pipeline使用文档

默认提供了以下资源的 pipeline 配置,对于其它资源默认会提取 id 字段:

弹性云服务器实例,huaweiyunobject_ecs.p:

json(_,id)
json(_,metadata.imageName,image)
json(_,flavor.name,flavor)
json(_,flavor.vcpus,vcpus)
json(_,hostStatus)

云数据库实例,huaweiyunobject_rds.p:

json(_,id)
json(_,engineName)
json(_,engineVersion)
json(_,flavorCode,flavor)
json(_,volumeType)
json(_,dataVolumeSizeInGBs)

弹性负载均衡器,huaweiyunobject_elb.p:

json(_,id)
json(_,vip_address)
json(_,admin_state_up)
json(_,provisioning_status)

虚拟私有云实例,huaweiyunobject_vpc.p:

json(_,id)
json(_,cidr)
json(_,status)

云硬盘实例,huaweiyunobject_evs.p:

json(_,id)
json(_,shareable)
json(_,volumeType)
json(_,size)
json(_,status)

镜像服务,huaweiyunobject_ims.p:

json(_,id)
json(_,platform)
json(_,osVersion)
json(_,imageSize)
json(_,imageType)
json(_,diskFormat)
json(_,status)