search
数据采集 采集器 Logstash

Logstash

简介

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中, 通过logstash 提供的 influxdb 输出插件,可以将经过 logstash 处理过的数据通过 DataWay 上传到 DataFlux 平台

logstash 安装

参考官网 选择自己的机型进行安装

logstash 配置

通过对 logstash 的 influxdb 插件配置 DataWay ,实现 logstash 数据到 DataFlux 平台的数据上报。

influxdb 插件说明参考 influxdb 在此以控制台作为 input 配置,将控制台输入的内容上传到 DataFlux平台中为例进行展开

### step1 进入logstash 安装目录,创建配置目录config, 并创建配置文件
# cd /usr/share/logstash
# mkdir config && cd config
# touch demo.conf

### step2 配置如下
# vim demo.conf
 input {
    stdin {}

 }

 output {
     stdout {
        codec => rubydebug
     }
     influxdb {
        db => "tkn_4a896d4824514f51889dcb7bb585c9c2" // 填写 dataway上配置的token值
        host => "127.0.0.1"                             // dataway host地址
        port => "9528"                                 // 端口
        measurement => "logstash-test"               // 指标集名
        retention_policy => "rp3"                     // 填写rp3
        data_points => {
           "content" => "%{message}"                 // 接收控制台输入的内容作为指标
           "code" => "200"                             // mock的数据
        }
    }
 }

### step3 check配置文件
# ../bin/logstash -f demo.conf --config.test_and_exit

### step4 启动logstash
# ../bin/logstash -f config/demo.conf

以上执行完成后,待服务启动完成后,在控制台输入文本内容,如图:

执行完成后,在DataFlux平台中,可以看到上报的数据