超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

• 大数据

安装并运行 node_exporter

  1. 下载 node_exporter
  2. 解压到指定 /app/exporter
  3. 编写管理脚本control_node_exporter.sh，并给予权限 chmod + x control_node_exporter.sh，脚本内容如下： 
    #!/bin/bash

PID_FILE="node_exporter.pid"
LOG_FILE="node_exporter.log"
###这个路径是解压以后这个文件的路径，这个根据每个人路径不同，填入的也不同
CMD="/opt/module/exporter/node_exporter"

function start {
    nohup $CMD > $LOG_FILE 2>&1 &
    echo $! > $PID_FILE
    echo "Started Node Exporter, pid: $(cat $PID_FILE)"
}

function stop {
    kill $(cat $PID_FILE)
    rm $PID_FILE
    echo "Stopped Node Exporter"
}

function status {
    if [ -f $PID_FILE ]; then
        pid=$(cat $PID_FILE)

        if ps -p $pid > /dev/null; then
            echo "Node Exporter is running, pid: $pid"
            echo "Start time: $(ps -p $pid -o lstart=)"
            echo "Running time: $(ps -p $pid -o etime=)"
            echo "Started by user: $(ps -p $pid -o user=)"
        else
            echo "Node Exporter is not running"
        fi
    else
        echo "Node Exporter is not running"
    fi
}

case $1 in
"start")
    start
;;
"stop")
    stop
;;
"status")
    status
;;
*)
    echo "Usage: $0 {start|stop|status}"
;;
esac

    执行命令：

     

    ./control_node_exporter.sh start

    验证 node_exporter 是否启动成功：

  4. 查看同级目录下的 node_exporter.log 日志
  5. 浏览器访问 host:9100，是否看到下面的页面超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

出现如上的界面，表示此部分的部署成功。

安装并运行 kafka_exporter

  1. 下载 kafka_exporter
  2. 解压到指定 /app/exporter
  3. 编写启动脚本 start.sh，并给予权限 chmod + x start.sh，脚本内容如下： 
    #!/bin/bash 
nohup /app/exporter/kafka_exporter-1.7.0.linux-amd64/kafka_exporter --kafka.server=two:9092 --kafka.server=three:9092 --kafka.server=four:9092 > kafka_exporter.log &

其中 –kafka.server=two:9092 –kafka.server=three:9092 –kafka.server=four:9092 的作用是指定 Kafka 的集群地址（注意：一定要写上所有的节点地址）

执行命令 ./start.sh 启动 kafka_exporter.

验证 kafka_exporter 是否启动成功：

  1. 查看同级目录下的 kafka_exporter.log 日志
  2. 浏览器访问 host:9308，是否看到下面的页面

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

安装并运行 Prometheus

  1. 下载 Prometheus
  2. 解压到 /opt/module/exporter/Prometheus 目录，然后进入解压后的目录，编写配置文件promethues.yml。 
    # my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]
  
  # 新增部分: node_exporter 本机服务器监控
  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']

  # 新增部分: kafka_exporter kafka集群监控 
  - job_name: 'kafka'
    static_configs:
      - targets: ['localhost:9308']
  3. 编写管理脚本control_prometheus.sh，并给予执行权限 chmod +x control_prometheus.sh，脚本内容如下： 
    #!/bin/bash

PID_FILE="prometheus.pid"
LOG_FILE="prometheus.log"
#根据自己目录情况定义
CMD="/opt/module/exporter/Prometheus/prometheus-2.49.0-rc.1.linux-amd64/prometheus --config.file=prometheus.yml"

function start {
    nohup $CMD > $LOG_FILE 2>&1 &
    echo $! > $PID_FILE
    echo "Started Prometheus, pid: $(cat $PID_FILE)"
}

function stop {
    kill $(cat $PID_FILE)
    rm $PID_FILE
    echo "Stopped Prometheus"
}

function status {
    if [ -f $PID_FILE ]; then
        pid=$(cat $PID_FILE)

        if ps -p $pid > /dev/null; then
            echo "Prometheus is running, pid: $pid"
            echo "Start time: $(ps -p $pid -o lstart=)"
            echo "Running time: $(ps -p $pid -o etime=)"
            echo "Started by user: $(ps -p $pid -o user=)"
        else
            echo "Prometheus is not running"
        fi
    else
        echo "Prometheus is not running"
    fi
}

case $1 in
"start")
    start
;;
"stop")
    stop
;;
"status")
    status
;;
*)
    echo "Usage: $0 {start|stop|status}"
;;
esac

    验证 prometheus 是否启动成功：

  4. tail -fn 1000 prometheus.log。
  5. 浏览器打开 http://host:9090，是否可以看到 prometheus 的 web ui 超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

 安装运行并配置 grafana （重点）

  • 是一个开源的度量分析和可视化工具，可以通过将采集的数据分析、查询，然后进行可视化的展示，并能实现报警。
  • 参考官网地址：Run Grafana Docker image | Grafana documentation

docker的安装 

通过命令行一键安装

curl -fsSL https://get.docker.com/ | sh ;

#如果没有curl ，需要先安装curl
apt install curl;

docker的开启 和停止命令：
sudo systemctl start docker # 开启
sudo systemctl status docker # 状态
sudo systemctl enable docker #

 Grafana镜像的下载安装最新的的版本

docker pull grafana/grafana:latest

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

临时不挂载目录直接安装命令：

# 临时创建docker grafana
docker run -d --name=grafana -p 3000:3000 grafana/grafana:latest

docker ps -a 查看运行的docker镜像 

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机 

挂载目录正式安装 

查看容器的环境变量配置的默认目录

  • 命令：docker inspect grafana | grep Env -A 10
  • 说明：查看容器的“Env”配置的10行内容
    超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机
         "Env": [                "PATH=/usr/share/grafana/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",                "GF_PATHS_CONFIG=/etc/grafana/grafana.ini",                "GF_PATHS_DATA=/var/lib/grafana",                "GF_PATHS_HOME=/usr/share/grafana",                "GF_PATHS_LOGS=/var/log/grafana",                "GF_PATHS_PLUGINS=/var/lib/grafana/plugins",                "GF_PATHS_PROVISIONING=/etc/grafana/provisioning"            ],            "Cmd": null,            "Image": "grafana/grafana:latest",您在 /var/spool/mail/root 中有新邮件

在宿主机器创建目录 

mkdir -p /opt/module/grafana/{logs,config,data,plugins}

将已经创建的grafana容器的文件拷贝到宿主机

#将已经创建的grafana容器文件拷贝到宿主机器
docker cp grafana:/etc/grafana/.   /opt/module/grafana/config/
docker cp grafana:/var/lib/grafana/.  /opt/module/grafana/data/
docker cp grafana:/var/log/grafana/.  /opt/module/grafana/logs/

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

  • 创建grafana用户
    • 说明：由于容器内使用“grafana”用户运行“grafana”服务，所有需要创建对应的用户（注：可进入容器查看）
    • 命令：useradd grafana
  • 修改用户的UID、GID信息
    • 说明：由于容器内的“grafana”用户的UID、GID都是472，所以要保持一致修改
    • 命令：vim /etc/passwd

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

    • 命令：vim /etc/group

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

 修改映射目录所有者为grafana用户、并进行授权

chown -R grafana:grafana /opt/module/grafana/
chmod -R 755 /opt/module/grafana/

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

创建容器启动命令：

docker run -d \
   --name grafana \
   -p 3000:3000 \
   --privileged=true \
   -v /opt/module/grafana/config/:/etc/grafana \
   -v /opt/module/grafana/data/:/var/lib/grafana \
   -v /opt/module/grafana/logs/:/var/log/grafana \
   -e "GF_SECURITY_ADMIN_PASSWORD=admin" \
   -e "GF_INSTALL_PLUGINS=grafana-clock-panel,grafana-simple-json-datasource" \
   -e TZ=Asia/Shanghai \
   grafana/grafana:latest

# docker run：运行并启动容器
# -d：在后台运行容器，并输出容器ID
# --name：设置容器的名称
# -p 3000:3000：容器的3000端口映射宿主机3000端口（程序访问端口）
# --privileged=true：可选配置，目录映射时避免出现权限问题
# -v：设置"宿主机目录:容器目录"映射位置
# -e：设置时区
# grafana/grafana:latest：执行安装的镜像信息，格式：名称:标签（REPOSITORY:TAG）

 访问grafana页面，账号密码默认都是admin

  • 地址：http://xxx.xxx.xxx.xxx:3000
  • 账密：admin / admin

至此顺利的话已经安装结束了，但是博主遇到如下的报错：

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

这个不错也不是账号密码错误，而是Internal Server Error

通过命令查看docker的日志：

docker logs -f grafana

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机发现是数据库权限问题

通过执行如下命令解决：

chmod 777 grafana.db

##重启docker 镜像
docker restart grafana

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

出现如下界面 顺利登录。

 

访问测试

访问{ip}:3000即可，使用账密 admin/admin 进行登录即可

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机使用测试

  1. 添加数据源超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

    选择普罗米修斯作为数据源超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

  2. 超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

image.png

导入node模版 

image.png

 输入：12633，点击右边的Load。

image.png

 选择 prometheus，然后 Import。

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

 最后，顺便点一下其他地方，选择保存面板。

我在安装中用到的命令脚本：

mkdir -p /opt/module/grafana/{logs,config,data,plugins}
# 临时创建docker grafana
docker run -d --name=grafana -p 3000:3000 grafana/grafana:latest

chown -R grafana:grafana /opt/module/grafana/
chmod -R 755 /opt/module/grafana/

##a、查看容器的环境变量配置的默认目录
docker inspect grafana | grep Env -A 10
说明：查看容器的“Env”配置的10行内容

            "Env": [
                "PATH=/usr/share/grafana/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "GF_PATHS_CONFIG=/etc/grafana/grafana.ini",
                "GF_PATHS_DATA=/var/lib/grafana",
                "GF_PATHS_HOME=/usr/share/grafana",
                "GF_PATHS_LOGS=/var/log/grafana",
                "GF_PATHS_PLUGINS=/var/lib/grafana/plugins",
                "GF_PATHS_PROVISIONING=/etc/grafana/provisioning"
            ],
            "Cmd": null,
            "Image": "grafana/grafana:latest",
您在 /var/spool/mail/root 中有新邮件

#将已经创建的grafana容器文件拷贝到宿主机器
docker cp grafana:/etc/grafana/.   /opt/module/grafana/config/
docker cp grafana:/var/lib/grafana/.  /opt/module/grafana/data/
docker cp grafana:/var/log/grafana/.  /opt/module/grafana/logs/

docker run -d \
   --name grafana \
   -p 3000:3000 \
   --privileged=true \
   -v /opt/module/grafana/config/:/etc/grafana \
   -v /opt/module/grafana/data/:/var/lib/grafana \
   -v /opt/module/grafana/logs/:/var/log/grafana \
   -e "GF_SECURITY_ADMIN_PASSWORD=admin" \
   -e "GF_INSTALL_PLUGINS=grafana-clock-panel,grafana-simple-json-datasource" \
   -e TZ=Asia/Shanghai \
   grafana/grafana:latest





  
docker run -d \
    -p 3000:3000 \
    -net=host \
    --name=grafana \
    -v /etc/localtime:/etc/localtime:ro \
    -v /opt/grafana/data:/var/lib/grafana \
    -v /opt/grafana/plugins/:/var/lib/grafana/plugins \
    -v /opt/grafana/config/grafana.ini:/etc/grafana/grafana.ini \
    -e "GF_SECURITY_ADMIN_PASSWORD=admin" \
    -e "GF_INSTALL_PLUGINS=grafana-clock-panel,grafana-simple-json-datasource" \
    grafana/grafana:9.3.2
    
    

CMD="/mnt/user/appdata/docker/module/exporter/Prometheus/prometheus-2.49.0-rc.1.linux-amd64/prometheus --config.file=prometheus.yml"


docker run -d \
   --name grafana \
   -p 321:3000 \
   --privileged=true \
   -v /mnt/user/appdata/docker/module/grafana/config/:/etc/grafana \
   -v /mnt/user/appdata/docker/module/grafana/data/:/var/lib/grafana \
   -v /mnt/user/appdata/docker/module/grafana/logs/:/var/log/grafana \
   -e "GF_SECURITY_ADMIN_PASSWORD=admin" \
   -e "GF_INSTALL_PLUGINS=grafana-clock-panel,grafana-simple-json-datasource" \
   -e TZ=Asia/Shanghai \
   grafana/grafana:latest
   
grafana:x:472:472::/home/grafana:/bin/bash
grafana:x:472:

chown -R grafana:grafana /mnt/user/appdata/docker/module/grafana
chmod -R 755 /mnt/user/appdata/docker/module/grafana

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/40b7f30945.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐