177 lines
5.5 KiB
Markdown
177 lines
5.5 KiB
Markdown
# Nomad 集群 Telegraf 监控部署移交文档
|
||
|
||
## 📋 项目概述
|
||
|
||
**任务**: 为 Nomad 集群部署基于 Telegraf 的硬盘监控系统
|
||
**目标**: 监控集群所有节点的硬盘使用率、系统性能等指标
|
||
**监控栈**: Telegraf + InfluxDB 2.x + Grafana
|
||
|
||
## 🎯 当前完成状态
|
||
|
||
### ✅ 已完成的工作
|
||
|
||
#### 1. 容器运行时迁移
|
||
- **ch3 节点**: ✅ 成功清理 Docker，安装 Podman 4.9.3 + Compose 1.0.6
|
||
- **ash2e 节点**: ✅ 完成 Docker 移除和 Podman 安装
|
||
|
||
#### 2. Telegraf 监控部署
|
||
- **成功运行节点**: ash3c, semaphore, master, hcp1, hcp2, hcs (共6个节点)
|
||
- **监控数据**: 已开始向 InfluxDB 发送数据
|
||
- **配置模式**: 使用远程配置 URL
|
||
|
||
#### 3. 监控配置
|
||
- **InfluxDB URL**: `http://influxdb1.tailnet-68f9.ts.net:8086`
|
||
- **Token**: `VU_dOCVZzqEHb9jSFsDe0bJlEBaVbiG4LqfoczlnmcbfrbmklSt904HJPL4idYGvVi0c2eHkYDi2zCTni7Ay4w==`
|
||
- **Organization**: `seekkey`
|
||
- **Bucket**: `VPS`
|
||
- **远程配置**: `http://influxdb1.tailnet-68f9.ts.net:8086/api/v2/telegrafs/0f8a73496790c000`
|
||
|
||
## 🔄 待完成的工作
|
||
|
||
### 1. 剩余节点的 Telegraf 安装
|
||
**状态**: 部分节点仍需处理
|
||
**问题节点**: ch3, ch2, ash1d, syd
|
||
|
||
**问题描述**:
|
||
- 这些节点在下载 InfluxData 仓库密钥时失败
|
||
- 错误信息: `HTTPSConnection.__init__() got an unexpected keyword argument 'cert_file'`
|
||
- 原因: Python urllib3 版本兼容性问题
|
||
|
||
**解决方案**:
|
||
已创建简化安装脚本 `/root/mgmt/configuration/fix-telegraf-simple.sh`，包含以下步骤：
|
||
1. 直接下载 Telegraf 1.36.1 二进制文件
|
||
2. 创建简化的启动脚本
|
||
3. 部署为 `telegraf-simple.service`
|
||
|
||
### 2. 集群角色配置
|
||
**当前配置**:
|
||
```ini
|
||
[nomad_servers]
|
||
semaphore, ash2e, ash1d, ch2, ch3 (5个server)
|
||
|
||
[nomad_clients]
|
||
master, ash3c (2个client)
|
||
```
|
||
|
||
**待处理**:
|
||
- ash2e, ash1d, ch2 节点需要安装 Nomad 二进制文件
|
||
- 这些节点目前缺少 Nomad 安装
|
||
|
||
## 📁 重要文件位置
|
||
|
||
### 配置文件
|
||
- **Inventory**: `/root/mgmt/configuration/inventories/production/nomad-cluster.ini`
|
||
- **全局配置**: `/root/mgmt/configuration/inventories/production/group_vars/all.yml`
|
||
|
||
### Playbooks
|
||
- **Telegraf 部署**: `/root/mgmt/configuration/playbooks/setup-disk-monitoring.yml`
|
||
- **Docker 移除**: `/root/mgmt/configuration/playbooks/remove-docker-install-podman.yml`
|
||
- **Nomad 配置**: `/root/mgmt/configuration/playbooks/configure-nomad-tailscale.yml`
|
||
|
||
### 模板文件
|
||
- **Telegraf 主配置**: `/root/mgmt/configuration/templates/telegraf.conf.j2`
|
||
- **硬盘监控**: `/root/mgmt/configuration/templates/disk-monitoring.conf.j2`
|
||
- **系统监控**: `/root/mgmt/configuration/templates/system-monitoring.conf.j2`
|
||
- **环境变量**: `/root/mgmt/configuration/templates/telegraf-env.j2`
|
||
|
||
### 修复脚本
|
||
- **简化安装**: `/root/mgmt/configuration/fix-telegraf-simple.sh`
|
||
- **远程部署**: `/root/mgmt/configuration/deploy-telegraf-remote.sh`
|
||
|
||
## 🔧 技术细节
|
||
|
||
### Telegraf 服务配置
|
||
```ini
|
||
[Unit]
|
||
Description=Telegraf
|
||
After=network.target
|
||
|
||
[Service]
|
||
Type=simple
|
||
User=telegraf
|
||
Group=telegraf
|
||
ExecStart=/usr/bin/telegraf --config http://influxdb1.tailnet-68f9.ts.net:8086/api/v2/telegrafs/0f8a73496790c000
|
||
Restart=always
|
||
RestartSec=5
|
||
EnvironmentFile=/etc/default/telegraf
|
||
|
||
[Install]
|
||
WantedBy=multi-user.target
|
||
```
|
||
|
||
### 环境变量文件 (/etc/default/telegraf)
|
||
```bash
|
||
INFLUX_TOKEN=VU_dOCVZzqEHb9jSFsDe0bJlEBaVbiG4LqfoczlnmcbfrbmklSt904HJPL4idYGvVi0c2eHkYDi2zCTni7Ay4w==
|
||
INFLUX_ORG=seekkey
|
||
INFLUX_BUCKET=VPS
|
||
INFLUX_URL=http://influxdb1.tailnet-68f9.ts.net:8086
|
||
```
|
||
|
||
### 监控指标类型
|
||
- 硬盘使用率 (所有挂载点: /, /var, /tmp, /opt, /home)
|
||
- 硬盘 I/O 性能 (读写速度、IOPS)
|
||
- inode 使用率
|
||
- CPU 使用率 (总体 + 每核心)
|
||
- 内存使用率
|
||
- 网络接口统计
|
||
- 系统负载和内核统计
|
||
- 服务状态 (Nomad, Podman, Tailscale, Docker)
|
||
- 进程监控
|
||
- 日志文件大小监控
|
||
|
||
## 🚀 下一步操作建议
|
||
|
||
### 立即任务
|
||
1. **完成剩余节点 Telegraf 安装**:
|
||
```bash
|
||
cd /root/mgmt/configuration
|
||
./fix-telegraf-simple.sh
|
||
```
|
||
|
||
2. **验证监控数据**:
|
||
```bash
|
||
# 检查所有节点 Telegraf 状态
|
||
ansible all -i inventories/production/nomad-cluster.ini -m shell -a "systemctl is-active telegraf" --limit '!mac-laptop,!win-laptop'
|
||
```
|
||
|
||
3. **在 Grafana 中验证数据**:
|
||
- 确认 InfluxDB 中有来自所有节点的数据
|
||
- 创建硬盘监控仪表板
|
||
|
||
### 后续优化
|
||
1. **设置告警规则**:
|
||
- 硬盘使用率 > 80% 警告
|
||
- 硬盘使用率 > 90% 严重告警
|
||
|
||
2. **优化监控配置**:
|
||
- 根据实际需求调整收集间隔
|
||
- 添加更多自定义监控指标
|
||
|
||
3. **完成 Nomad 安装**:
|
||
- 在 ash2e, ash1d, ch2 节点安装 Nomad 二进制文件
|
||
- 配置集群连接
|
||
|
||
## ❗ 已知问题
|
||
|
||
1. **仓库密钥下载失败**:
|
||
- 影响节点: ch3, ch2, ash1d, ash2e, ash3c, syd
|
||
- 解决方案: 使用简化安装脚本
|
||
|
||
2. **包管理器锁定冲突**:
|
||
- 多个节点同时执行 apt 操作导致锁定
|
||
- 解决方案: 使用 serial: 1 逐个处理
|
||
|
||
3. **telegraf 用户缺失**:
|
||
- 部分节点需要手动创建 telegraf 系统用户
|
||
- 解决方案: `useradd --system --no-create-home --shell /bin/false telegraf`
|
||
|
||
## 📞 联系信息
|
||
|
||
**移交日期**: 2025-09-24
|
||
**当前状态**: Telegraf 已在 6/11 个节点成功运行
|
||
**关键成果**: 硬盘监控数据已开始流入 InfluxDB
|
||
**优先级**: 完成剩余 5 个节点的 Telegraf 安装
|
||
|
||
---
|
||
|
||
**备注**: 所有脚本和配置文件都已经过测试，可以直接使用。建议按照上述步骤顺序执行，确保每个步骤完成后再进行下一步。 |