CentOS系统下HDFS状态监控方法详解

一、HDFS基础监控命令

在CentOS系统中，可以通过以下基础命令监控HDFS状态：

# 检查HDFS整体状态
hdfs dfsadmin -report

# 查看HDFS存储空间使用情况
hdfs dfs -df -h

# 检查NameNode状态
hdfs haadmin -getServiceState nn1

# 查看DataNode节点状态
hdfs dfsadmin -report | grep -i "datanodes"

二、使用Web UI监控

HDFS提供了直观的Web监控界面：

• NameNode Web UI默认端口：50070
• ResourceManager Web UI默认端口：8088
• 通过浏览器访问：http://<namenode-ip>:50070

三、使用Ambari监控（适用于Ambari环境）

如果使用Ambari管理Hadoop集群：

1. 登录Ambari Web界面
2. 导航至HDFS服务页面
3. 查看"Summary"和"Metrics"选项卡
4. 配置告警阈值

四、使用Ganglia监控

配置Ganglia监控HDFS指标：

# 安装Ganglia监控组件
yum install ganglia-gmond ganglia-gmetad

# 配置Hadoop metrics输出到Ganglia
在hadoop-metrics2.properties中添加：
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10

五、编写监控脚本

示例Python监控脚本：

#!/usr/bin/python
import subprocess

def check_hdfs():
    try:
        status = subprocess.check_output(['hdfs', 'dfsadmin', '-report'])
        return "HDFS Status OK" if "Live datanodes" in status else "HDFS Error"
    except Exception as e:
        return "Monitoring failed: " + str(e)

六、常见问题排查

• 节点丢失：检查DataNode日志/var/log/hadoop-hdfs/hadoop-hdfs-datanode.log
• 空间不足：使用hdfs dfs -du -h /检查目录大小
• NameNode故障：检查JournalNode状态和ZKFC进程