简介

GBase 8a集群支持从HDFS上加载数据和将数据导出到HDFS上，本文对HDFS相关问题的分析排查进行简单的介绍。

curl工具

使用curl工具可简便的验证HTTP协议的连通性，以判断HDFS服务器或客户端环境配置问题。
以下命令用于获取HDFS上文件或目录状态，通过-v可以获取详细的诊断信息。

#curl -ivL 'http://dmd1-229:50070/webhdfs/v1/data?user.name=gbase&op=GETFILESTATUS’
*About to connect() to dmd1-229 port 50070
*…
*{“FileStatus”:{…})

类似于主机名错误、端口号错误、文件不存在或文件没有读权限的问题，都可以用curl验证。

1. /etc/hosts未正确配置或主机名错误
   #curl -ivL 'http://dmd1-15:50070/webhdfs/v1/data?user.name=gbase&op=GETFILESTATUS’
   *getaddrinfo(3) failed for dmd1-15:50070
   *Couldn’t resolve host ‘dmd-15’
   *…

2. 端口号错误
   #curl -ivL 'http://dmd1-229:8000/webhdfs/v1/data?user.name=gbase&op=GETFILESTATUS’
   *About to connect() to dmd1-229 port 8000(#0)
   *couldn’t connect to host
   *…

3. 文件不存在
   #curl -ivL 'http://dmd1-229:8000/webhdfs/v1/data/test/test.tbl?user.name=gbase&op=GETFILESTATUS’
   *About to connect() to dmd1-229 port 8000(#0)
   *…
   *< HTTP/1.1 404 not Found
   *…

4. 无读取权限
   #curl -ivL 'http://dmd1-229:8000/webhdfs/v1/data/test/test.tbl?user.name=gbase&op=GETFILESTATUS’
   *About to connect() to dmd1-229 port 8000(#0)
   *…
   *< HTTP/1.1 403 Forbidden
   *…

更多WebHDFS命令格式可访问以下地址：
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html