要在windows下连接虚拟机上的HDFS首先要保证windows下有java环境和hadoop环境
这里给出hadoop在windows下的配置方法https://blog.csdn.net/weixin_43387852/article/details/117047467,java环境的配置可以搜相关教程。
2. 打开big data tools 进行配置
打开侧边栏的big data tools 新增一个hdfs。
然后进行ip地址的配置.,
HDFS开放的端口地址通过如下方法可以获取,首先在虚拟机中通过ifconfig指令,获取到当前虚拟机的ip地址,然后在虚拟机hadoop安装目录下/etc/hadoop/core-site.xml文件,显示如下
,然后将big data tools的url设置为文件中的地址。这里要注意如果你的是9000端口开放则客户端无法访问到这个端口,可以将9000修改为8020。
最终如下:点击ok即可。
3. 打开big data tools 进行配置
连接hadoop所需要的maven依赖:
<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.2</version> </dependency>
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; public class Read { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.164.134:8020");//这里填写你的hdfs端口 FileSystem fs = FileSystem.get(conf); System.out.println(fs); FSDataInputStream fis = fs.open(new Path("/input/file1.txt")); IOUtils.copyBytes(fis,System.out,4096,true); } }
(2) 检查虚拟机能够ping通主机,如果不能ping通主机,则可能是由于主机防火墙的原因,直接的办法就是关闭主机的防火墙,然后再次尝试ping主机IP,一般都能够成功。如果想不通过关闭防火墙ping通主机,可在百度上自行查找资料,修改虚拟机网络连接配置。这里采用的是关闭主机的防火墙。