Java教程

dremio的分布式存储简单说明

本文主要是介绍dremio的分布式存储简单说明,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

dremio 的pdfs 在系统中是一个比较重要的东西,dremio 的加速,上传,下载,查询结果,scratch 空间都是存储在这个里边的,没有配置的话,默认是在
paths.local 中, 同时官方支持多种文件存储(nas,hdfs,mapr-fs,s3,azure data lake,azure storage)而且dremio 基于s3 以及hdfs 也扩展了自己的hdfs 文件系统,扩展格式dremioS3,同时还基于dremio的fabric rpc 服务开发了pdfs文件系统,而且目前来说官方默认的就是此文件系统的配置

分布式存储配置说明

支持的配置模式不少,nas,hdfs,s3 ,pdfs。。。。s3 是一个不错的选择,可以实现多节点加速以及下载数据的共享,而且管理简单

pdfs 说明

pdfs 是基于fabric rpc 框架开发的,可以在远端查询本地文件系统的元数据,但是只能低于本地文件系统进行打开以及写入操作
参考格式

 
/
├── <dir1>
│   ├── <address1>@<file1>
│   ├── <address2>@<file1>
│   └── <address1>@<file2>
├── <dir2>

如果部署过集群多exectutor 就会看到如果我们的反射数据使用了默认的pdfs 机制,当我们在进行系统升级的时候,以前的反射会不能使用,而且会有
莫名奇妙的异常

源码简单说明

dremio 有一套自己的service 生命周期接口定义

 
public interface Service extends AutoCloseable {
  void start() throws Exception;
}

dfs 的service 使用了guice 管理
plugins/pdfs/src/main/java/com/dremio/exec/store/dfs/PDFSService.java
构造函数如下

 
public PDFSService(
      Provider<FabricService> fabricService,
      Provider<NodeEndpoint> identityProvider,
      Provider<Iterable<NodeEndpoint>> nodeProvider,
      Tracer tracer,
      SabotConfig config,
      BufferAllocator allocator,
      PDFSMode mode) 

以上服务是通过guice 注入的,比较有意思的是nodeProvider,处理如下(dremio 的service 都是在dac 模块注入启动的)
dac/backend/src/main/java/com/dremio/dac/daemon/DACDaemonModule.java

 
// PDFS depends on fabric.
registry.bind(PDFSService.class, new PDFSService(
    registry.provider(FabricService.class),
    selfEndpoint,
    isCoordinator ? executorsProvider : () -> Collections.singleton(selfEndpoint.get()), // 如果是Coordinator,使用执行器节点,否则使用当前的
    bootstrapRegistry.lookup(Tracer.class),
    sabotConfig,
    bootstrap.getAllocator(),
    isExecutor ? PDFSMode.DATA : PDFSMode.CLIENT
    ));

PseudoDistributedFileSystem 扩展自 hadoop 的FileSystem
plugins/pdfs/src/main/java/com/dremio/exec/store/dfs/PseudoDistributedFileSystem.java
PseudoDistributedFileSystem 判断了访问的是本地文件系统还是远端的,
本地文件系统初始化的时候使用了PDFSLocalFileSystem
plugins/pdfs/src/main/java/com/dremio/exec/store/dfs/PDFSLocalFileSystem.java

 
static FileSystem newLocalFileSystem(Configuration conf, boolean isLocalAccessAllowed) throws IOException {
  // we'll grab our own local file system so append is supported (rather than the checksum local file system).
  final FileSystem localFS = isLocalAccessAllowed ? new PDFSLocalFileSystem() : new NoopFileSystem();
  localFS.initialize(localFS.getUri(), conf);
  return localFS;
}

远端使用了RemoteNodeFileSystem
plugins/pdfs/src/main/java/com/dremio/exec/store/dfs/RemoteNodeFileSystem.java

 
@VisibleForTesting
FileSystem newRemoteFileSystem(final NodeEndpoint endpoint) throws IOException {
  final FabricCommandRunner runner = runnerFactory.getCommandRunner(endpoint.getAddress(), endpoint.getFabricPort());
  RemoteNodeFileSystem rdfs = new RemoteNodeFileSystem(runner, allocator);
  rdfs.initialize(URI.create(format("sabot://%s:%d", endpoint.getAddress(), endpoint.getFabricPort())), getConf());
  return rdfs;
}

使用rpc 进行文件处理

minio 做为dfs 的配置

  • 参考配置
paths: {
  ...
  dist: "dremioS3:///<bucket_name>/<folder1>/<folder2>"

core-site.xml (与dremio.conf 同一个目录,而且需要copy 所有节点)

<?xml version="1.0"?>
<configuration>
<property>
    <name>fs.dremioS3.impl</name>
    <description>The FileSystem implementation. Must be set to com.dremio.plugins.s3.store.S3FileSystem</description>
    <value>com.dremio.plugins.s3.store.S3FileSystem</value>
</property>
<property>
    <name>fs.s3a.access.key</name>
    <description>Minio server access key ID.</description>
    <value>ACCESS_KEY</value>
</property>
<property>
    <name>fs.s3a.secret.key</name>
    <description>Minio server secret key.</description>
    <value>SECRET_KEY</value>
</property>
<property>
    <name>fs.s3a.aws.credentials.provider</name>
    <description>The credential provider type.</description>
    <value>org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider</value>
</property>
<property>
    <name>fs.s3a.endpoint</name>
    <description>Endpoint can either be an IP or a hostname, where Minio server is running . However the endpoint value cannot contain the http(s) prefix. E.g. 175.1.2.3:9000 is a valid endpoint. </description>
    <value>ENDPOINT</value>
</property>
<property>
    <name>fs.s3a.path.style.access</name>
    <description>Value has to be set to true.</description>
    <value>true</value>
</property>
<property>
    <name>dremio.s3.compat</name>
    <description>Value has to be set to true.</description>
    <value>true</value>
</property>
<property>
    <name>fs.s3a.connection.ssl.enabled</name>
    <description>Value can either be true or false, set to true to use SSL with a secure Minio server.</description>
    <value>SSL_ENABLED</value>
</property>
</configuration>

注意默认使用了buf 在 /tmp/hadoop-dremio/s3a,如果空间不够,需要调整目录,调整以下配置

fs.s3a.buffer.dir

说明

dremio内部自己开发文件系统扩展是不少的,比如元数据存储扩展,加速存储扩展,home 存储扩展,s3 存储扩展,nas 存储扩展
同时如果大家看了dremio的数据目录(worker节点)会看到一个cm的目录,此目录是进行数据缓存的,同时在dremio的系统表sys,cache 中可以看到相关
性能参数

参考资料

https://docs.dremio.com/advanced-administration/dremio-conf/
https://docs.dremio.com/deployment/dist-store-config/
sabot/kernel/src/main/java/com/dremio/exec/store/dfs/FileSystemPlugin.java

这篇关于dremio的分布式存储简单说明的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!