基本所有dremio 的存储扩展的配置管理都会使用此类
ConnectionConf 继承了AbstractConnectionConf 功能比较简单,主要是提供了获取类型,以及转换为字节字符串
获取类型部分使用了dremio 的注解(开发扩展会包含一个注解,设计还是比较巧妙的,简化了注解的处理)
配置转换为字节字符串(利用了protostuff的能力,主要是方便存储使用)
参考处理
@Override
public ByteString toBytesString() {
return ByteString.copyFrom(toBytes());
}
@SuppressWarnings("unchecked")
public byte[] toBytes() {
return ProtobufIOUtil.toByteArray( (T) this, schema, LinkedBuffer.allocate() );
}
ConnectionConf 提供了newPlugin 抽象方法,我们开发存储扩展的配置管理也就是基于此方法
public abstract P newPlugin(final SabotContext context, final String name, Provider<StoragePluginId> pluginIdProvider);
比如jdbc 的
public abstract class JdbcConf<T extends DialectConf<T, JdbcStoragePlugin>> extends DialectConf<T, JdbcStoragePlugin> {
private static final Logger logger = LoggerFactory.getLogger(JdbcConf.class);
public JdbcConf() {
}
// 此方法是jdbc 特有的,简化了jdbc 的处理,newPlugin 使用JdbcSchemaFetcherFactory 会调用此方法
public abstract JdbcPluginConfig buildPluginConfig(Builder var1, CredentialsService var2, OptionManager var3);
// 创建存储扩展的实现,ManagedStoragePlugin 就使用了此方法
public JdbcStoragePlugin newPlugin(SabotContext context, String name, Provider<StoragePluginId> pluginIdProvider) {
JdbcSchemaFetcherFactory factory = JdbcSchemaFetcherFactory.of(context.getConfig(), context.getJdbcSchemaFetcherFactoryContext());
logger.debug("Plugin {} is using fetcher factory: {}", name, factory.getClass());
JdbcSchemaFetcher schemaFetcher = factory.newFetcher(name, this);
return new JdbcStoragePlugin(schemaFetcher.getConfig(), schemaFetcher, context.getConfig(), pluginIdProvider, context.getOptionManager().getOption(PlannerSettings.FULL_NESTED_SCHEMA_SUPPORT));
}
}
JdbcSchemaFetcherFactory 包装了如何创建JdbcSchemaFetcher ,参考处理
public class JdbcSchemaFetcherFactoryImpl implements JdbcSchemaFetcherFactory {
private final OptionManager optionManager;
private final CredentialsService credentialsService;
public JdbcSchemaFetcherFactoryImpl(JdbcSchemaFetcherFactoryContext context) {
this.optionManager = context.getOptionManager();
this.credentialsService = context.getCredentialsService();
}
public JdbcSchemaFetcher newFetcher(String sourceName, ConnectionConf<?, ?> connectionConf) {
JdbcConf<?> jdbcConf = (JdbcConf)connectionConf;
Supplier<Integer> rowCountQueryTimeout = () -> {
return Ints.saturatedCast(this.optionManager.getOption(JdbcConstants.JDBC_ROW_COUNT_QUERY_TIMEOUT_VALIDATOR));
};
Builder configBuilder = JdbcPluginConfig.newBuilder().withSourceName(sourceName).withRowCountQueryTimeOut(rowCountQueryTimeout);
JdbcPluginConfig pluginConfig = jdbcConf.buildPluginConfig(configBuilder, this.credentialsService, this.optionManager);
return pluginConfig.getDialect().newSchemaFetcher(pluginConfig);
}
}
同时ConnectionConf 也实现了Externalizable 方便进行序列化处理
目前对于ConnectionConf的使用主要是以下几个
DatasetManager(dataset管理),SourceResource(source api),ManagedStoragePlugin(具体创建存储扩展)
PhysicalPlanReader(物理执行计划读取,使用了静态方法),CatalogServiceImpl(catalog 服务管理),SourceUI(source 配置展示)
SourceService(source管理)
ConnectionConf 在dremio 的ui 管理存储扩展以及一些内置存储扩展上使用的是比较多的,基于注解的开发模式,简化了存储扩展的开发
sabot/kernel/src/main/java/com/dremio/exec/catalog/ManagedStoragePlugin.java
sabot/kernel/src/main/java/com/dremio/exec/planner/PhysicalPlanReader.java