connector模块中的WarehousePollContext是比较重要的

代码说明

• 关于pipeline 格式的定义
  了解pipeline格式定义，对于分析后边的代码是很有意义的,可以知道依赖的模块

public class PipelineConfigDTO {

    @NotNull

    private String name; // 名称

    @NotNull

    private JobSchedule schedule; // 调度信息，主要是关于任务调度的

    @NotNull

    private Long appId; // 关联的appid，外部服务在Castled 中称之为app

    @NotNull

    private Long warehouseId; // 配置的warehouse 定义

    @NotNull

    private String sourceQuery; // 数据查询sql

    @NotNull

    private QueryMode queryMode; // 处理模式，全量以及增量

    private AppSyncConfig appSyncConfig; // 关于app 的一些配置，从定义上来说属于重复定义，因为appid 可以代表

    private CastledDataMapping mapping; //  datawarehouse 与app 的数据schema 映射处理（基于了cfl处理）同时注意Castled 是需要主键的，这个在好多reverse ETL 都有说明

}

• WarehousePollContext定义
  WarehousePollContext 在poller 中是比较重要的，poller大部分都是需要依赖此对象的数据进行处理的，依赖上边定义的pipeline参数

public class WarehousePollContext {

    private WarehouseConfig warehouseConfig;

    private List<String> primaryKeys;

    private String query;

    private QueryMode queryMode;

    //uuid and not the incrementing id;

    private String pipelineUUID;

    private Long pipelineId;

    private Long pipelineRunId;

    private String dataEncryptionKey;

    private RecordSchema warehouseSchema;

}

说明

pipeline 以及context 是将app 以及poller 关联的对象，是比较重要的，后续web app 会用到这些

参考资料

https://github.com/castledio/castled
https://oss-docs.castled.io/