【离线数仓面试】数仓架构：架构、输入输出、流程、框架选型及版本、项目集群规模、分层架构、分层原因

本文主要是介绍【离线数仓面试】数仓架构：架构、输入输出、流程、框架选型及版本、项目集群规模、分层架构、分层原因，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1、数仓架构介绍

神策数据：

云上数仓：https://www.aliyun.com/solution/datavexpo/datawarehouse

2、数仓的输入输出

输入系统：用户埋点行为数据、后台产生的业务数据、爬虫数据。

输出系统（BI）：报表系统、大屏展示、用户画像系统、推荐系统

3、系统流程

4、框架选型

1）Apache：运维麻烦，需要对组件兼容性进行维护

2）CDH：国内使用最多，不开源，对中、小公司没有影响（建议使用）

3）HDP：开源，可以进行二次开发，但是没有CDH稳定，国内使用较少

5、版本选择

Apache、CDH

6、集群规模（实习项目也可）

每条消息1K，压缩后不0.1K

Kafka所用的空间计算

7、数仓分层架构

ods 原始数据层存放原始数据，保持原貌不做处理

dwd 明细数据层对ods层数据清洗（去除空值，脏数据，超过极限范围的数据）

dws 服务数据层轻度聚合形成宽表

ads 应用数据层具体需求

8、为什么对数仓分层

分层优点：复杂问题简单化、清晰数据结构（方便管理）、增加数据的复用性、隔离原始数据（解耦）

这篇关于【离线数仓面试】数仓架构：架构、输入输出、流程、框架选型及版本、项目集群规模、分层架构、分层原因的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

Java教程