数据仓库项目启动会议¶

项目时间大致安排¶

设计到8月3号
开发一期预计到9月底

系统分层设计¶

src:源数据层¶

需要通过etl抽取的数据 nifi
flume
从db中同步的数据 nifi sqoop

ods 原始数据层¶

数据主要存放在hdfs

mid 中间数据层¶

数据全部存储在hive

dm 数据集市¶

数据主要存储在hbase、es、mysql。
先不做api接口开发的相关工作。

mdw 元数据管理层¶

基于mysql的web系统。

明天的任务¶

根据设计分层学习数据仓库的概念，查漏补缺。尽量定义命名规范。

第一阶段目标¶

给出设计文档