命名规范¶
hdfs:¶
hdfs: ODS_应用系统名(缩写)/业务名(数据库表名,或统一业务名称)/日期/时间戳数据。 ods/erp/product/2018-07-27/1532670914.txt ods/erp/product/2018-07-27/1532674252.txt
ods/erp/supplier/2018-07-27/1532670914.txt ods/erp/category/2018-07-27/1532670914.txt ods/erp/custom/2018-07-27/1532670914.txt
ods/erp/dimension/product/origins/1532674252.txt
kafka:¶
ODS_应用系统名(缩写)业务名(数据库表名,或统一业务名称)(其他扩展) ods_erp_customer_info
hive:¶
与hdfs上数据做的映射。 mid_erp_product mid_erp_supplier mid_erp_category mid_erp_custom
用户导入到自建维度表 mid_dimension_erp_product_origins mid_dimension_erp_product_status
固有维度 mid_dimension_public_date mid_dimension_public_regional
spark: 清洗的根据系统的名字来。¶
ods2mid_erp 清洗，增量，自定义维度表 ods2mid_erp_stream 流式任务
mid2mid mid2mid_subject ：数据合并根据业务主题来。
kylin_build_subject_{id} 根据hive及配置信息，创建kylin任务。
ods2dm_erp_mysql ods2dm_erp_es
kylin¶
product :subject:产品库统计
model : subject_供应商统计信息/产品统计信息_m
cube : subject_供应商统计信息/产品统计信息_c
measure：
hbase:¶
kylin表不用管 dm_subject:业务
es¶
index：erp_custom，dm_subject_业务 type：custom