# 同步策略
# 概述
数据同步策略的类型包括:全量表、增量表、新增及变化表、特殊表
- 全量表:存储完整的数据
- 增量表:存储新增加的数据
- 新增及变化表:存储新增加的数据和变化的数据
- 特殊表:只需要存储一次
# 策略详解
# 全量同步策略
每日全量,就是每天存储一份完整的数据,作为一个分区
适用于数据量不大,且每天都会有新数据插入,也会有旧数据修改的场景。
比如:编码字典表,品牌表,商品三级分类、商品一级分数,活动参与商品表等
# 新增同步策略
每日新增及变化,就是存储创建时间和操作时间都是今天的数据
适用场景为,表的数据量大,即会有新添加,又会有变化,如用户表,订单表, 优惠卷领用表
每日增量,就是每天存储一份增量数据,作为一个分区。
适用于表数据量大,且每天只会有新数据插入的场景。例如:退单表、订单状 态表、支付流水表、订单详情表、活动与订单关联表、商品评论表。
# 新增及变化同步策略
每日新增及变化,就是存储创建时间和操作时间都是今天的数据。
适用场景为,表的数据量大,既会有新增,又会有变化例如:用户表、订单表、 优惠卷领用表。
# 特殊策略
某些特殊的维度表,可不必遵循上述同步策略。
- 客观世界维度
没变化的客观世界维度,比如性别,地区,民族,政治成分,可以只存一份固定值
- 日期维度
日期维度可以一次性导入一年或者若干年的数据
- 地区维度
省份表、地区表
# 业务数据导入 HDFS
# 表同步策略
在生产环境,个别小团队,为了简单处理,所有表全量导入。
中大型团队,由于数据量比较大,还是严格按照同步策略导入数据。
# 其它
- 略