# 同步策略

# 概述

数据同步策略的类型包括:全量表、增量表、新增及变化表、特殊表

  • 全量表:存储完整的数据
  • 增量表:存储新增加的数据
  • 新增及变化表:存储新增加的数据和变化的数据
  • 特殊表:只需要存储一次

# 策略详解

# 全量同步策略

每日全量,就是每天存储一份完整的数据,作为一个分区

适用于数据量不大,且每天都会有新数据插入,也会有旧数据修改的场景。

比如:编码字典表,品牌表,商品三级分类、商品一级分数,活动参与商品表等

# 新增同步策略

每日新增及变化,就是存储创建时间和操作时间都是今天的数据

适用场景为,表的数据量大,即会有新添加,又会有变化,如用户表,订单表, 优惠卷领用表

每日增量,就是每天存储一份增量数据,作为一个分区。

适用于表数据量大,且每天只会有新数据插入的场景。例如:退单表、订单状 态表、支付流水表、订单详情表、活动与订单关联表、商品评论表。

# 新增及变化同步策略

每日新增及变化,就是存储创建时间和操作时间都是今天的数据。

适用场景为,表的数据量大,既会有新增,又会有变化例如:用户表、订单表、 优惠卷领用表。

# 特殊策略

某些特殊的维度表,可不必遵循上述同步策略。

  • 客观世界维度

没变化的客观世界维度,比如性别,地区,民族,政治成分,可以只存一份固定值

  • 日期维度

日期维度可以一次性导入一年或者若干年的数据

  • 地区维度

省份表、地区表

# 业务数据导入 HDFS

# 表同步策略

在生产环境,个别小团队,为了简单处理,所有表全量导入。

中大型团队,由于数据量比较大,还是严格按照同步策略导入数据。

# 其它