ACP数字中台

# 数仓建模

# 概述

进行电商数据仓库建模，进行多层次建模规划，以下为数据仓库建模愿景:

  • 访问性能：能够快速查询所需的数据，减少数据 I/O。
  • 数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。
  • 使用效率：改善用户应用体验，提高使用数据的效率。
  • 数据质量：改善数据统计口径的不一致性，减少数据计算错误的可能性，提供高质量的、一致的数据访问平台。

# 数仓建模

# ODS 层

进行 HDFS 用户行为数据和业务数据建模

  • 保持数据原貌不做任何修改,起到备份数据的作用。
  • 数据采用压缩,减少磁盘存储空间(例如:原始数据 100G,可以压缩到 10G 左右)
  • 创建分区表,防止后续的全表扫描
  • 创建分区表，防止后续的全表扫描， 在企业开发中大量使用分区表。
  • 创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景 都是创建外部表。

# DWD 层

用户行为数据分析操作为：

  • 对用户行为进行数据解析
  • 对核心数据进行判空过滤
  • 对业务数据采用维度模型重新建模

业务数据分析的操作主要为：

  • 业务数据方面 DWD 层的搭建主要注意点在于维度建模
  • 减少后续大量 Join 操作

DWD 层需构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。

维度建模一般按照以下四个步骤:

  • 选择业务过程
  • 声明粒度
  • 确认维度
  • 确认事实

# 选择业务过程

如果是中小团队,尽量把所有业务过程都选择。 如果是大团队（1000 多张表），选择和需求相关的业务线。

在业务系统中,挑选我们感兴趣的业务线,比如下单业务,支付业务,退款业务, 物流业务,一条业务线对应一张事实表。

# 声明粒度

数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。 声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以 此来应各种各样的需求。

典型的粒度声明如下： 订单事实表中一行数据表示的是一个订单中的一个商品项。 支付事实表中一行数据表示的是一个支付记录。

# 确定维度

维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。 确定维度的原则是：后续需求中是否要分析相关维度的指标。例如，需要统计，什么时 间下的订单多，哪个地区下的订单多，哪个用户下的订单多。需要确定的维度就包括：时间 维度、地区维度、用户维度。

# 确定事实

此处的"事实"一词，指的是业务中的度量值（次数、个数、件数、金额，可以进行累 加） ，例如订单金额、下单次数等。

在 DWD 层， 以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的 明细层事实表。事实表可做适当的宽表化处理。

事实表和维度表的关联比较灵活，但是为了应对更复杂的业务需求，可以将能关联上的 表尽量关联上。在业务表关系图中，只要两张表能通过中间表能够关联上，就说明能关联上。

序号 时间 用户 地区 商品 优惠券 活动 编码 度量值
1 订单 √ √ √ √ 件数/金额
2 订单详情 √ √ √ √ 件数/金额
3 支付 √ √ √ 金额
4 加购 √ √ √ 件数/金额
5 收藏 √ √ √ 个数
6 评价 √ √ √ 个数
7 退款 √ √ √ 件数/金额
8 优惠券领用 √ √ √ 个数

数据仓库的维度建模基本完成，DWD 层是以业务过程为驱动。

DWS 层、 DWT 层和 ADS 层都是以需求为驱动，和维度建模已没有关系

# DWS 层与 DWT 层

DWS 和 DWT 都是建宽表，按照主题去建表。主题相当于观察问题的角度。对应着维度表。

DWS 层和 DWT 层统称宽表层,这两层的设计思想大致相同,通过以下案例进行阐述。

  • 问题引出:两个需求,统计每个省份订单的个数、统计每个省份订单的总金额
  • 处理办法:都是将省份表和订单表进行 oin, group by 省份,然后计算同样数据被

计算了两次,实际上类似的场景还会更多。

避免重复计算:

针对上述场景,可以设计一张地区宽表,其主键为地区 ID,字段包含为:下单次数、下 单金额、支付次数、支付金额等。上述所有指标都统一进行计算,并将结果保存在该宽表中, 这样就能有效避免数据的重复计算。

# 总结:

  • 需要建哪些宽表:以维度为基准。
  • 宽表里面的字段:是站在不同维度的角度去看事实表,重点关注事实表聚合后的度量值。
  • DWS 和 DWT 层的区别:DWS 层存放的所有主题对象当天的汇总行为,例如每个地区当天的下单次数, 下单金额等,DWT 层存放的是所有主题对象的累积行为,例如每 个地区最近 7 天(15 天、30 天、60 天)的下单次数、下单金额等。

# ADS 层

ADS 层不涉及建模，建表根据具体需求而定。对电商系统各大主题指标分别进行分析

# 其它

  • 略

← 用户行为数据 →