业务架构设计

概述

根据一定的业务场景需求，从整体业务架构从数据采集，到数据计算分析， 到数据产出整体流程进行了规划和设计。

业务架构设计

系统架构设计图

架构说明

整体架构从左到右，从上到下进行业务场景阐述，进行说明：

• 数据通过 nginx 采集用户访问数据，同时通过 sqoop 采集导入到 hdfs 中；
• 应用过程的数据通过应用埋点进行数据采集，同时将数据发送到 kafka 中间件
• Kafka 通过应用消费，导入到 hdfs，hive 中
• 实时数据指标采集，通过 flink 进行实时计算，并将指标计算结果，同步到 hbase 中
• 实时计算的原始数据，同步返回 hive，进行原始数据采集，以上进行原始数据采集
• 整体的数据分析通过 hive 进行数据规范分层处理，即 odw/dwd/dws/dwt/ads
• 数据计算通过 spark 进行离线计算，将计算结果存储到结构化数据中，用于应用数据展示
• 数据展示包括 echarts、superset 等进行展示
• 数据分析展示使用 druid、kylin 等进行多维度的展示分析

核心功能

• 通过数据总线(kafka)提供多租户的数据接入和采集
• 离线计算分析出结果
• 实时计算分析出结果
• 指标采集和数据分析
• 数据开放平台和数据接口

其它

• 略