# 数据计算输出
# 概述
案件管理系统在采集web前端操作记录和nginx服务器日志、抽取业务系统的数据到数据仓库后，数据开发工程师将在数据开发服务平台对数据进行统计分析，从海量的数据中提炼出数据并同步到mysql数据库，提供数据给下游数据需求部门
# 针对人员
- 数据开发工程师
- 产品经理
- 需求分析工程师
# 本内容你将获得
- 如何从前端数据获取到案例管理系统前端指标
- 如何将业务数据获取到案例管理系统业务指标
# 数据计算流程
这里是从数据仓库里面进行数据计算:
- 数据建模: 数据源分析、业务指标分析、抽取业务数据
- 数据计算：算法分析、数据开发
- 数据输出：指标数据输出、ADS层数据层输出
# 前端数据计算
在采集了web前端操作记录、nginx服务器日志后，根据需求分析工程师列出的数据需求模型，数据开发工程师进行数据开发计算，提取出会话统计信息表、应用系统会话信息表等数据
# 数据源模型
前端数据源如下:
- web前端操作记录表
- nginx服务器日志表
# 结果数据模型
- 会话统计信息表_天
- 应用系统会话信息表_天
# 数据计算
根据nginx服务器日志开发出的工作流，将数据开发算法部署到数据开发服务，根据web前端操作信息开发的工作流：
 |  |
# 业务指标
在业务数据抽取入仓后，根据需求分析工程师列出的数据需求模型，数据开发工程师进行数据开发计算，提取出案件信息统计表、部门处理案件信息统计表、每天新增案件及处理情况统计表、每天新增案件性质分布统计表等数据
# 数据源模型
- 案件表
- 案件办理过程表
- 案件办理部门
# 结果数据模型
- 案件信息统计表_天
- 部门处理案件信息统计表_天
- 每天新增案件及处理情况统计表_天
- 每天新增案件性质分布统计表_天
# 数据计算
将数据开发算法部署到数据开发服务平台，生成的工作流如下:
 |  |
# 数据输出
在数据主题计算出来之后，根据业务需求，输出数据到ADS层
在数据开发服务开发的工作流中，数据写入每个模型后，新增一个子任务，调用sqoop将数据同步到mysql数据表
子任务的部署信息如下：
 |
数据ads层查询展示：
以下为前端PV维度的展示
mysql> select visitor_date,appid,device_id,pv,access_time,access_depth,event_cnt from dwb_app_info limit 10 ;
+--------------+----------+--------------------------------------+-----+-------------+--------------+-----------+
| visitor_date | appid | device_id | pv | access_time | access_depth | event_cnt |
+--------------+----------+--------------------------------------+-----+-------------+--------------+-----------+
| 2021-10-28 | 案件管理 | 0025cbb0-569b-11ed-b112-9f66759a6dfd | 360 | 2786 | 8 | 360 |
| 2021-11-02 | 案件管理 | 42d2a150-5a5a-11ed-9d02-055b6156c3a9 | 27 | 6750 | 4 | 27 |
| 2021-11-02 | 案件管理 | 57e33290-5a59-11ed-b555-e55feddc092a | 18 | 393 | 9 | 18 |
| 2021-11-02 | 案件管理 | 96bacd80-5a58-11ed-b2cd-4f7c8be3f758 | 8 | 323 | 4 | 8 |
| 2021-11-02 | 案件管理 | 08f6efd0-5a83-11ed-9828-a1b9d7835928 | 11 | 34 | 3 | 11 |
| 2021-11-02 | 案件管理 | c9094240-5a89-11ed-89d6-6b987d29adee | 330 | 1583 | 12 | 330 |
| 2021-10-31 | 案件管理 | 19b6fc50-58b9-11ed-b608-d9519dc955eb | 60 | 8127 | 6 | 60 |
| 2021-10-31 | 案件管理 | ba4f4530-5901-11ed-96d7-db81f05a62b7 | 162 | 12370 | 8 | 162 |
| 2021-11-02 | 案件管理 | 64dea720-5a6a-11ed-b5e8-af6e04f4aa84 | 497 | 10582 | 9 | 497 |
| 2021-11-02 | 案件管理 | df73e710-5a4d-11ed-a974-e5e8c92b41a8 | 39 | 4602 | 8 | 39 |
+--------------+----------+--------------------------------------+-----+-------------+--------------+-----------+
10 rows in set (0.09 sec)
# 其它
- 无