数据总线架构

概述

数据采集总线可以理解为一个水平采集数据的中间件，负责从不同类型不同种类的应用、终端、数据文件、数据库中收集数据

本内容你将获得

• 数据采集总线的架构设计
• 使用场景

架构

数据采集总线提供公共的采集数据接口，便于客户将各种数据发送到数据采集总线， 是数据治理中的重要一环

以下为架构设计：

架构说明 :

• 数据采集总线封装了消息的统一管理能力，包括接收消息接口、统计、记录和重发失败消息等，规避消息的复杂度
• 接收多种消息能力
• 应用、APP等发送消息到数据采集总线后，提供给多个消费者使用数据，提取出有用的信息

使用场景

数据采集总线在大数据应用场景下具有广泛的应用，常见的场景包括：

• 收集历史数据： 用户将多种异构数据，包括历史访问日志、消息、数据库、文件等发送到数据采集总线
• 收集实时数据： 用户将各个应用、APP等产生的消息实时发送到数据采集总线
• 统一存储： 原始数据可能分布在多个节点上，数据采集总线可以将数据传输、存储到统一的数据服务器上
• 消息队列中间件： 用于搭建消息队列中间件，实现系统间的异步消息通信，从而提高系统整体的可扩展性和可维护性
• 应用接入： 应用程序可以通过数据采集总线获得最新的数据，经过处理得到最新的结果，以便实时监控和调整应用程序行为

其它

• 无