数据治理服务中台

简介

教育大数据已经上升到国家战略层面,确立教育大数据在我国教育事业发展与改革中的战略地位已是国家教育现代化建设的必然要求。该方案提供教育大数据的全生命周期闭环,覆盖数据接入与存储、数据治理与资产管理、数据应用服务的全方位支撑,包括多源异构数据接入、数据迁移同步、数据清洗加工、数据仓库建模、数据治理、质量控制、数据资产管理、数据安全、应用服务等诸多功能,具备一体化、全流程、高性能、自动化、贯穿数据全生命周期等特点,可广泛应用于政府、高校及企事业单位的数据中心建设。

平台特色

完整记录数据的全生命周期,覆盖数据接入、元数据、数据加工、数据挖掘、数据质量、数据可视化、数据发布、数据销毁全过程。

产品特色

丰富的数据接入手段

支持业务系统数据、互联网数据、物联网数据、空间地理数据、非结构化数据采集(视频、音频、图像、文件…)、日志类数据等多种数据接入场景。提供批流一体的数据迁移/同步、数据交换平台、ETL、网络爬取、区块链等满足不同场景需要的接入手段。

面向使用的存储划分

数据存储依据加工流程,划分为ODS、MDS、ADS三层,对应于原始细节数据、中间加工数据、数据仓库以及最终面向业务领域的主题数据,各层均可按需组织数据,采用物理或逻辑隔离,通过数据迁移工具自动完成各存储之间的数据同步。

强大的数据处理编排调度能力

支持数据处理流程的任务编排与调度,通过DAG图的方式编排、配置数据加工过程,从而支撑复杂的数据作业场景。支持数据处理流程的运行调度与监控,提供多种任务触发机制,支持以甘特图、流程图的形式展示任务运行状况。

支持连接多种主流的数据源,包括:

关系型数据库,如MySQL、Oracle、SQL Server、PostgreSQL等
NoSQL数据库,如MongoDB、Spark SQL、Druid、ClickHouse等

高效数据处理

支持配置规则、模式匹配、算法、ETL工具等多种方式进行数据清洗、加工计算、数据脱敏工作,可高效快速的完成各类数据处理任务。

全面数据治理

支持元数据、主数据管理,提供数仓建模工具,并通过表级、字段级质量监控与分析以及智能化的数据血缘关系图谱,帮助用户全面进行数据治理工作。

可视数据资产管理

以数据地图、资源目录、资源视图等形式从业务、数据、存储等多角度可视化的展示数据资产,并通过价值分析与生命周期统计帮助用户洞察数据资产的使用情况。

批流一体大数据同步迁移

双引擎数据迁移更高效,两个引擎可以自由切换,确保不同量级数据量下的高效数据迁移。支持并发迁移,支持实时流数据迁移。

数据处理的全过程跟踪分析

完整记录数据的全生命周期,覆盖数据接入、数据加工处理、数据发布、数据销毁的全过程。

智能数据血缘关系分析

支持数据处理过程的自动解析,可自动跟踪数据生命周期全过程,根据数据处理过程中的SQL操作,自动解析并生成完整的数据血缘关系。

方便快捷的装配数据服务

基于元数据描述配置的数据查询服务,屏蔽底层物理存储结构,快速实现数据使用需求。提供不同数据存储的适配,用户无需关心不同存储的数据查询语句,降低数据使用难度。

数据展示:大屏可视化工具

通过图形化的界面轻松搭建专业水准的可视化应用,能够把不同类型的数据以直观多样的方式呈现出来,满足成果展示、业务监控、风险预警、地理信息分析等多种业务的展示需求。

联系我们
TOP