支持业务系统数据、互联网数据、物联网数据、空间地理数据、非结构化数据采集(视频、音频、图像、文件…)、日志类数据等多种数据接入场景。提供批流一体的数据迁移/同步、数据交换平台、ETL、网络爬取、区块链等满足不同场景需要的接入手段。
数据存储依据加工流程,划分为ODS、MDS、ADS三层,对应于原始细节数据、中间加工数据、数据仓库以及最终面向业务领域的主题数据,各层均可按需组织数据,采用物理或逻辑隔离,通过数据迁移工具自动完成各存储之间的数据同步。
支持数据处理流程的任务编排与调度,通过DAG图的方式编排、配置数据加工过程,从而支撑复杂的数据作业场景。支持数据处理流程的运行调度与监控,提供多种任务触发机制,支持以甘特图、流程图的形式展示任务运行状况。
关系型数据库,如MySQL、Oracle、SQL Server、PostgreSQL等
NoSQL数据库,如MongoDB、Spark SQL、Druid、ClickHouse等
支持配置规则、模式匹配、算法、ETL工具等多种方式进行数据清洗、加工计算、数据脱敏工作,可高效快速的完成各类数据处理任务。
支持元数据、主数据管理,提供数仓建模工具,并通过表级、字段级质量监控与分析以及智能化的数据血缘关系图谱,帮助用户全面进行数据治理工作。
以数据地图、资源目录、资源视图等形式从业务、数据、存储等多角度可视化的展示数据资产,并通过价值分析与生命周期统计帮助用户洞察数据资产的使用情况。
双引擎数据迁移更高效,两个引擎可以自由切换,确保不同量级数据量下的高效数据迁移。支持并发迁移,支持实时流数据迁移。
完整记录数据的全生命周期,覆盖数据接入、数据加工处理、数据发布、数据销毁的全过程。
支持数据处理过程的自动解析,可自动跟踪数据生命周期全过程,根据数据处理过程中的SQL操作,自动解析并生成完整的数据血缘关系。
基于元数据描述配置的数据查询服务,屏蔽底层物理存储结构,快速实现数据使用需求。提供不同数据存储的适配,用户无需关心不同存储的数据查询语句,降低数据使用难度。
通过图形化的界面轻松搭建专业水准的可视化应用,能够把不同类型的数据以直观多样的方式呈现出来,满足成果展示、业务监控、风险预警、地理信息分析等多种业务的展示需求。