声明:个人整理记录,不一定对。随笔整理。

官网:https://www.aliyun.com/product/bigdata/ide?spm=5176.10695662.1131173.1.4da72bf7XdIF0T

DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS平台产品,为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。

DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等,并且支持用户自定义接入计算和存储服务。DataWorks为您提供全链路智能大数据及AI开发和治理服务。

您可以使用DataWorks,对数据进行传输、转换和集成等操作,从不同的数据存储引入数据,并进行转化和开发,最后将处理好的数据同步至其它数据系统。

解剖:

数据仓库工具:        maxCompute-> hive
是一个分布式的数据库: odps->       HBase
实时计算:           flink->      storm
文件系统:           () -> Hadoop分布式文件系统(HDFS)
E-MapReduce->MapReduce(用于大规模数据的并行运算的一种编程模型。概念"Map(映射)"和"Reduce(归约)")

Logo

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐