一、概论
1.1 什么是DataX
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。
1.2 DataX 的设计
为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到 DataX，便能跟已有的数据源做到无缝数据同步。
文章来源：https://www.toymoban.com/news/detail-717439.html
1.3 框架设计
文章来源地址https://www.toymoban.com/news/detail-717439.html
- Reader：数据采集模块，负责采集数据源的数据，将数据发给Framework。
- Wiriter: 数据写入模块，负责不断向Framwork取数据，并将数据写入到目的端。
- Framework:用于连接read和writer,作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
运行原理
- Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。
- Task：由Job切分而来，是DataX作业的最小单元，每个Task负责一部分数据的同步工作。
- Schedule：将Task组成TaskGroup，单个TaskGroup的并发数量为5。
- TaskGroup：负责启动Task。
1.4 Datax所支持的渠道
| 类型 | 数据源 | 读者 | 作家（写） | 文件 |
|---|---|---|---|---|
| RDBMS关系型数据库 | MySQL | √ | √ | 读，写 |
| 甲骨文 | √ | √ | 读，写 | |
| SQL服务器 | √ | √ | 读，写 | |
| PostgreSQL的 | √ | √ | 读，写 | |
| DRDS | √ | √ | 读，写 | |
| 通用RDBMS（支持所有关系型数据库） | √ | √ |
1.1 什么是DataX
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。
1.2 DataX 的设计
为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到 DataX，便能跟已有的数据源做到无缝数据同步。
1.3 框架设计
- Reader：数据采集模块，负责采集数据源的数据，将数据发给Framework。
- Wiriter: 数据写入模块，负责不断向Framwork取数据，并将数据写入到目的端。
- Framework:用于连接read和writer,作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
运行原理 - Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。
- Task：由Job切分而来，是DataX作业的最小单元，每个Task负责一部分数据的同步工作。
- Schedule：将Task组成TaskGroup，单个TaskGroup的并发数量为5。
- TaskGroup：负责启动Task。
1.4 Datax所支持的渠道
| 类型 | 数据源 | 读者 | 作家（写） | 文件 |
|---|---|---|---|---|
| RDBMS关系型数据库 | MySQL | √ | √ | 读，写 |
| 甲骨文 | √ | √ | 读，写 | |
| SQL服务器 | √ | √ | 读，写 | |
| PostgreSQL的 | √ | √ | 读，写 | |
| DRDS | √ | √ | 读，写 | |
| 通用RDBMS（支持所有关系型数据库） | √ | √ |
到了这里，关于使用DataX实现mysql与hive数据互相导入导出的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
