小 T 導(dǎo)讀：DataX 是由阿里云開源的離線數(shù)據(jù)同步工具/平臺，目前已經(jīng)支持多種主流異構(gòu)數(shù)據(jù)源在內(nèi)的高效的數(shù)據(jù)互相同步功能。我們的研發(fā)團隊完成了 TDengine 的適配，相關(guān)代碼已被 DataX 官方接受并合并到主干中。

DataX 是由阿里云開源的離線數(shù)據(jù)同步工具/平臺，目前已經(jīng)實現(xiàn)了包括 MySQL、Oracle、OceanBase、SQL Server、PostgreSQL、HDFS、Hive、HBase 等多種異構(gòu)數(shù)據(jù)源在內(nèi)的高效的數(shù)據(jù)互相同步功能。

DataX 的設(shè)計思路是：

DataX 本身作為數(shù)據(jù)同步框架，將不同數(shù)據(jù)源的同步抽象為從數(shù)據(jù)源讀取數(shù)據(jù)的 Reader 插件，以及向目標(biāo)端寫入數(shù)據(jù)的 Writer 插件，理論上 DataX 框架可以支持任意數(shù)據(jù)源類型的數(shù)據(jù)同步工作。同時 DataX 插件體系作為一套生態(tài)系統(tǒng)，每接入一套新數(shù)據(jù)源，就可以實現(xiàn)該數(shù)據(jù)源和現(xiàn)有數(shù)據(jù)源的互通。

基于該設(shè)計思路，我們的研發(fā)團隊完成了 TDengine 的適配，實現(xiàn)了 TDengineReader 和 TDengineWriter 兩個插件，并被 DataX 官方接受，合并到了其主干中。

TDengineReader 提供的功能包括：

1. 支持通過 SQL 進行數(shù)據(jù)篩選；
2. 根據(jù)時間間隔進行任務(wù)切分；
3. 支持 TDengine 的全部數(shù)據(jù)類型；
4. 支持批量讀取，可以通過 batchSize 參數(shù)控制批量拉取結(jié)果集的大小，從而提高讀取性能。

TDengineWriter 支持的功能包括：

1. 支持 OpenTSDB 的 json 格式的行協(xié)議，可以使用 TDengine 的 Schemaless 方式寫入 TDengine。
2. 支持批量寫入，可以通過 batchSize 參數(shù)控制批量寫入的數(shù)量，從而提高寫入性能。

目前 TDengine 已經(jīng)加入 DataX 正式支持的數(shù)據(jù)庫列表中。

現(xiàn)在，如果用戶要將歷史 Database（比如 MySQL、OpenTSDB 等）中的數(shù)據(jù)遷移到 TDengine，或者將 TDengine 中的數(shù)據(jù)導(dǎo)出，就可以利用 DataX 來實現(xiàn)了。

更多使用細(xì)節(jié)，可以參考“基于 DataX 的 TDengine 數(shù)據(jù)遷移工具”一文。

基于 DataX 的 TDengineWriter 和 TDengineReader 的實現(xiàn)和最新動態(tài)，請關(guān)注：https://github.com/taosdata/DataX