Releases: alibaba/DataX
Releases · alibaba/DataX
datax_v202309
- 支持Phoenix 同步数据添加 where条件
- 支持华为 GuassDB读写插件
- 修复ClickReader 插件运行报错 Can't find bundle for base name
- 增加 DataX调试模块
- 修复 orc空文件报错问题
- 优化obwriter性能
- txtfilewriter 增加导出为insert语句功能支持
- HdfsReader/HdfsWriter 支持parquet读写能力
datax_v202308
- OTS 插件更新
- databend 插件更新
- Oceanbase驱动修复
datax_v202306
新增插件
neo4jWriter
clickhouseReader
优化插件、修复问题、精简代码
oceanbase、hdfs、databend、txtfile
datax_v202303
新增插件
- adbmysqlwriter
- databendwriter
- selectdbwriter
优化插件、修复问题
- sqlserver
- hdfs
- cassandra
- kudu
- oss
精简代码
fastjson 升级到 fastjson2
datax_v202210
涉及通道能力更新(OceanBase、TDengine、Doris等),具体如下:
1. 通道能力更新 @TrafalgarLuo @dingxiaobo @johnrobbet @zyyang-taosdata @hf200012
- OceanBase Reader
- 支持 OceanBase 4.x
- OceanBase Writer
- 支持 OceanBase 4.x
- 修复 OceanBase 写任务,4位版本号识别失败的问题
- TDengine Reader / TDengine Writer
- 更新
- Doris Writer
- 新增 Doris 写
2. 新增 Transformer 节点 @XuDaojie
- DigestTransformer
- 新增 Transformer 节点,支持 SHA1 MD5 摘要
datax_v202209
涉及通道能力更新(MaxCompute、DataHub、SLS、MySQL、OceanBase、StarRocks、ElasticSearch等)、通用打包更新等,具体如下:
1. 通道能力更新 @TrafalgarLuo @cuiliang16 @dingxiaobo @jtchen-study @LilyGuo @hffariel @johnrobbet
- MaxCompute Reader
- 修复分区获取不到问题
- MySQL Reader / MySQL Writer
- 升级可以连接8.0的驱动版本:mysql jdbc driver 5.1.46
- ElasticSearch Writer
- 支持 ElasticSearch 7.x 版本
- 新支持更多数据类型
- OceanBase Reader / OceanBase Writer
- 支持分区粒度的切分
- 适配 OceanBase 3.2.3.0版本
- StarRocks Reader / StarRocks Writer
- 新增 StarRocks Reader
- 新增 StarRocks Writer,参见 README
- DataHub Reader / DataHub Writer
- 新增 DataHub Reader
- 新增 DataHub Writer
- SLS Reader / DataHub Writer
- 新增 SLS Reader
- 新增 SLS Writer
2. 通用打包更新 @dingxiaobo
- fastjson 版本回退
- 打包时自动复制 properties 文件
- SQL Server驱动、Oracle驱动、DB2驱动、达梦驱动从本地引用改成中央仓库引用
datax_v202205
涉及通道能力更新(MaxCompute、Hologres、OSS、Tdengine等)、安全漏洞更新、通用打包更新等,具体如下:
1. 通道能力更新 @jtchen-study @TrafalgarLuo @ttqs5 @zyyang-taosdata
- MaxCompute Reader
- 支持MaxCompute 2.0 相关的数据同步,2.0相关类型参见 https://help.aliyun.com/document_detail/159541.html
- 支持STS Token认证模式,参见 https://help.aliyun.com/document_detail/72777.html
- 支持分区表达式配置语法以读取多个分区数据,比如 /query/ pt >1
- 如果是分区表,在分区不存在时可以支持任务不报错,即 successOnNoPartition 参数
- MaxCompute Writer
- 支持MaxCompute 2.0 相关的数据同步,2.0相关类型参见 https://help.aliyun.com/document_detail/159541.html
- 支持STS Token认证模式,参见 https://help.aliyun.com/document_detail/72777.html
- 支持前置执行sql,即preSql参数,可以在同步前执行MaxCompute SQL
- 支持后置执行sql,即postSql参数,可以在同步后执行MaxCompute SQL
- 解决一些特殊时间同步的问题,支持纳秒精度
- 支持动态分区写,即根据某一列数据动态将数据写到MaxCompute的不同分区中
- Hologres Writer
- 新插件,可以向 Hologres中写出数据,参考插件文档
- https://github.com/alibaba/DataX/blob/master/hologresjdbcwriter/doc/hologresjdbcwriter.md
- 感谢 @ttqs5 的贡献支持
- Tdengine Reader
- 新插件,可以读取 Tdengine 中的数据,参考插件文档
- https://github.com/alibaba/DataX/blob/master/tdenginereader/doc/tdenginereader-CN.md
- 感谢 @zyyang-taosdata 的贡献支持
- Tdengine Write
- 新插件,可以向 Tdengine 中写出数据,参考插件文档
- https://github.com/alibaba/DataX/blob/master/tdenginewriter/doc/tdenginewriter-CN.md
- 感谢 @zyyang-taosdata 的贡献支持
- OSS Reader
- 支持Parquet、Orc格式的文件读取
- OSS Writer
- 支持Parquet、Orc格式的文件写出
- 支持多并发写一个OSS文件,writeSingleObject参数
2. 通用能力更新 @TrafalgarLuo
- 解决打包中遇到的一些依赖无法获取的问题,比如tsdb-client
- 安全漏洞更新
- log4j 漏洞更新,将相关依赖升级到 2.17.1 版本
- fastjson 漏洞更新,升级到 1.2.49 版本
- postgresql 驱动漏洞更新,升级到 postgresql 42.3.3 版本