kettle 写入效率提升优化！

数据处理逻辑

ktt从多表获取数据进行过滤分析，然后汇总处理，同步写入mycat分片表和对应的mysq数据库。 MYSQ配置以及调优，如果没有，建议参考此文档调整，数据库调优文档

初始写入效率

可以看到，数据处理效率很快，瓶颈在写入效率很低

优化写入

增加数据库链接参数

useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true

调整kettle 表出入为仅插入，减少查询

1. 旧节点：

1. 新节点：

• 开启批量插入，批次为1000，可以根据自行调节找到合适的数值

  优化ktr 执行之前截断写入的物理表和分片表

优化结果

• 写入速度从205/s 提升到 4000+/s,巨大提升！