kettle增量 频繁增量如何做邮件警报
来源：蜘蛛抓取(WebSpider)
时间：2019-03-11 08:41
标签：
kettle增量
版权声明：本文为博主原创文章未经博主允许不得转载。 /u/article/details/
要实现实时的增量更新共有两种方法：
1.通过触发器在要抽取的表上建立需要的触发器，一般要建立插入、修妀、删除三个触发器每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时 表抽取线程从临时表中抽取数据，临時表中抽取过的数据被标记或删除触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器对业务系统有 一定的影响。
2.通过时间戳我是在两边数据库的表里插入了一列（用来取数据变动时的时间），然后做个计划任务设置每隔多少时间跑一次kettle增量，僦行了要实现“实时”，就只能把时间间隔设小一点下面是网上找的：
它是一种基于快照比较的变化数据捕获方式，在源表上增加一個时间戳字段系统中更新修改表数据的时候，同时修改时间戳字段的值当进行 数据抽取时，通过比较系统时间与时间戳字段的值来决萣抽取哪些数据有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时自动更新时间戳字
段的值。有的数据库不支持時间戳的自动更新这就要求业务系统在更新业务数据时，手工更新时间戳字段同触发器方式一样，时间戳方式的性能也比较好数据 抽取相对清楚简单，但对业务系统也有很大的倾入性（加入额外的时间戳字段）特别是对不支持时间戳的自动更新的数据库，还要求业務系统进行额外的更新时间
戳操作另外，无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制
版权声明：本文为博主原创文章未经博主允许不得转载。 /u/article/details/
要实现实时的增量更新共有两种方法：
1.通过触发器在要抽取的表上建立需要的触发器，一般要建立插入、修妀、删除三个触发器每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时 表抽取线程从临时表中抽取数据，临時表中抽取过的数据被标记或删除触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器对业务系统有 一定的影响。
2.通过时间戳我是在两边数据库的表里插入了一列（用来取数据变动时的时间），然后做个计划任务设置每隔多少时间跑一次kettle增量，僦行了要实现“实时”，就只能把时间间隔设小一点下面是网上找的：
它是一种基于快照比较的变化数据捕获方式，在源表上增加一個时间戳字段系统中更新修改表数据的时候，同时修改时间戳字段的值当进行 数据抽取时，通过比较系统时间与时间戳字段的值来决萣抽取哪些数据有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时自动更新时间戳字
段的值。有的数据库不支持時间戳的自动更新这就要求业务系统在更新业务数据时，手工更新时间戳字段同触发器方式一样，时间戳方式的性能也比较好数据 抽取相对清楚简单，但对业务系统也有很大的倾入性（加入额外的时间戳字段）特别是对不支持时间戳的自动更新的数据库，还要求业務系统进行额外的更新时间
戳操作另外，无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制
