增量刷新
无论是哪种类型的加载数据节点,都可以在该节点的属性面板中通过配置 增量刷新 实现对加载数据的动态选择,如下图所示:
一旦我们勾选这个属性,就可以看到如下图所示效果。
上图中数据加载是通过自定义 SQL 方式实现,在勾选 增量刷新 属性后,需要选择一个输入字段,这里系统会自动列出当前加载数据中数字和日期类型的字段名,我们根据需要从中选择一个字段。
接下来需要选择一个输出节点,如上图流程中已经定义了一个名为输出的节点,所以这里的下拉框中就会显示该节点名称,实际应用中如果有多个输出节点,还是要根据需要选择一个具体的输出节点;最后要选择的就是输出字段,这里的输出字段就是上面选择的输出节点中的输出字段,同样这里的输出字段只会罗列出对应输出节点中所有的数据和日期类型字段。
运行加载数据
在定义好增量刷新属性后,运行时系统会首先根据配置中指定的输出节点找到对应的节点对象,再找到这个输出节点要输出的具体表的表名,然后根据定义的输出字段名取这个表中该字段名对应值的最大值。如果输出字段是数据类型,取到输出字段的最大值就是一个数字,反之就是一个日期。
取到最大值后,将以这个最大值为参照,当前节点所有的加载数据会按照增量刷新中配置的输入字段与取到的最大值进行比较,所有小于或等于这个最大值的数据行将会被过滤掉,也就是不会被加载到数据流程中。
通过以上介绍我们明白了,在配置增量刷新属性时,输入字段和输出字段的数据类型必须要保持一致,如果输入字段选择是数字类型,相应的输出字段也应该是数字类型,否则在运行加载数据时不同类型的数据比较就会产生错误。