苍穹系统直连第三方数据库,第三方视图数据量非常大如何使用服务流程进行集成原创
4人赞赏了该文章
635次浏览
编辑于2023年09月01日 21:23:45
问题:第三方系统视图(表)数据量大,如何使用服务流程进行数据集成,既支持增量集成,又可支持数据初始化(大数据通常采用数据迁移)
问题思路分析:直连第三方数据库时,采用分页查询获取数据,循环进行数据处理
实施步骤:
1、二开单据对应第三方视图查询字段(或创建后台表)
2、集成对象类型选择视图,视图配置查询第三方数据库SQL或者视图
3、集成对象类型选择实体,数据表选择二开或脚本创建的表
4、配置数据集成方案,并创建启动方案,将第三方系统数据集成至二开单据(数据库后台表)
5、服务流程编排
入参变量:用于控制全量或者特定获取时间段数据
核心变量:PAGE_SIZE,PAGE_OFFSET,PAGE_ROWS 用于控制查询分页条数及循环查询控制
通过控制START_DATE,END_DATE 可获取特定时间短数据,配合核心变量可达成增量或全量数据获取
节点说明:
a、编写分页查询获取二开单据表数据SQL语句,执行获取分页结果
b、数据递增统计,当次查询数据条数赋值变量PAGE_ROWS
c、脚本处理组装标准API结构报文,判断获取数据PAGE_ROWS与设置分页条数PAGE_SIZE进行PAGE_OFFSET递增处理,继续执行下一次循环
ps:可以不采1、2、3、4步骤通过集成对象集成数据留底的方式实现,直接采用第5步服务流程,通过数据脚本查询第三方数据获取数据,示例列举方式可避免服务流程循环过程记录日志信息不全问题,且数据留底可用于后续运维
赞 4
4人点赞
还没有人点赞,快来当第一个点赞的人吧!
打赏
0人打赏
还没有人打赏,快来当第一个打赏的人吧!
推荐阅读
您的鼓励与嘉奖将成为创作者们前进的动力,如果觉得本文还不错,可以给予作者创作打赏哦!
请选择打赏金币数 *
10金币20金币30金币40金币50金币60金币
可用金币: 0