摘要：
在什么情况下更适合使用HTML IMG标签来显示一个图像,而不是一个CSS有背景图像,反之亦然?如下场景使用img标签比较合适：1、如果图像是等内容的一部分或图表或人(真正的人,而不是股票图人)，使用Img标签加上alt属性。2、如果你想打印页面并且你想要的图像包括默认情况下使用IMG。3、使用IM... 阅读全文
摘要：
场景：kettle调用http接口获取数据（由于数据量比较大，鉴于网络和性能考虑，a56爆大奖在线娱乐接口是个分页接口）。 方案：构造页码list，然后循环调用接口。 1、总体设计 1）、初始化分页参数pageNum=1,pageSize=20，这里的pageSize可以根据自己的需求自行调整，比如每次从接口取数1 阅读全文
摘要：
场景：群里有个小伙伴在使用http post步骤调用接口时遇到问题，postman调用正常，但是kettle中调用异常。 解决方案：既然postman调用接口正常，肯定是http post步骤中某些参数设置的不正确导致的。那就把常用的方式都梳理下，搞定它。 1、http post请求参数放到body 阅读全文
摘要：
场景： kettle中http post步骤如何发送http请求且传递body参数？ 解决方案： http post步骤中直接设置Request entity field字段即可。 1、手边没有现成的post接口，索性用python搭建一个简单的接口，关键代码如下（安装python环境略）： fro 阅读全文
摘要：
场景：输入在指定的错误(错误应涵盖数据类型不匹配的情况)行数内，trans不报错，但通过错误处理步骤捕捉，并记入文件，整个数据管线正常完成直至处理完最后一个输入行。 解决方案：使用步骤【数据检验】进行处理。这个步骤和常规的业务系统对接三方接口一个逻辑，将符合规则的数据放行，不符合的记录。 数据准备（ 阅读全文
摘要：
1、之前kettle cdc mysql的时候使用的方案是canal+kafka+kettle，今天a56爆大奖在线娱乐们一起学习下使用kettle的插件Debezium直接cdc mysql。 注：CDC (Change Data Capture) 是a56爆大奖在线娱乐技术，用于捕获和同步数据库中的更改。 1）Debezium步 阅读全文
摘要：
1、在做ETL数据抽取的时候，会用到生成随机数的功能，今天a56爆大奖在线娱乐们一起来学习下如何生成随机数据。如下图所示 2、将生成随机数拉倒画布即可，然后设置字段名称和选择合适的类型，如下图所示： 类型： 随机数字：生成一个介于 0 和 1 之间的随机数随机整数：生成一个随机的 32-bit整数随机字符串：基于 6 阅读全文
摘要：
场景：ETL沟通交流群内有小伙伴反馈，如何多个分支处理完毕之后记录下同步结果呢？或者是调用后续步骤、存储过程、三方接口等。 解决：使用步骤Blocking step进行阻塞处理即可。 1、 如下流程图中利用Blocking step步骤同时阻塞【模拟表输出1】和【模拟表输出2】两个步骤，只有当两个步 阅读全文
摘要：
场景：ETL沟通交流群内有小伙伴反馈，如何在同步一批数据完成之后记录下同步结果呢？或者是调用后续步骤、存储过程、三方接口等。 解决：使用步骤Blocking step进行阻塞处理即可。 1、下面的demo演示从表t1同步数据至表t2（t1表中有三条数据，t2为空表，两个表表结构相同），然后数据同步完 阅读全文
摘要：
1、调整JVM大小 linux文件路径：data-integration/spoon.sh windows路径： -Xms1024m：设置JVM初始内存为1024m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。 -Xmx2048m：设置JVM最大可用内存为2048M。 - 阅读全文
摘要：
本次课程的逻辑是同步t1表数据到t2表，t1和t2表的表机构相同，都有id，name,createtime三个字段。 CREATE TABLE `t1` ( `id` bigint NOT NULL AUTO_INCREMENT, `name` varchar(10) CHARACTER SET u 阅读全文