摘要: a56爆大奖在线娱乐整理自:袋鼠云技术荟 | SQL优化案例(2):OR条件优化 数栈是云原生—站式数据中台PaaS,a56爆大奖在线娱乐们在github上有一个有趣的开源项目:https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如My 阅读全文
posted @ 2021-04-07 10:24 袋鼠云数栈 阅读(203) 评论(0) 推荐(0) 编辑
摘要: ? 一、写在前面 早在2017年,数栈当时没有这么多子模块,只有【离线开发+实时开发】2个部分,a56爆大奖在线娱乐在导航设计上不存在问题,仅仅按照数据开发的通用设计逻辑即可。在2018年,增加了数据质量、数据API等几个模块,涵盖多个模块,整体的导航规划就变得很重要,搞得好的话,增加新的模块,可以继承现有的设计, 阅读全文
posted @ 2021-04-06 11:01 袋鼠云数栈 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 一、问题背景 某日袋鼠云运维小哥进行例行运维巡检,通过监控视图发现客户应用服务器cpu使用率突然呈上升趋势。通过专属服务群第一时间与业务方联系,与业务方确认是否有正在执行的定时任务,或者大范围拉取账单等业务操作。然而仔细分析了业务日志后,确认当时业务上并没有进行会消耗大量计算资源和网络资源的操作。 阅读全文
posted @ 2021-04-02 14:29 袋鼠云数栈 阅读(170) 评论(0) 推荐(0) 编辑
摘要: Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。 阅读全文
posted @ 2021-04-01 10:40 袋鼠云数栈 阅读(179) 评论(0) 推荐(0) 编辑
摘要: ? a56爆大奖在线娱乐将带领大家解析babel-plugin-import 实现按需加载的完整流程,解开业界所认可 babel 插件的面纱。 首先供上babel-plugin-import插件 一、初见萌芽 首先 babel-plugin-import 是为了解决在打包过程中把项目中引用到的外部组件或功能库全量打 阅读全文
posted @ 2021-03-31 18:29 袋鼠云数栈 阅读(216) 评论(0) 推荐(0) 编辑
摘要: ? a56爆大奖在线娱乐将带领大家解析babel-plugin-import 实现按需加载的完整流程,解开业界所认可 babel 插件的面纱。 首先供上babel-plugin-import插件 一、初见萌芽 首先 babel-plugin-import 是为了解决在打包过程中把项目中引用到的外部组件或功能库全量打 阅读全文
posted @ 2021-03-31 18:25 袋鼠云数栈 阅读(262) 评论(0) 推荐(0) 编辑
摘要: 公交车伴随着a56爆大奖在线娱乐们的日常生活已是随处可见,不同路线的公交车根据各自的时间表有序发出,到达站点,接上站台的乘客再缓缓驶向下一站……早高峰会有短区间的加班车,发车间隔也更短,夜半时分的班次则间隔更长。这一切都服从于公交总站的调度。在大数据平台中,也会有各式各样的任务需要按照一定的时间间隔和先后顺序有序进行 阅读全文
posted @ 2021-03-31 11:24 袋鼠云数栈 阅读(1229) 评论(0) 推荐(0) 编辑
摘要: 一、什么是FlinkX FlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾),并维护该开源社区。目前已完成批流统一,离线计算与流计算的数据同 阅读全文
posted @ 2021-03-30 19:15 袋鼠云数栈 阅读(468) 评论(0) 推荐(0) 编辑
摘要: 一、RDB模块介绍与演示针对关系型数据库,FlinkX-RDB封装了基于JDBC规范的查询与插入等公共操作,各个数据源可通过继承FlinkX-RDB模块实现各自逻辑,目前已支持绝大部分市面上的RDB数据源: MySQL Oracle SqlServer PostgreSQL Db2 DM Gbase 阅读全文
posted @ 2021-03-29 17:43 袋鼠云数栈 阅读(322) 评论(0) 推荐(0) 编辑
摘要: FlinkX-Oracle Logminer模块是FlinkX基于Logminer对Oracle重做日志进行实时采集分析,可对Oracle进行实时同步也可以通过指定SCN或者时间戳从某个节点进行同步,同时通过记录SCN号支持续跑功能。 一、Logminer介绍与使用 Logminer是Oracle公 阅读全文
posted @ 2021-03-17 17:59 袋鼠云数栈 阅读(102) 评论(0) 推荐(0) 编辑