摘要：
前言 ? PostgreSQL在9.x之后引入了主从的流复制机制，流复制同步方式有同步、异步两种 1.主从流复制介绍 在流复制中，三种类型的进程协同工作：1.主服务器上的walsender进程将WAL（预写日志）数据发送到备用服务器。2.备用服务器上的walreceiver进程接收并重放WAL数据。 阅读全文
摘要：
1.背景先说一下，为什么要使用 Flume + Kafka？ 以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可 阅读全文
摘要：
Offset Explorer（以前称为Kafka Tool）是一个用于管理和使用Apache Kafka®集群的GUI应用程序。 它提供了一个直观的界面，允许用户快速查看Kafka集群中的对象以及集群主题中存储的消息。 它包含面向开发人员和管理员的功能。 一些主要功能包括： 快速查看所有Kafka 阅读全文
摘要：
背景介绍 近来一套业务系统，从库一直处于延迟状态，无法追上主库，导致业务风险较大。从资源上看，从库的CPU、IO、网络使用率较低，不存在服务器压力过高导致回放慢的情况；从库开启了并行回放；在从库上执行show processlist看到没有回放线程阻塞，回放一直在持续；解析relay-log日志文件 阅读全文
摘要：
1、什么是主从延迟？ 本质是从库的回放跟不上主库，回放阶段的延迟 2、主从延迟常见的原因有哪些？ 1、大事务，从库回放时间较长，导致主从延迟 2、主库写入过于频繁，从库回放跟不上 3、参数配置不合理 4、主从硬件差异 5、网络延迟 6、表没有主键或者索引大量频繁的更新 7、一些读写分离的架构，从库的 阅读全文