2024年6月28日
hadoop04_MapReduce
摘要： MapReduce 模型 MapReduce 核心思想是移动任务而非移动数据 MapReduce 是a56爆大奖在线娱乐编程模型，对数据集执行 MAP 映射，然后对结果进行 Reduce 规约，适用于大规模数据集的并行计算。核心思想可以理解为分治法，数据固定不动，分派计算任务到不同计算节点计算。 模型介绍 MapR 阅读全文
posted @ 2024-06-28 20:00 Stitches 阅读(2) 评论(0) 推荐(0) 编辑
hadoop03_Yarn
摘要： Yarn Hadoop 1.x 中包括 HDFS、MapReduce，其中 MapReduce 既是计算框架又是资源管理框架，它的架构为主从架构。 JobTracker 作为主节点，接受客户端提交的作业 Job，然后为该 Job 在 TaskTracker 上分配资源，之后将 Job 拆分为 Tas 阅读全文
posted @ 2024-06-28 19:59 Stitches 阅读(1) 评论(0) 推荐(0) 编辑
2024年6月26日
hadoop00_大数据技术介绍
摘要： 生态架构 数据导入 离线方式处理的数据，需要通过 ETL 模块实现导入到大数据存储系统进行存储；其中 Sqoop 是常见的抽取结构化数据工具，而 Flume、LogStach 是用于抽取结构化、半结构化数据的工具。 数据存储 大数据的数据存储系统，最常见的包括分布式文件系统 HDFS；如果需要使用 阅读全文
posted @ 2024-06-26 20:19 Stitches 阅读(1) 评论(0) 推荐(0) 编辑
hadoop01_组成
摘要： Hadoop 不同版本的组成 MapReduce 模型 MapReduce 是a56爆大奖在线娱乐编程模型，对数据集执行 MAP 映射，然后对结果进行 Reduce 规约，适用于大规模数据集的并行计算。核心思想可以理解为分治法，数据固定不动，分派计算任务到不同计算节点计算。 模型介绍 MapReduce 适用场景： 阅读全文
posted @ 2024-06-26 20:19 Stitches 阅读(2) 评论(0) 推荐(0) 编辑
hadoop02_HDFS
摘要： HDFS HDFS全称Hadoop Distributed File System，Hadoop分布式文件系统。 HDFS 有以下缺点： 不适合低延迟的数据访问，因为数据存储到 HDFS 上，首先会切分为固定大小的数据块，然后对每块存储并进行多副本备份。读取数据时首先要从各个节点读取小数据块然后合并 阅读全文
posted @ 2024-06-26 20:19 Stitches 阅读(2) 评论(0) 推荐(0) 编辑
2024年6月14日
dubbo-spi
摘要： ExtensionLoader 获取扩展点原理 ExtensionLoader 容器作为 Dubbo 内部扩展点、成员变量等元素的加载容器。内部含有以下成员变量及其用途： // dubbo-spi 扫描的文件目录 private static final String SERVICES_DIRECT 阅读全文
posted @ 2024-06-14 15:42 Stitches 阅读(2) 评论(0) 推荐(0) 编辑
dubbo-架构
摘要： 总结构 注册中心 Dubbo 注册中心包括两个部分：存储介质（Zookeeper、Redis 等注册中心）、注册服务相关操作（注册服务、订阅服务）。 注册中心包含以下核心模块： Registry：注册中心抽象； RegistryFactory：注册中心工厂，初始化时创建 Registry； Dire 阅读全文
posted @ 2024-06-14 15:42 Stitches 阅读(1) 评论(0) 推荐(0) 编辑
dubbo-服务注册
摘要： Spring自定义标签过程 https://blog.csdn.net/zzg1229059735/article/details/82669955 https://juejin.cn/post/6968333542644252703 spring 自定义标签是一个强大的 Hook，核心组件只有 s 阅读全文
posted @ 2024-06-14 15:42 Stitches 阅读(2) 评论(0) 推荐(0) 编辑
2024年4月29日
深入理解分布式共识算法(一)——2pc_3pc
摘要： 分布式事务问题 通常单节点事务比较简单，Spring 提供的 @Transaction 注解能够实现。但是在分布式场景下，比如 ServiceA 调用 ServiceB、ServiceC，a56爆大奖在线娱乐服务分别操作各自的数据库，如果某个服务调用成功、另外一个调用失败，就会造成数据的不一致性，这就是分布式事务问 阅读全文
posted @ 2024-04-29 16:29 Stitches 阅读(21) 评论(0) 推荐(0) 编辑
2024年4月25日
k8s 入门
摘要： k8s 是什么？ k8s 介于应用和服务器之间，能够通过配置协调多个应用服务。使用者通过配置 yaml 文件来将多个服务自动部署应用到各个服务器上，实现服务的自动扩缩容，并且具有高可用性（某台机器上服务宕机后，自动在另外的服务器上部署应用）。 k8s 架构原理 k8s 整体分为控制平面和运行节点，控 阅读全文
posted @ 2024-04-25 13:38 Stitches 阅读(143) 评论(0) 推荐(0) 编辑
下一页