分布式标签_松山湖开发者村综合服务平台

分布式

【大数据存储与管理】分布式数据库HBase：06 HBase编程实践

本文讲解HBase编程实践。HBase需按顺序启动，Java API可实现建表、插入和查询。以学生成绩表为例，通过init建立连接，createTable创建表，insertData添加数据，getData浏览数据，代码简洁易用。

Francek Chen
2026-04-01 23:03:41

 618

 11

#大数据 #分布式 #数据库 +2
突破单表局限：Doris 跨表 Join 技术详解与性能优化指南

分析订单时，你需要关联用户表获取用户画像计算转化率时，你需要 Join曝光表和点击表生成报表时，你需要连接事实表和多个维度表跨表 Join 是数据分析的核心能力，也是性能优化的最大挑战。查询从秒级变成分钟级网络传输暴涨，拖垮整个集群数据倾斜导致某些节点成为"热点"Doris 提供了多种 Join 策略，每种都有独特的适用场景。今天，我们从策略原理到实战优化，完整拆解 Doris 的跨表 Join

Seal^_^
2026-03-31 10:58:47

 2892

 49

#性能优化 #大数据 #分布式 +1
【大数据存储与管理】分布式数据库HBase：05 HBase运行机制

本文讲解HBase运行机制。HBase架构清晰，Region服务器是关键。Store含内存缓存与磁盘文件，读写操作依赖二者。HLog保障系统容错，故障时借助其与Zookeeper实现数据恢复。

Francek Chen
2026-03-19 22:21:42

 2032

 41

#大数据 #分布式 #数据库 +3
【大数据存储与管理】分布式数据库HBase：04 HBase的实现原理

本文讲解HBase的实现原理。HBase功能组件协同工作，表分区成Region分布存储。三层定位结构保障数据查找，客户端缓存提升效率，且能自动处理缓存失效，整体设计使Master负载降低。

Francek Chen
2026-03-16 09:00:00

 695

 32

#大数据 #分布式 #数据库 +2
OpenClaw（养龙虾） +关于Hadoop hive的Skills（CLoudera CDH、CDP）

摘要：OpenClaw生态未内置Hadoop/Hive专用技能，因其企业级特性难以通用化。建议通过组合基础技能实现操作：1）使用tmux/session-logs管理长时任务；2）通过shell/exec执行HDFS/YARN/Hive命令；3）利用github/file-manager管理脚本文件。可串联成工作流或开发CustomSkill封装常用操作，但需注意安全风险，避免使用第三方技能，采用

 yumgpkpm
2026-03-16 18:53:59

 2962

 17

#hadoop #hive #大数据 +4
Kafka Producer 与 Consumer 深度解析：消息生产与消费的完整旅程

角色定义主要职责Producer（生产者）向 Kafka 主题发布消息的应用程序创建消息、序列化、选择分区、发送到 BrokerConsumer（消费者）从 Kafka 主题订阅并处理消息的应用程序订阅主题、拉取消息、处理数据、提交偏移量维度ProducerConsumer核心任务发布消息到 Topic从 Topic 订阅消息关键机制分区器、批处理、重试消费者组、偏移量、重平衡可靠性保证acks

Seal^_^
2026-03-16 09:10:02

 2593

 32

#kafka #linq #分布式
Hadoop 三种核心运行模式（伪分布式/分布式/混合模式）全总结

伪分布式 → 纯分布式：修改slaves移除localhost、保留，副本数≥2；slaves新增localhost，master 会自动启动 DataNode/NodeManager；所有模式切换前需停止集群 + 重新格式化NameNode（清空旧元数据）。

yatum_2014
2026-03-13 19:53:04

 588

 8

#分布式 #hadoop #wpf
Kafka Partition 深度解析：数据分片的艺术与性能之舞

Partition（分区）是 Kafka 中消息的物理存储单元。每个 Topic 可以被划分为多个 Partition，每个 Partition 是一个有序的、不可变的消息序列，并以日志文件的形式存储在磁盘上。fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;hei

Seal^_^
2026-03-16 09:10:16

 2776

 38

#kafka #linq #分布式 +1
RabbitMQ - 分布式事务问题：消息队列的柔性事务思路

摘要本文探讨了在微服务架构下使用RabbitMQ实现分布式事务的柔性事务方案。主要内容包括：问题背景：传统ACID事务在分布式系统中难以实现，强一致性方案存在性能瓶颈和可用性问题。柔性事务优势：通过最终一致性替代强一致性，利用异步、补偿和重试机制保证数据一致性。 RabbitMQ的关键角色：可靠消息投递消费者手动ACK 死信队列处理失败消息消息幂等性设计延迟队列支持重试典型实现模式

 Jinkxs
2026-03-09 11:00:00

 2.3w

 12

#分布式 #rabbitmq #wpf
Flink实战五之Flink CDC MySQL 实时数据同步

即数据变更捕获。它不像传统方式那样去“询问”数据库现在的状态，而是监听数据库的“日志”（对于 MySQL 来说就是 Binlog）。比喻：传统方式是你每隔一小时打电话问朋友：“你现在在干嘛？”（轮询）；CDC 是朋友发朋友圈，你立刻就收到了通知（监听日志）。

yangyanping20108
2026-03-01 10:06:11

 822

 15

#flink #大数据 #分布式
Spring Cloud 实战攻坚：商品服务核心实现（库存管理 + 缓存设计 + 分布式锁）

文章摘要本文聚焦微服务架构下的电商商品服务核心问题，提出基于SpringCloud Alibaba的企业级解决方案。针对高并发场景下的三大痛点：库存超卖、缓存问题（穿透/击穿/雪崩）和分布式并发控制，文章详细阐述了技术实现方案。在库存管理模块，采用数据库乐观锁+重试机制实现精准扣减；缓存设计方面，通过布隆过滤器、互斥锁和随机过期时间分别解决穿透、击穿和雪崩问题；分布式锁则使用Redisson保

 qq_40303030
2026-02-28 08:36:37

 1069

 42

#spring cloud #缓存 #分布式
Hadoop核心技术与实战指南

Hadoop学习摘要 Hadoop是一个开源的分布式大数据处理框架，核心组件包括HDFS(分布式存储)、MapReduce(离线计算)和YARN(资源调度)。采用主从架构，通过多副本机制保证数据可靠性。生态系统包含HBase、Hive、Spark等工具。MapReduce采用"分治"思想，分为Map(拆分)、Shuffle(分发)和Reduce(汇总)三阶段。YARN实现资源与

 Asher0509
2026-02-25 11:03:24

 1391

 46

#hadoop #大数据 #分布式
分布式 vs 微服务：别再傻傻分不清了

分布式系统是由多台计算机或多个节点组成的系统，各节点之间通过网络进行通信和协作，共同完成一个或多个共享的任务。核心点：分布式的各个节点目标是一致的，之所以要分布式只是为了有更好的能力，能更快、更高效地承接任务。// 分布式系统的例子：分布式计算// 任务：计算1-10000的累加和// 分布式拆分：节点1：计算1-2500的累加和 → 结果A节点2：计算2501-5000的累加和 → 结果B节点3

Seal^_^
2026-02-25 15:55:52

 3446

 23

#分布式 #微服务 #wpf
高并发场景下一卡通系统数据库架构设计与实践

本文探讨了高并发场景下城市一卡通系统的国产化改造实践。系统采用三层分布式架构设计，通过读写分离、数据分片等技术解决性能瓶颈问题。文章详细介绍了数据库选型考量、集群架构设计、核心数据表结构，并展示了用户管理、交易处理和清分结算三大核心模块的实现方案。在性能优化方面，提出了多级缓存架构、读写分离和分库分表策略，同时设计了多级故障转移机制保障系统高可用性。实践表明，合理的架构设计和国产数据库技术能够满足

 正在走向自律
2026-02-24 14:15:49

 1.5w

 46

#分布式 #数据库
从零学习Kafka：数据存储

摘要：本文详细解析了Kafka底层数据存储机制。通过搭建单机Kafka集群并写入测试数据，观察到数据存储在/tmp/kraft-combined-logs目录下，包含三类文件：集群元数据（meta.properties、bootstrap.checkpoint等）、数据目录（以topic+partitionId命名）和检查点文件。重点分析了partition存储结构中的核心三文件：.log（消息数

 Jackyzhe
2026-02-09 23:43:31

 914

 16

#学习 #kafka #分布式
Kafka知识点问题驱动式的回顾与复习——（一）

Kafka核心机制与架构演进摘要：本文深入解析Kafka的核心设计理念与架构演进。通过引入Partition机制解决热点IO问题，实现局部有序的消息处理；采用Leader-Follower副本架构保证高可用性，其中ISR机制动态维护同步副本集合。Broker内部各组件协同工作，通过SocketServer、ReplicaManager等模块高效处理消息。重点对比了新旧架构差异：传统ZooKeepe

山宗三水-繁花之恋
2026-02-08 21:37:19

 1058

 15

#kafka #分布式 #后端 +1
Kafka--使用 Kafka Connect 导入/导出数据

Kafka Connect是Apache Kafka的核心组件，用于在Kafka与其他系统间可靠传输数据。它提供预置连接器、可扩展架构和精确一次语义，支持独立和分布式部署模式。核心组件包括连接器(Connector)、任务(Task)和工作进程(Worker)，分为Source(导入)和Sink(导出)两种类型。配置分为独立模式(适合开发)和分布式模式(适合生产)，包含转换器、内部topic和安全

 张小凡vip
2026-02-08 22:39:53

 1078

 15

#kafka #分布式
从零学习Kafka：配置参数

本文详细介绍了Kafka各组件的重要配置参数。Broker端包括数据存储目录、监听配置、集群稳定性等关键参数；Topic级别参数可覆盖Broker配置，实现灵活管理；Producer端着重于消息发送可靠性、批处理和压缩等配置；Consumer端则关注消费组、位移管理和拉取控制等参数。这些参数对Kafka的性能调优、稳定运行和数据可靠性至关重要，合理配置可显著提升生产环境表现。文章还提醒要注意不同版

 Jackyzhe
2026-02-02 21:39:05

 1150

 14

#学习 #kafka #分布式
Spark大数据分析与实战笔记（第六章 Kafka分布式发布订阅消息系统-03）

通常情况下，我们使用Kafka构建系统或应用程序之间的数据管道，用来转换或响应实时数据，使数据能够及时的进行业务计算，得出相应结果。也许生活中偶有黯淡无光的时刻，但别忘了还有未实现的梦想，努力朝着自己的目标一点点前进。Kafka集群部署依赖于Java环境和Zookeeper服务，在本书第二章搭建Spark HA小节，我们已经完成了上述环境和Zookeeper集群的配置。上述命令执行成功后，如果控制

 想你依然心痛
2026-02-02 10:05:23

 1.4w

 36

#分布式 #spark
分布式锁-redission锁重试和WatchDog机制

分布式锁-redission锁重试和WatchDog机制

 m0_61787196
2026-02-01 12:47:35

 1197

 30

#分布式
MinIO介绍（分布式对象存储系统 object storage）传统文件名和目录结构，大文件存储为主，Amazon S3（AWS S3）替代方案（MinIO和SeaweedFS区别）mc命令行

MinIO 是一个高性能、开源的对象存储系统，100% 兼容 Amazon S3 API。用 Go 语言编写，单二进制文件部署，无外部依赖。它既可作为轻量级单机服务运行，也能构建跨数据中心的分布式集群，专为云原生环境（Kubernetes、Docker）而生。开源协议：AGPLv3（社区版），企业版提供增强支持核心定位：私有化部署的“S3 替代方案”，让企业掌控数据主权一句话总结“把 AWS S3

Dontla
2026-02-03 01:50:35

 1795

 14

#分布式 #aws #云计算
极致性能的服务器Redis之String类型及相关指令介绍

Redis 字符串是 Redis 基础数据结构（其他结构均基于其构建，所有键也为字符串类型），支持 SET（含 NX/XX/PX/EX 参数）、MGET/MSET、INCR/DECR 系列（支持浮点）及 APPEND/GETRANGE 等操作，可存储数字 / 文本，需注意大键操作的性能问题。

啊吧怪不啊吧
2026-01-27 23:22:02

 1500

 88

#mybatis #数据库 #网络 +2
什么是Hadoop

Hadoop 作为大数据技术的奠基性框架，通过 "普通硬件集群化 + 分布式存储 + 分布式计算" 的核心思想，彻底改变了海量数据处理的成本与效率。尽管面临 Spark 等新兴技术的挑战，Hadoop 凭借成熟的生态系统和稳定的核心能力，仍是企业构建大数据平台的首选基础架构之一，尤其在离线批量数据处理和数据仓库场景中占据不可替代的地位。

蓝眸少年CY
2026-01-24 18:07:13

 1690

 25

#hadoop #大数据 #分布式
【Redis实战进阶篇1】Redis 分布式锁：从手写实现到 Redisson 最佳实践

本文介绍了Redis分布式锁的实现原理及最佳实践。首先分析了本地锁在分布式系统中的局限性，提出基于Redis的解决方案。从基础的SETNX命令实现出发，逐步解决死锁、误删等问题，并引入原子操作、唯一标识和看门狗机制进行优化。重点推荐生产环境使用Redisson客户端，详细讲解了其可重入锁、自动续期、RedLock算法等核心特性。通过对比手写实现与Redisson的差异，总结出分布式锁的关键点：基础

 小可爱awo
2026-01-25 19:44:56

 1298

 32

#redis #分布式 #wpf
RPC分布式通信（5）--发布 RPC 服务、处理客户端调用请求

首先通过 Protobuf 定义 RPC 服务的接口（.proto文件），这是 RPC 框架的「接口契约」，确保客户端和服务端数据格式一致。// 登录请求参数// 登录响应结果// 错误码：0=成功，非0=失败// 错误信息// 是否登录成功// RPC服务定义（必须继承google::protobuf::Service）// 登录方法编译后会生成和消息类；抽象服务类（继承服务发布核心：通过 Pr

陌路20
2026-01-19 01:33:41

 1084

 13

#rpc #分布式 #qt
分布式爬虫的核心原理详细介绍

本文从底层逻辑拆解核心原理，用通俗的语言+实战示意图，让新手快速理解分布式爬虫的工作机制。

爱吃提升
2026-01-18 22:04:14

 1677

 11

#分布式 #爬虫
RPC分布式通信（1）--分布式通信讲解

RPC 的本质是“分布式函数调用的封装”，核心价值是简化分布式通信的开发成本。用Protobuf做序列化 / IDL；用ZooKeeper做服务注册与发现；用线程池 + 异步 IO提升并发性能；用异步日志做系统监控。这些组件组合起来，就是一个完整的高性能分布式 RPC 框架。接下来的文章将从四种典型线程池+Protobuf细讲+ZooKeeper进行rpc框架进行。

陌路20
2026-01-17 15:34:59

 627

 25

#rpc #分布式 #网络协议
大数据Spark（七十七）：Action行动算子first、collect和collectAsMap使用案例

本文介绍了Spark中三种常用Action算子：first、collect和collectAsMap的使用方法。first算子用于获取RDD中的第一个元素，相当于take(1)操作；collect算子将RDD所有数据收集到Driver端返回数组；collectAsMap专门处理键值对RDD，将其转换为Map结构返回。文章分别提供了Java和Scala两种语言的实现代码示例，包括环境配置、算子调用和

 Lansonli
2026-01-18 23:33:18

 891

 6

#大数据 #spark #分布式
基于 Redis+Redisson 实现分布式高可用编码生成器

本文介绍了一套基于Redis+Redisson的高性能分布式编码生成方案，解决了传统数据库自增ID的性能瓶颈和分布式唯一性问题。该系统支持自定义编码规则，包含时间、流水号、随机字符等多种占位符，通过Redis自增保证分布式唯一性，并采用Redisson分布式锁防止并发冲突。系统实现了多级缓存、异步持久化等优化策略，支持定时重置流水号，具备数据库兜底机制确保数据安全。该方案已在实际生产环境中验证，兼

 qq_68883928
2026-01-08 15:14:31

 853

 17

#redis #分布式 #数据库
Redis防重复点击与分布式锁

当你想"限制用户在N秒内不能操作"时，用带过期时间的标记；当你想"确保只有一个线程能操作"时，才用分布式锁。防重复点击和分布式锁是两种完全不同的语义，但开发者常因"都用到Redis"而混用。防重复点击 = 冷却计时器：用SET NX EX，自动过期，无需释放分布式锁 = 互斥信号：用，手动释放，保护资源选错工具不仅代码复杂，还会引入死锁、性能下降、用户体验差等隐患。希望这篇文章能帮你避开这个90%

Vic10101
2025-12-23 21:52:59

 915

 6

#redis #分布式 #数据库 +1
springcloud alibaba(十)分布式事务

分布式事务是指参与事务的各组件（包括参与者、事务服务器、资源服务器和事务管理器）分布在分布式系统的不同节点上。简而言之，分布式事务是将一个复杂操作拆分为多个子操作，这些子操作分布在不同的服务器上且属于不同的应用系统。分布式事务的核心要求是确保这些子操作要么全部成功执行，要么全部回滚。从本质上来看，分布式事务旨在维护跨数据库的数据一致性。

我是小妖怪,潇洒又自在
2025-12-21 18:00:29

 1160

 17

#spring cloud #分布式 #wpf
从 Redis 到分布式架构

本文分享了Redis核心原理与分布式架构设计的实践经验。首先解析Redis高性能的底层逻辑，包括单线程模型、高效数据结构和IO多路复用机制。重点总结了缓存穿透、击穿、雪崩三大问题的解决方案，以及Redis集群的分片与主从同步机制。在分布式架构方面，分析了垂直与水平拆分的策略，并探讨了数据一致性、服务可用性和分布式锁等核心问题。最后强调架构设计需要权衡成本与性能，指出技术方案的本质是解决性能、可用性

 nplplus
2025-12-20 22:00:15

 1180

 31

#redis #分布式 #架构
MapReduce工作流程：从MapTask到Yarn机制深度解析

摘要 MapReduce作为Hadoop核心计算框架，通过"分而治之"思想将大数据任务分解为并行子任务。本文系统解析MapReduce三大核心机制： MapTask执行机制：从数据分片(InputSplit)到RecordReader读取，通过Map函数处理生成中间键值对，经Combiner本地聚合后按Partitioner分区。关键优化包括减少对象创建、批量处理和合理使用Co

m0_74385041
2025-12-15 09:24:27

 1392

 88

#mapreduce #大数据 #yarn +2
大数据Spark（七十五）：Action行动算子foreachpartition和count使用案例

摘要：本文介绍了Spark中的两个重要Action算子：foreachPartition和count。foreachPartition以分区为单位遍历数据，适用于批量操作场景（如数据库连接），相比foreach能显著提高效率。count则用于统计RDD中的元素总数。文章通过Java和Scala代码示例展示了两种算子的具体用法，并强调Action算子会触发实际计算（与Transformations的

 Lansonli
2025-12-13 17:01:19

 1458

 7

#大数据 #spark #分布式
完整的 Spring Boot + Redisson 分布式锁示例

本文提供了一个完整的Spring Boot+Redisson分布式锁实现方案，包含项目结构、Maven依赖配置、Redisson配置以及业务服务层实现。项目采用标准Maven结构，核心依赖包括Spring Boot Web和Redisson Starter。通过配置文件支持单机/集群Redis模式，并提供了可选的Redisson自定义配置类。业务服务层示例展示了如何通过RedissonClient

qq_34823185
2025-12-09 17:02:21

 686

 6

#spring boot #分布式 #后端
跨设备状态同步实战：基于 HarmonyOS 分布式数据管理（DDM）构建多端协同应用

在万物互联时代，用户不再只使用单一设备。他们可能在手机上开始一项任务，在平板上继续编辑，最后在车机上完成确认。**如何让数据在这些设备间无缝流动？** 这正是 HarmonyOS **分布式数据管理（Distributed Data Management, DDM）** 的核心使命。

●VON
2025-12-06 22:31:43

 1305

 27

#harmonyos #分布式 #华为 +1
【探索实战】Kurator分布式云原生治理平台：从实战到未来的全栈解析

在云原生技术渗透至千行百业的今天，企业面临的已不再是“是否采用云原生”的选择，而是“如何高效治理跨地域、多集群、异构化的分布式云原生环境”。据Gartner预测，到2025年，全球75%的企业将拥有超过10个Kubernetes集群，而“多集群管理复杂度”已成为阻碍云原生价值落地的核心痛点。作为一款开源分布式云原生治理平台，Kurator（https://github.com/kurator-de

鱼弦
2025-11-20 16:23:57

 1318

 24

#分布式 #云原生
Kafka - 4 Kafka的副本同步机制

副本同步机制是分布式系统中确保数据一致性和高可用性的核心机制，通过主副本（Leader）与从副本（Follower）的协同工作，实现数据的实时复制和故障自动转移。在Kafka中，每一个分区中的消息都会有一个唯一的编号，这个编号被称为“偏移量”。Kafka的消费者可以通过offset来获取到自己当前的消费位置。高水位：通过标识了一个特定的消息偏移量来管理消费者的进度和保证数据的可靠性。offset总

 weixin_52553065
2025-11-16 22:58:10

 1057

 23

#kafka #分布式
智慧判官-分布式编程评测平台

在线评测系统（Online Judge）起源于ACM国际大学生程序设计竞赛，现已发展成为编程教育、技术面试、技能评估的重要平台。随着数字化转型加速，企业对程序员的技术评估需求日益增长，在线OJ系统成为连接学习者、教育机构和企业的重要桥梁。市场分析教育市场：高校计算机课程实践平台、编程培训机构教学工具企业市场：技术面试筛选、内部技能评估、技术竞赛举办个人市场：编程爱好者技能提升、求职准备、技术交流用

 KYumii
2025-11-14 09:03:44

 1040

 12

#分布式 #java-rabbitmq #spring cloud +2
大数据Spark（七十三）：Transformation转换算子glom和foldByKey使用案例

摘要：本文介绍了Spark中两个Transformation转换算子glom和foldByKey的使用案例。glom算子将每个分区的数据合并为数组，适用于数据量小且需要分区内统计的场景，文中展示了Java和Scala的代码实现。foldByKey算子则是对键值对RDD进行聚合操作，与reduceByKey类似但支持初始值设置，适用于分区内外聚合规则相同的场景，同样提供了Java和Scala示例。文

 Lansonli
2025-11-15 15:53:17

 1384

 7

#大数据 #spark #分布式
分布式Web应用场景下存在的Session问题

摘要：分布式系统中，Session共享是关键挑战。单机场景下，Session存储本机内存即可；分布式环境下，负载均衡导致Session数据在多服务器间不同步。常见解决方案包括：1）Session复制（简单但开销大）；2）集中存储（如Redis，扩展性强）；3）Cookie存储（无服务器依赖，但数据量有限）；4）Token鉴权（如JWT，适合微服务）；5）粘性会话（固定服务器，但容错性差）。选择方案

 老夫的码又出BUG了
2025-11-07 16:37:48

 1147

 31

#分布式 #前端 #后端
【C++】基于C++的RPC分布式网络通信框架(二)

在网上关于RPC分布式网络通信框架的文章数不胜数，原本不打算写这篇文章，但是网上的文章总给人一种残缺美，我是一个追求完美的人，所以还是打算站在巨人的肩膀上去完善大神的两篇文章。并补充一些关于这个项目的面试细节（挖个坑等我找到工作后）。RPC框架基础概念篇C++实现轻量级RPC分布式网络通信框架对于刚接触这个项目的小伙伴来说通常是一脸懵逼，这里给出一个通俗易懂的理解假如说你要买零食，在以前的经济模

 千禧皓月
2025-11-08 19:18:34

 921

 15

#c++#rpc #分布式