登录社区云，与社区用户共同成长
邀请您加入社区
即数据变更捕获。它不像传统方式那样去“询问”数据库现在的状态，而是监听数据库的“日志”（对于 MySQL 来说就是 Binlog）。比喻：传统方式是你每隔一小时打电话问朋友：“你现在在干嘛？”（轮询）；CDC 是朋友发朋友圈，你立刻就收到了通知（监听日志）。
本文介绍了使用Docker部署Hadoop和Flink集群的详细过程。作者基于CentOS镜像构建了包含SSH、JDK和Hadoop的基础镜像，创建了三台容器组成Hadoop集群。通过自定义Docker网络实现容器间通信，配置SSH免密登录和hosts文件确保节点互联。文章详细说明了Hadoop核心配置文件的修改方法，包括core-site.xml、hdfs-site.xml等，并强调了版本兼容性
本文介绍基于Java+Flink构建实时风控规则引擎的实践方案。针对传统风控系统规则更新需重启服务、执行效率低等问题，提出采用Flink 1.17.0实现毫秒级风控判断，结合Aviator轻量脚本解析规则，通过Nacos实现规则动态配置与热更新。文章详细阐述了技术选型依据、生产环境配置方案，以及"快、准、灵、稳"四大核心需求的实现方法，提供可直接复用的代码配置和性能优化建议，帮
本文深入分析了Flink的Checkpoint机制源码实现，从JobManager端触发流程、TaskManager端执行流程到非Source节点处理流程进行了详细梳理。重点解析了CheckpointCoordinator的触发逻辑、Barrier消息广播、状态异步写入及上报机制，并区分了EXACTLY_ONCE和AT_LEAST_ONCE两种模式的不同处理方式。通过源码分析揭示了Flink如何通
摘要：本文提出从Hadoop数据湖（Hive/Impala）到AI决策的落地方法，采用四步走策略：1）构建统一数据底座，确保数据质量；2）建立可复用特征工程体系；3）实现模型训练与评估自动化；4）部署低延迟推理服务。重点强调特征一致性、闭环反馈机制和业务场景落地，建议从高价值场景入手，避免"大而全"方案。通过将传统大数据平台与现代AI工程结合，可低成本构建持续进化的智能决策系统
简单介绍Flink 是一个开源的、分布式的、高性能的流处理框架，主要特性有：状态管理与容错，事件时间与水位线，先进的窗口模型，轻量级的分布式快照，端到端的精确一次交付，流批一体与统一的 API，复杂的流处理拓扑与高级 API（侧输出，CEP：复杂事件处理库，Table API & SQL）等下载地址: https://mirrors.aliyun.com/apache/flink/z根据需求选版本
本文介绍了Flink CDC中的Data Pipeline概念及其配置方法，重点解析了MySQL到Doris的数据同步实践。主要内容包括： Data Pipeline定义：包含source、sink、pipeline必选段和route、transform可选段，对应Flink内部算子链。 配置参数详解：包含管道名、并行度、时区等可选参数，强调pipeline段必须存在。 MySQL到Doris示例
Flink状态序列化兼容性设计指南 Flink状态持久化后，Schema变更会导致恢复问题。本文介绍了状态序列化兼容性设计规范： 兼容性机制：Flink通过TypeSerializerSnapshot协商新旧Schema，支持四种处理方式：直接兼容、参数调整、迁移后兼容或不兼容。 设计规范：建议采用版本化布局设计，记录子序列化器快照，并为新增字段提供默认值。避免使用Kryo作为长期状态格式。 典型
Flink自定义状态序列化机制详解 本文系统介绍了Flink中自定义状态序列化的实现方法。主要内容包括：自定义序列化器的适用场景（如性能优化、状态演进需求）、Flink状态恢复与迁移的全链路流程（包含兼容性判断机制）、TypeSerializerSnapshot的核心作用及其接口设计。特别提供了两种预制快照基类的使用方案（简单序列化和复合类型序列化），并通过一个UserEvent案例展示了支持字段
Paimon内存管理核心组件解析 本文详细介绍了Paimon项目中的三个核心内存管理组件： MemorySegment：统一内存管理核心类，封装堆内/堆外内存操作，通过Unsafe API提供高性能访问，支持字节序控制和批量操作。MemorySize：内存大小表示工具类，提供类型安全的内存配置处理，支持字符串解析、单位转换和算术运算，确保内存计算的准确性。Buffer：轻量级内存容器，包装Memo
综合以上分析，我们针对不同框架的数据倾斜问题提出以下最佳实践和可操作的优化策略：Hive 离线计算设计健壮的SQL：尽量避免产生倾斜的查询模式。大表Join尽量先过滤无关数据，或者拆分步骤处理。适当使用MAPJOIN/广播小表，减少需要shuffle的数据量.启用倾斜优化参数：在Hive on MR/Tez上开启和)等，让Hive自动检测并处理倾斜键.充分利用分区和桶：数据导入Hive时设计合理分
通过Flinksql使用DDL的方式，实现读取kafka用户行为数据，对数据进行实时处理，根据时间分组，求PV 和UV ，然后输出到 mysql 中。5、观察mysql数据库中。
FlinkFlink 是一个分布式流处理框架，其架构基于流计算，将一切都看作是流。它采用了一种基于事件驱动的架构，数据以流的形式源源不断地进入系统，并且能够实时处理这些数据。例如，在实时监控网络流量的场景中，网络流量数据作为一个持续的数据流进入 Flink 系统，Flink 可以对每一个数据包（事件）进行实时分析，如检测异常流量。Flink 的运行时系统基于作业（Job）和任务（Task）的概念。
本文解析了Lambda 架构，Kappa 架构，以及在大数据场景中，如何选择架构。
