大数据标签_松山湖开发者村综合服务平台

大数据

【大数据存储与管理】分布式数据库HBase：06 HBase编程实践

本文讲解HBase编程实践。HBase需按顺序启动，Java API可实现建表、插入和查询。以学生成绩表为例，通过init建立连接，createTable创建表，insertData添加数据，getData浏览数据，代码简洁易用。

Francek Chen
2026-04-01 23:03:41

 648

 11

#大数据 #分布式 #数据库 +2
突破单表局限：Doris 跨表 Join 技术详解与性能优化指南

分析订单时，你需要关联用户表获取用户画像计算转化率时，你需要 Join曝光表和点击表生成报表时，你需要连接事实表和多个维度表跨表 Join 是数据分析的核心能力，也是性能优化的最大挑战。查询从秒级变成分钟级网络传输暴涨，拖垮整个集群数据倾斜导致某些节点成为"热点"Doris 提供了多种 Join 策略，每种都有独特的适用场景。今天，我们从策略原理到实战优化，完整拆解 Doris 的跨表 Join

Seal^_^
2026-03-31 10:58:47

 2959

 49

#性能优化 #大数据 #分布式 +1
文章十：ElasticSearch索引字段高级属性

ES 中每个索引段（segment）会为字段的唯一词条生成本地序数（term → 整数 ID），但聚合 / 排序需要跨段统一映射，因此 ES 会生成全局序数它是一个「全分片唯一的词条→整数 ID」映射表，基于doc_values（keyword 默认开启）构建；作用：让聚合 / 排序直接用整数 ID 运算，大幅提升性能（避免重复解析字符串）；支持字段：仅keyword（默认支持）、开启fieldd

逸Y 仙X
2026-03-21 23:36:26

 902

 4

#elasticsearch #大数据 #搜索引擎 +2
一文吃透Linux System V共享内存：原理+实操+避坑指南

本文深入解析了SystemV共享内存机制，作为Linux高效IPC方式之一，它允许多进程直接访问同一物理内存区域，避免了数据拷贝开销。文章从原理、API调用到实战代码演示了完整使用流程：通过ftok生成唯一key，shmget创建/获取共享内存，shmat挂载到进程地址空间，shmdt脱离映射，shmctl控制生命周期。重点指出了使用中的常见问题：内存泄漏需手动删除、多进程竞争需同步机制、key一

 yhrxh_ymq
2026-03-23 09:28:56

 1459

 88

#linux #运维 #服务器 +2
【大数据存储与管理】分布式数据库HBase：05 HBase运行机制

本文讲解HBase运行机制。HBase架构清晰，Region服务器是关键。Store含内存缓存与磁盘文件，读写操作依赖二者。HLog保障系统容错，故障时借助其与Zookeeper实现数据恢复。

Francek Chen
2026-03-19 22:21:42

 2082

 41

#大数据 #分布式 #数据库 +3
海量时序数据选型指南：从大数据架构演进看 Apache IoTDB 的崛起

随着工业4.0、智能网联汽车以及智慧城市建设的深入推进，全球产生的数据量正呈现指数级增长。在这些数据中，带有时间戳的时序数据（Time-Series Data）占据了绝大多数。从工厂传感器的毫秒级震动读数，到电网设备的实时负荷监控，再到车联网的海量轨迹记录，如何高效地存储、查询和分析这些“数据洪流”，成为了企业数字化转型的关键瓶颈。

鸽芷咕
2026-03-19 20:21:16

 11.2w

 13

#大数据 #架构 #apache +1
如何用 API 抓取 TikTok 帖子数据（附真实代码示例）

Bright Data TikTok 帖子抓取器，用一致的结构化输出、高效的自动化抓取、合规的全维度数据采集，让你跳出 “跟风创作” 的误区，从数据中挖掘有效内容的底层逻辑，真正实现 “在竞争对手之前，锁定 TikTok 爆款”。简单来说，其他工具抓取的是 “原始数据”，而 Bright Data 抓取的是 “可直接分析的数据”—— 这一优势让企业在数据处理环节节省 80% 以上的时间，真正实现

 不叫猫先生
2026-03-15 10:51:26

 1.6w

 19

#大数据 #人工智能 #数据库 +1
【大数据存储与管理】分布式数据库HBase：04 HBase的实现原理

本文讲解HBase的实现原理。HBase功能组件协同工作，表分区成Region分布存储。三层定位结构保障数据查找，客户端缓存提升效率，且能自动处理缓存失效，整体设计使Master负载降低。

Francek Chen
2026-03-16 09:00:00

 732

 32

#大数据 #分布式 #数据库 +2
Spark数据分析1_环境配置

Linux│├─ Java│├─ Hadoop│├─ MySQL│├─ Kafka│这是Spark / Flink / 大数据课程实验的基础环境。

jerrykorea
2026-03-16 19:59:57

 530

 6

#spark #数据分析 #大数据
OpenClaw（养龙虾） +关于Hadoop hive的Skills（CLoudera CDH、CDP）

摘要：OpenClaw生态未内置Hadoop/Hive专用技能，因其企业级特性难以通用化。建议通过组合基础技能实现操作：1）使用tmux/session-logs管理长时任务；2）通过shell/exec执行HDFS/YARN/Hive命令；3）利用github/file-manager管理脚本文件。可串联成工作流或开发CustomSkill封装常用操作，但需注意安全风险，避免使用第三方技能，采用

 yumgpkpm
2026-03-16 18:53:59

 2998

 17

#hadoop #hive #大数据 +4
2026远控软件，多场景适配工具实测

作为常年和各类数码设备打交道的爱好者，日常移动办公、跨设备处理设计素材、远程体验PC端游戏，或是帮家人远程排查电脑故障，远程控制软件早已成为数字生活里的刚需工具。

2301_81152266
2026-03-13 15:35:09

 550

 39

#大数据 #人工智能
Kafka Partition 深度解析：数据分片的艺术与性能之舞

Partition（分区）是 Kafka 中消息的物理存储单元。每个 Topic 可以被划分为多个 Partition，每个 Partition 是一个有序的、不可变的消息序列，并以日志文件的形式存储在磁盘上。fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;hei

Seal^_^
2026-03-16 09:10:16

 2824

 38

#kafka #linq #分布式 +1
Spark 大数据分析：从原理到实战的一站式指南

本文围绕Apache Spark展开大数据分析从理论到实践的全面讲解，阐述Spark以内存计算、多语言支持、一站式处理等优势，成为主流大数据引擎。文章系统介绍Spark核心特性、技术组件与标准分析流程，涵盖环境搭建、数据读取、清洗、计算、存储及优化全环节。基于PySpark构建5000万级电商销售数据分析实战案例，实现整体概况、区域、品类、时间趋势及高价值订单挖掘，并完成可视化与业务解读。同时梳理

 2401_89845953
2026-03-08 21:27:54

 620

 3

#spark #数据分析 #大数据
Elasticsearch：智能搜索 - AI Builder 及 Workflow

摘要：本文介绍了三种实现智能房产搜索的方法：1) 使用Python编程结合LLM调用；2) 创建定制MCP服务器；3) 无需编程的AI Agent方案。重点展示了通过Workflow创建AI Agent的完整流程，包括参数提取、地理编码、ES|QL查询构建等步骤，成功实现了自然语言查询转换为结构化搜索条件的功能。测试案例验证了该方案能有效处理"迈阿密10英里内2卧2卫、中央空调、瓷砖地板

 Elastic 中国社区官方博客
2026-03-10 20:18:58

 1396

 27

#elasticsearch #大数据 #搜索引擎 +2
基于大数据爬虫+Hadoop+电脑商品数据爬取与可视化平台设计与开发(源码+精品论文+答辩PPT等资料)

在数字经济与电子商务深度渗透的当下，电脑及配件市场呈现出产品迭代加速、价格波动频繁、配置组合复杂的显著特征。从中央处理器到显卡，从轻薄本到游戏本，从品牌整机到DIY配件，消费者面对的是数以万计的商品选择与瞬息万变的价格信息。与此同时，各大电商平台、评测网站、二手交易社区每天产生海量的电脑商品数据——价格变动、用户评价、参数配置、销量排行、评测内容——这些数据散落在互联网的各个角落，构成了电脑市场的

 java李杨勇
2026-03-09 17:11:44

 1470

 49

#大数据 #django #hadoop
HDFS数据块机制深度解析：块大小设计与存储哲学

HDFS块大小不是随意设定的，而是在多个因素之间精心权衡的结果：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;块大小决策因素寻址开销NameNode内存Map任务并行度网络传输磁盘I/O平衡点128MB核心平衡公式最优块大小 = f(寻址开

 Seal^_^
2026-03-09 08:59:21

 2793

 52

#hdfs #hadoop #大数据
OpenClaw接入企业微信全攻略：从0到1打通企业AI协作通道

本文详细介绍了将OpenClaw AI框架接入企业微信的完整方案。通过两种主流接入方式（API模式机器人和自建应用），企业可以快速实现智能问答、流程自动化等AI能力落地。文章重点讲解了从前期准备、核心接入流程到生产环境部署的全套实操步骤，包括权限配置、网络设置、参数对接等关键环节。同时提供了进阶优化建议，如后台守护、HTTPS加固、权限管控等企业级功能配置，以及常见问题排查方法。该方案能有效解决企

 正在走向自律
2026-03-09 16:48:45

 5934

 50

#人工智能 #大数据
QMT 之用 KMeans 聚类寻找股票支撑位 / 压力位（下）- 实战代码实现

本文介绍了利用KMeans聚类算法自动识别股票支撑位和压力位的Python实现方法。通过QMT的xtquant库获取股票历史数据，使用scikit-learn的KMeans算法对收盘价进行5类聚类，将聚类中心作为潜在的支撑/压力位。代码包含数据获取、聚类分析和可视化三个核心步骤，并对结果进行解读：聚类中心代表股价密集成交区，低位中心为支撑位，高位中心为压力位。该方法可为交易决策提供量化参考，如确定

 weixin-npy8264926
2026-03-09 11:19:38

 1142

 21

#大数据
Flink实战五之Flink CDC MySQL 实时数据同步

即数据变更捕获。它不像传统方式那样去“询问”数据库现在的状态，而是监听数据库的“日志”（对于 MySQL 来说就是 Binlog）。比喻：传统方式是你每隔一小时打电话问朋友：“你现在在干嘛？”（轮询）；CDC 是朋友发朋友圈，你立刻就收到了通知（监听日志）。

yangyanping20108
2026-03-01 10:06:11

 863

 15

#flink #大数据 #分布式
时序数据库选型指南：从大数据架构视角深度解析 Apache IoTDB

在时序数据库选型中，没有"银弹"解决方案。Apache IoTDB 凭借其对工业物联网场景的深度优化、端-边-云协同架构、以及活跃的 Apache 开源生态，已成为国内企业构建时序数据平台的重要选择。其自研的 TsFile 存储格式、对齐时间序列特性、以及完整 SQL 支持，在大数据架构中展现出独特的技术优势。建议企业在选型时，结合自身的业务场景特征、数据规模、团队技术栈进行综合评估，通过 POC

想你依然心痛
2026-02-28 19:38:18

 2w

 31

#时序数据库 #大数据 #架构
Hadoop核心技术与实战指南

Hadoop学习摘要 Hadoop是一个开源的分布式大数据处理框架，核心组件包括HDFS(分布式存储)、MapReduce(离线计算)和YARN(资源调度)。采用主从架构，通过多副本机制保证数据可靠性。生态系统包含HBase、Hive、Spark等工具。MapReduce采用"分治"思想，分为Map(拆分)、Shuffle(分发)和Reduce(汇总)三阶段。YARN实现资源与

 Asher0509
2026-02-25 11:03:24

 1511

 46

#hadoop #大数据 #分布式
【大数据技术实战】大数据典型框架解析

摘要：大数据技术实战类博客聚焦技术落地应用，通过具体案例、操作步骤和踩坑复盘等形式，分享真实业务中的实践经验。这类博客可分为工具实操类、业务场景落地类、性能优化类和全链路项目类，覆盖数据处理到应用全链路。其优势在于实用性强、降低学习门槛，但也存在时效性短、场景局限等不足。常用技术架构围绕"采集-存储-计算-可视化"链路展开，包含Hadoop生态、Flink、Spark等主流工具

 shinelord明
2026-02-25 12:18:37

 1224

 11

#大数据 #架构 #云计算
hadoop中HDFS框架、YARN框架各组件职责与对比

简而言之，HDFS 和 YARN 各自担任不同的角色。HDFS 作为存储系统，负责数据的分布式存储和管理，确保数据的高可用性；而 YARN 作为资源管理系统，负责调度和管理集群资源，确保作业能够高效执行。两者合作，共同构成了大数据处理平台的核心。可以说，HDFS 提供了坚实的数据存储基础，而 YARN 则提供了高效的资源调度和任务执行平台。

江畔何人初
2026-02-24 23:07:49

 1571

 19

#hadoop #hdfs #大数据
DeepSeek总结的DuckDB Elasticsearch 扩展概述

DuckDB Elasticsearch 扩展允许通过SQL直接查询Elasticsearch数据，无需ETL流程。该扩展提供表函数elasticsearch_query，支持谓词/投影/限制条件下推优化，自动从ES映射推断模式，并处理类型转换。功能包括：支持多种ES数据类型（包括嵌套对象和地理类型）、多索引查询、Scroll API高效检索、错误自动重试等。安装可通过社区扩展库或从源码构建（需v

l1t
2026-02-09 18:32:26

 1002

 15

#elasticsearch #jenkins #大数据
HBase进阶

HBase读写流程采用分布式架构，客户端通过Zookeeper定位元数据表(hbase:meta)位置，缓存Region信息后直接与目标RegionServer交互。写流程通过WAL日志和MemStore实现数据持久化，定期刷写为HFile文件，并自动进行Minor/Major合并优化存储。读流程优先查询BlockCache和MemStore，未命中则读取磁盘文件。表设计强调反范式化，通过冗余列族

 無森~
2026-02-09 11:58:22

 1316

 18

#hbase #数据库 #大数据
Elasticsearch（ES）核心用法与实战技巧分享

我们多个项目中用到Elasticsearch，今天聚焦ES的核心知识点、高频实操技巧，尤其是深度分页这类易踩坑点，帮助大家快速上手、高效使用ES，后续也能一起交流深化。在正式讲解实操前，先快速梳理ES的常用业务场景——结合我们日常开发经验，ES并非万能，但在以下4个场景中，能大幅提升效率、解决传统数据库无法解决的痛点，也是我们部门后续可能重点用到的方向：日志检索：项目日志海量存储，快速检索异常日志

 java-yi
2026-02-08 14:46:29

 1128

 19

#elasticsearch #大数据 #搜索引擎
弥合差距：从云原生到大型机的端到端可观测性

摘要：本文探讨了在混合企业环境中实现端到端可观测性的解决方案。通过结合IBM Z Observability Connect和Elastic Observability，可以解决现代云原生应用与IBM主机系统交互时的可观测性挑战。OpenTelemetry作为标准，将主机系统纳入统一监控，消除"断裂的Trace"问题。文章详细介绍了架构实现，包括Collector、Proces

Elastic 中国社区官方博客
2026-02-09 15:08:38

 894

 17

#云原生 #elasticsearch #大数据 +3
【干货】CDA一级知识点拆解3：《CDA一级商业数据分析》第3章商业数据分析框架

核心定义：从企业长期发展维度，分析外部环境（行业、市场、政策）与内部资源（资金、技术、人才）的匹配性，明确战略定位与发展路径核心关注：行业发展趋势、政策导向对企业的影响（如产业扶持政策、技术迭代趋势）企业在竞争格局中的核心优势与短板（如技术壁垒、品牌差距）战略目标的阶段性落地进度与偏差（如市场扩张目标、营收增长目标）核心定义：通过收入、利润、费用等财务数据，分析企业盈利效率、成本结构与财务健康度收

 王彩凤281
2026-02-03 10:27:38

 988

 19

#数据分析 #数据挖掘 #大数据 +1
Starrocks 简介

Starrocks 是新一代极速全场景 MPP 数据库。StarRocks 采用分布式架构，对数据表进行水平划分并以多副本存储。集群规模可以灵活伸缩，能够支持 10PB 级别的数据分析;支持 MPP 框架，并行加速计算;支持多副本，具有弹性容错能力。StarRocks 采用关系模型，使用严格的数据类型和列式存储引擎，通过编码和压缩技术，降低读写放大；使用向量化执行方式，充分挖掘多核 CPU 的并行

 bigdata_newbie
2026-02-01 23:05:55

 1016

 5

#数据库 #大数据 #数据仓库
时序数据库选型指南：在大数据浪潮中把握未来，为何Apache IoTDB值得关注？

本文探讨了时序数据库(TSDB)选型的关键问题，重点介绍了Apache IoTDB的独特优势。时序数据具有高频、海量、时效性强等特点，传统数据库难以应对，需要专用TSDB满足高效写入、压缩存储、快速查询等需求。选型应综合考量架构扩展性、数据模型、存储效率、生态兼容性等多维度因素。Apache IoTDB凭借原生物联网数据模型、端边云协同架构、卓越压缩性能、深度大数据生态集成等优势脱颖而出，特别适合

 枫叶丹4
2026-01-26 13:04:07

 9613

 104

#时序数据库 #大数据 #apache +2
数仓整体架构和建模架构

这里将数据门户单独拎出来是因为这个数据门户是从公司整体的角度，记录登记哪些数据可以使用，数仓也只是其中的一部分，虽然这个一部分非常的多。只是在大数据场景下，将事实表的维度剥离出来，做成维表，是收益比很低的一件事，所以很多维表字段不会剥离，相反，还会有很多维表字段进行下沉，多张表中维护同份数据。还有一些没法抽象的，比如业务过程中业务的状态，业务种类这些就没必要做成维度表，而是下沉到dwd层的明细表。

Sky960722
2026-01-25 22:47:44

 880

 11

#架构 #java #开发语言 +1
什么是Hadoop

Hadoop 作为大数据技术的奠基性框架，通过 "普通硬件集群化 + 分布式存储 + 分布式计算" 的核心思想，彻底改变了海量数据处理的成本与效率。尽管面临 Spark 等新兴技术的挑战，Hadoop 凭借成熟的生态系统和稳定的核心能力，仍是企业构建大数据平台的首选基础架构之一，尤其在离线批量数据处理和数据仓库场景中占据不可替代的地位。

蓝眸少年CY
2026-01-24 18:07:13

 1736

 25

#hadoop #大数据 #分布式
时序数据库选型权威指南：从大数据视角解读IoTDB的核心优势

时序数据库选型与IoTDB优势解析随着物联网设备激增，传统数据库难以应对时序数据的特殊需求。本文从五大维度分析时序数据库选型要点，重点解读Apache IoTDB的核心优势：选型关键：数据模型灵活性、写入/查询性能、系统扩展性、生态集成能力和运维成本效益是核心评估维度。IoTDB在层级化建模、高压缩比（10-20倍）和多级存储方面表现突出。 IoTDB优势：原生时序设计：专用TsFile格式

 码农阿豪
2026-01-26 10:36:35

 9146

 65

#时序数据库 #大数据 #iotdb
你知道 Pandas 中 `pd.get_dummies()` 会生成哪些独热的新列么？

摘要：pd.get_dummies()是Pandas中将分类变量转换为哑变量（0-1编码）的核心函数。默认生成的新列名遵循"原列名_分类值"格式，支持通过参数自定义前缀和分隔符。重要参数drop_first=True可删除每个分类的首个哑变量列，避免线性模型中的多重共线性问题。该函数支持处理字符串/数值型分类值，自动忽略空值，并能指定特定列进行转换。注意树模型对共线性不敏感，而

 人工干智能
2026-01-20 23:24:03

 886

 7

#pandas #大数据
大数据技术演进（从传统Hadoop到Spark到云原生的技术演进路径）

【代码】大数据技术演进（从传统Hadoop到Spark到云原生的技术演进路径）

徐梓麒
2026-01-21 17:20:57

 1003

 12

#大数据 #hadoop #spark
【Elasticsearch】审计日志（三）：案例实战分析

本文通过实战案例演示 Elasticsearch 审计日志分析，主要内容包括：（1）创建测试索引并写入样例数据；（2）审计日志查询方法，包括按时间倒序查询和按事件类型聚合统计；（3）重点分析 SSL 异常、合规性操作等关键事件类型及其安全含义；（4）提供特定事件类型查询和时间范围过滤的 DSL 示例。分析发现 SSL 异常事件数量异常偏高，同时合规性操作日志记录完整，建议优先调查 SSL 问题并检

 皮皮要HAPPY
2026-01-19 23:50:58

 1177

 16

#elasticsearch #大数据 #搜索引擎 +1