登录社区云,与社区用户共同成长
邀请您加入社区
开源、C 语言编写、基于内存、支持持久化的键值数据库。高性能:读取可达 110000 次/s,写入 81000 次/s数据结构丰富:string、list、hash、sets、sorted sets支持持久化:数据可保存到磁盘原子性:单线程避免并发锁问题主从复制:数据备份为什么快?1. 纯内存操作 → 避免磁盘 IO2. 单线程 → 避免锁开销3. I/O 多路复用 → 高并发秒杀活动:库存扣减、
如果Redis内存实例大,页表就会大,fork执行时间就长,阻塞主进程的时间也就长。为了避免执行AOF重写后的命令时造成客户端输入缓冲区溢出,所以AOF重写程序在处理列表、哈希表、集合、有序集合这4种可能会带有多个元素的键时,会先检查键所包含的元素数量。当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时,与操作相对应的文件事件就会产
数据结构明确且需要严格一致性时。处理大规模非结构化数据时。快速开发和简单应用场景。
Hadoop 生态系统包含多个组件,每个组件都有不同的功能。:用于存储大规模数据的分布式文件系统。它将数据分成块并在集群中的多个节点上进行存储。MapReduce:分布式计算框架,用于处理大规模数据集。它将任务分为 Map 阶段和 Reduce 阶段,适合离线数据处理。:资源管理器,负责集群资源的分配和调度。Hive:基于 Hadoop 的数据仓库工具,用于查询和分析大规模数据。Pig:高级脚本语
MapReduce 是一种编程模型,用于处理大规模数据集。它将任务分为两个阶段:Map 阶段和 Reduce 阶段。Map 阶段将输入数据拆分成键值对,然后应用用户定义的函数进行处理。Reduce 阶段将 Map 阶段的输出进行合并和汇总。MapReduce 适用于离线数据处理,但不适合实时数据处理。