Redis中的跳表 发表于 2020-10-15 | 分类于 Redis | | 阅读次数: Redis中的跳表参考网址1参考网址2 redis 数据类型 zset 实现有序集合,底层使用的数据结构是跳表。 源码在 src/t_zset.c 文件中,相关数据结构的定义在 src/server.h 文件中。(4.0版本) 元素有序的时候,如果是数组,可以通过二分查找来提速;如果是链表,如何提速 ... 阅读全文 »
HBase WAL日志 发表于 2020-11-16 | 分类于 Hadoop , HBase | | 阅读次数: HBase WAL日志参考网址1参考网址2 每一个region servser维护一个或多个Hlog(1.X版本可以开启multiwal),而不是每一个region一个日志。这样不同 region(可能来自来自不同 table) 的日志会混在一起,这样做的目的是不断追加单个文件相对于同时写多个文件而 ... 阅读全文 »
JVM SafePoint 发表于 2020-11-12 | 分类于 Java , JVM | | 阅读次数: JVM SafePoint在多线程环境下,为了能正确回收不再使用的内存,安全回收需要满足以下两个条件 堆内存的变化是受控制的,最好所有的线程都停止 堆中的对象是已知的,不再使用的对象都可以找到 ∴ JVM 是在 SafePoint 点时才进行回收,所谓 SafePoint 即Java线程执行到某 ... 阅读全文 »
Flink(暂时) 发表于 2020-10-20 | 分类于 Flink | | 阅读次数: Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算 lambda架构 storm 低延迟 毫秒级 消息保障能力弱,消息传输可能重复但不会丢失 吞吐量低 spark streaming 以固定时间间隔(几秒钟)处理一段段的批处理作业(微批) 高延迟(秒级) 能够保证消息传输 ... 阅读全文 »
Distcp 跨集群同步 发表于 2020-10-09 | 分类于 Hadoop , Hive | | 阅读次数: Distcp 跨集群同步1. 使用方法及原理12hadoop distcp srcPath tarPath会把srcPath和tarPath下的所有目录、文件信息放入到 _distcp_src_files 和 _distcp_dst_files 两个临时文件中,具体文件内容的拷贝工作交给多个map任 ... 阅读全文 »