猫熊小才天の书院

HBase进阶

HBase中的HLog
HBase中的MemStore

1. 架构

Kafka

1. 知识点

1.1 Kafka不能保证消息的全局有序，只能保证消息在partition内有序

1.2 每个partition对应于一个log文件，该log文件中存储的就是生产者生成的数据，生产者生成的数据会不断的追加到该log的文件末端，且每条数据都有自己的offset

1.3 kafka中的分片+索引

Flink总结

1. 状态一致性

• at most once
• at least once
• exactly once

2. 端到端的状态一致性

数仓架构

1. 数据仓库

特点：

1. 面向主题

   电商，流量，交易。。。

2. 集成

   各个数据源：数据库，日志，爬虫。。。

3. 相对稳定

   主要用来查询，不是用来删除和修改

4. 反映历史变化

   N年的记录，每个月、每个季度、每年的汇总记录

5. 管理决策

   分析数据 -> 指标

数据湖指的是所有的原始数据，数据仓库指经过处理的原始数据（四层）

Java 容器

• Collection
  • List：可以重复
    • CopyOnWriteArrayList
    • Vector
    • ArrayList
    • LinkedList
  • Set：不可重复
    • HashSet & LinkedHashSet：HashSet无序，哈希表；LinkedHashSet 通过链表可以实现有序
    • SortedSet & TreeSet：有序，红黑树
    • EnumSet
    • CopyOnWriteArraySet
    • ConcurrentSkipListSet
    Read more »