在 Doris 里,一张表的数据经过两级切分:先按分区(Partition)做逻辑切分,再在分区内按分桶(Bucket)做物理切分,分桶的产物就是 Tablet(数据移动、副本、均衡的最小物理单元),每个 Tablet 会有多个副本散布在不同的 BE 节点上:
一、分区(Partition):数据的逻辑切分
分区解决的是数据管理和裁剪问题,不做数据分布。
两种分区方式
- Range 分区(最常用):按分区列的取值范围切分,典型按天/月对时间列分区。支持 DYNAMIC_PARTITION 动态分区——自动创建未来分区、自动删除过期分区(相当于 TTL),实时数仓标配。
- List 分区:按枚举值切分,如按省份、业务线。2.x 后还支持多列分区。
分区设计的核心价值
- 分区裁剪(Partition Pruning):查询带 WHERE dt = '2026-02-01' 时只扫描对应分区,数据量直接缩小一个量级;
- 生命周期管理:过期数据 DROP PARTITION 秒级完成,不用 DELETE 扫全表;
- 冷热分离:老分区可单独降副本(3 副本 → 1 副本)或转移到更廉价的存储介质。
分区列选择原则
- 选查询中几乎所有 SQL 都会带的过滤条件(时间列几乎总是首选);
- 避免分区过多:每个分区都要维护元数据,几千上万个分区会拖累 FE;一般按天/月,保留几个月到几年。
- 分区不宜过细也不宜过粗:单分区数据建议在几十 GB 以内。
二、分桶(Bucket):数据的物理切分
分桶决定数据落在哪些节点、怎么并行。分区内按分桶列做 Hash,散列成若干个 Tablet:
分桶列选得好不好,直接决定数据是否倾斜。看这个对比:
分桶列选择原则(优先级从高到低)
- 高基数列:用户 ID、订单 ID 这类取值分散的列;避免性别、状态位这种低基数列(哈希后天然倾斜,还可能出现某些桶为空);
- 查询高频等值条件 / Join Key:带分桶列的等值过滤可以直接定位到具体 Tablet(桶裁剪);两表按相同列分桶还能吃到 Colocate Join;
- 不建议无分桶列的 Random 分布:虽然省心,但等值查询会扫全部桶,Join 也要 shuffle。没有明确等值条件时,宁可选一个"次优"的高基数列。
桶数(Tablet 数量)怎么定
- 经验值:单个 Tablet 压缩后数据量 1~10GB,据此反推桶数。例如分区日增 100GB、3 副本,分 32~64 桶比较合适;
- 桶数不是越多越好:Tablet 太多 → 小文件多、元数据压力大、Compaction 负担重;太少 → 并行度不足。总 Tablet 数可参考「BE 数 × 桶数 × 分区数」的总量控制;
- 2.x 起支持 AUTO 桶(auto bucket),按数据量自动计算。
一个容易忽略的点:分桶列顺序影响前缀索引
Doris 的前缀索引取建表时前 36 字节的排序列。分桶列 + 前几列的顺序决定了哪些过滤条件能快速定位。实践上:把最常用的等值过滤列尽量放在列定义的前部。
三、建表示例
这条 DDL 是一个典型的“按天分区 + Hash 分桶 + 动态分区管理”的实时数仓事实表建法。
CREATE TABLE orders (
dt DATETIME NOT NULL COMMENT '分区列,放前列',
user_id BIGINT NOT NULL COMMENT '分桶列,高基数',
order_id VARCHAR(32) NOT NULL,
channel VARCHAR(16),
amount DECIMAL(18,2)
)
ENGINE = OLAP
UNIQUE KEY(dt, user_id, order_id) -- 主键模型,前两列兼顾前缀索引
PARTITION BY RANGE(dt) () -- 配合动态分区
DISTRIBUTED BY HASH(user_id) BUCKETS 32
PROPERTIES (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-90", -- 保留 90 天
"dynamic_partition.end" = "3", -- 预建 3 天
"dynamic_partition.prefix" = "p",
"replication_num" = "3"
);UNIQUE KEY(dt, user_id, order_id)
- 声明这是 Unique(主键)模型,主键由三列组成。写入时如果主键已存在则覆盖更新(upsert 语义),不存在则插入——这就是实时数仓里“订单最新状态”表的标准做法,上游 Flink 重放、Kafka 重复消费都天然幂等;
- 主键列的排列同时决定了前缀索引:Doris 取建表列定义的前 36 字节构建稀疏索引,dt(8 字节)+ user_id(8 字节)+ order_id(变长前 20 字节)正好构成排序前缀,意味着按时间、按用户的等值/范围过滤都能快速定位。
分区子句:PARTITION BY RANGE(dt) ()
- 按 dt 做 Range 分区;括号留空表示不手动建分区,完全交给下面的动态分区自动创建;
- 注意:Range 分区列必须是 Key 列——这里 dt 已在 UNIQUE KEY 中,满足约束。
分桶子句:DISTRIBUTED BY HASH(user_id) BUCKETS 32
- 每个分区内的数据按 user_id Hash 成 32 个 Tablet;
- 选 user_id:高基数、分布均匀,且通常是查询过滤和 Join Key,可吃到桶裁剪和 Colocate Join;
- 32 桶对应“单分区日增 30~300GB、每 Tablet 1~10GB”的量级。如果实际日增量只有几 GB,32 桶就偏多了,会造成小 Tablet 和 Compaction 压力,应下调(如 8 或 16,或用 BUCKETS AUTO)。
分区管"裁剪 + 生命周期",分桶管"分布 + 并行";分区列跟着查询条件走,分桶列跟着高基数等值条件 / Join Key 走,单 Tablet 1~10GB 定桶数。