[Kafka] 버전별로 변경된 Partitoner 동작 간단히 알아보기
Deprecated DefaultPartitioner와 BuiltInPartitioner
작성 동기
(현재 글과 크게 관련은 없지만) Kafka 이벤트 발행이 partition key를 지정했음에도 동일 partition에서 처리되지 않는 현상이 있었다.
원인을 찾아보니 프로젝트에서 별도로 정의한 Partitioner 구현체에서 파라미터로 받은 partition key를 사용하지 않았었고(아마 사용할 일이 없었던 듯하다), 왜 구현체를 따로 쓰고 있는지 찾아보니 Kafka DefaultPartitioner가 deprecated 되었다는 히스토리가 있었다.
Partitioner 구현체를 지정하지 않으면 사용되는 DefaultPartitioner가 막연히 Round Robin으로 동작할거라 생각했는데 deprecated 될 이유가 있었나 싶어 알아본 내용을 간단히 기록했다.
본문
기본 Partitioner 동작을 다루기 때문에 produce 시 partition key, 특정 partition을 명시하지 않았을 때 어떻게 동작하는지 설명한다.
kafka-clients 버전 기준으로 사용되는 Partitioner는 아래와 같고,
| kafka-clients version | 기본 파티셔닝 방식 |
|---|---|
| ~2.3.x | DefaultPartitioner (Round Robin) |
| 2.4.0~3.2.x | DefaultPartitioner (Sticky) |
| 3.3.0 ~ | BuiltInPartitioner (개선된 Sticky — Adaptive Sticky) |
produce된 record는 RecordAccumulator 내 Batch에서 관리된다.
RecordAccumulator
RecordAccumulator는 Producer의 전송 버퍼를 말한다. 즉, topic별 전송할 records를 쌓아두는 곳이다.
파티션마다 배치 큐(Deque<ProducerBatch>)가 있고, 한 배치 ProducerBatch에 여러 record가 들어가는 구조다.
RecordAccumulator
└── Topic
├── Partition 0 (P0)
│ ├── Batch 1 → [record1, record2]
│ └── Batch 2 → [record4]
│
└── Partition 1 (P1)
├── Batch 1 → [record3]
└── Batch 2 → [record5, record6]
- record는 Batch에 모여있다가 한번에 broker로 보냄
- Batch size가 다 차거나,
linger.ms를 넘기면 전송
- Batch size가 다 차거나,
DefaultPartitioner (2.4 이전) - Round Robin
produce 할 때마다 P0 → P1 → P2 순으로 파티션을 바꾼다. 동시에 요청해도 다른 파티션으로 들어갈 수 있다.
record는 파티션별로 고르게 나뉘지만, 전송해야 할 Batch는 많아지므로 전송 성능이 떨어질 수 있다.
DefaultPartitioner (2.4~3.2) - Sticky
linger.ms가 지나서 Batch를 바꾸는게 아니라면 동일 Batch에 record를 추가한다. 같은 파티션에 연속으로 추가하므로 같은 Batch를 채우게 되고 전송 성능이 좋다.
linger.ms=0인 아래 예시에서는 빠른 P0, P2으로 1건씩 바로 내보낸다. 반면 느린 P1은 배치를 내보내지 못하는 동안 4건을 받는다. 선택 횟수가 같아도 느린 파티션에 더 많은 레코드가 몰릴 수 있다.
- Batch에 여러 record를 쉽게 채우고 보낼 수 있어서 성능이 좋을 때도 있지만, 특정 파티션(P1)에서 처리가 늦어지는 경우 문제가 될 수 있음 (trade-off)
BuiltInPartitioner (3.3~) - Adaptive Sticky
이전에는 linger.ms만 봤지만 여기서는 Batch size도 본다. 더 여유가 있는 Batch를 우선으로 선택하는 전략이다. 아래 예시는 P1에 전송 지연으로 size 여유가 없어 다른 파티션으로 record를 전송하는 모습이다.