중복1 Kafka auto commit Kafka는 읽어들인 페이로드를 어디까지 읽었는지 자동으로 commit할 수 있는 auto.commit 옵션이 있다. enable.auto.commit = true auto.commit.interval.ms = ms 위 두 옵션을 통해 설정을 하는데 이 옵션이 편리해 보이지만 메세지를 중복 혹은 손실할 가능성이 생긴다. 가장 큰 이유는 카프카 컨슈머 그룹의 '리밸런싱' 과정에서 생기는데, 먼저 리밸런싱이 무엇인지 간략하게 설명하자면 카프카의 토픽의 파티션은 컨슈머 그룹의 컨슈머가 '독점'하는 형식이다. 만약 그룹내의 한 컨슈머가 문제가 발생한다면 해당 그룹은 파티션 하나 혹은 그이상을 이용할 수 없는 상태가 된다. 그렇게 된다면 메세지의 순서가 틀리게 되고, 서비스 장애로 이어질 수 있다. 그래서 카프카.. 2021. 11. 23. 이전 1 다음
