카프카3 Kafka Cluster 구성 구성: Zookeeper 3개 Kafka 3개 1 설치 Kafka 설치는 아래 페이지 참조 Kafka는 Zookeeper와 함께 실행되기 떄문에 위 설치 방법을 따라가면 Zookeeper도 함께 설치함 단일 서버라면 위 처럼 한 개만 설치하고, 분산 서버라면 각각 설치할 것 2 Zookeeper 설정 위 kafka_2.12-2.95.0/config 폴더안에 zookeeper.properties 파일이 Zookeeper 설정 파일임 분산 서버라면 각 서버 마다 zookeeper.properties파일 한개를 각각 아래와 같이 server host만 변경하고 나머진 동일하게 수정하여 사용 하고, 단일 서버에서는 zookeeper.properties파일을 여러개 생성(Copy)하여 아래 설명처럼 clientP.. 2022. 1. 14. Kafka Connect API 명령어 정리 카프카 커넥트는 기본적으로 localhost:8083 주소를 사용한다. 요청 메소드 호출 경로 설명 GET / 실행 중인 커넥트 정보 확인 GET /connectors 실행중인 커넥트 이름 확인 POST /connectors 새로운 커넥터 생성 요청 GET /connectors/{커넥트 이름} 실행 중인 커넥터 정보 확인 GET /connectors/{커넥트 이름}/config 실행 중인 커넥터의 설정값 확인 PUT /connectors/{커넥터 이름}/config 실행 중인 커넥터 설정값 변경 요청 GET /connectors/{커넥터 이름}/status 실행 중인 커넥터 상태 확인 POST /connectors/{커넥터 이름}/restart 실행 중인 커넥터 재시작 요청 PUT /connectors/.. 2021. 11. 27. Kafka auto commit Kafka는 읽어들인 페이로드를 어디까지 읽었는지 자동으로 commit할 수 있는 auto.commit 옵션이 있다. enable.auto.commit = true auto.commit.interval.ms = ms 위 두 옵션을 통해 설정을 하는데 이 옵션이 편리해 보이지만 메세지를 중복 혹은 손실할 가능성이 생긴다. 가장 큰 이유는 카프카 컨슈머 그룹의 '리밸런싱' 과정에서 생기는데, 먼저 리밸런싱이 무엇인지 간략하게 설명하자면 카프카의 토픽의 파티션은 컨슈머 그룹의 컨슈머가 '독점'하는 형식이다. 만약 그룹내의 한 컨슈머가 문제가 발생한다면 해당 그룹은 파티션 하나 혹은 그이상을 이용할 수 없는 상태가 된다. 그렇게 된다면 메세지의 순서가 틀리게 되고, 서비스 장애로 이어질 수 있다. 그래서 카프카.. 2021. 11. 23. 이전 1 다음
