kafka2 카프카 톺아보기 3-1. 컨슈머 개념 커밋커밋이란 컨슈머가 자신이 어디까지 메시지를 소비했는지 메시지의 오프셋(offset)을 기록하는 행위이다.참고로 offset 을 커밋하는 방식은 여러가지가 있을 수 있다.offset 을 자동으로 커밋할 수도 있고 수동으로 커밋할 수도 있다. 또한 커밋에 대한 결과를 동기적으로 받을 수도 있고 비동기로 받을 수도 있다.아래 그림을 보면 poll 을 통해 1~500 개의 메시지를 가져온다. 그리고 offset 500을 커밋하게 된다.이렇게 되면, 해당 파티션과 연결된 컨슈머 그룹의 컨슈머는 다음에는 501 오프셋을 가진 메시지를 소비하게 된다.auto commit자동으로 커밋을 수행하는 경우, auto.commit.interval.ms 설정에 의해서, 메시지들을 poll 한 후에 해당 시간이 흐른뒤에 로직.. 2024. 5. 30. 카프카 톺아보기2 - CLI 카프카는 운영을 위한 커맨드 라인툴을 많이 제공한다.카프카를 운영하는 입장은 아니지만, 로컬에서 카프카를 세팅할때 필요한 명령어들을 조금 알아보려고한다.브로커 설정도커 컴포즈를 사용하여 카프카 세팅을 하는 경우, 아래와 같은 방식을 통해 설정할 수 있다.이번 포스팅에서는 커맨드라인 툴을 설명할 예정이라 추후에 다뤄보려고 한다.docker-compose 파일의 environment 프로퍼티로 설정server.properties 로 설정토픽 관련 - kafka-topics.sh위 쉘 스크립트를 통해서는 토픽의 생성, 정보 세팅, 정보 변경 등을 수행할 수 있다.옵션—create : 토픽의 생성. 별다른 설정을 주지 않으면, 브로커의 값을 따르게 된다.docker 명령어를 통해서 실행docker exec -i.. 2024. 5. 30. 이전 1 다음
