728x90 AMQP/Kafka4 KRaft 사용하여 Kafka 컨테이너 띄우기 1. KRaft 란? : Kafka 의 기존 외부 의존성을 제거하고 Kafka 자체적으로 metadata 를 관리하기 위해 개발 됨 (기존에는 ZooKeeper 서버에 접속하여 관리하는 구조로써, ZooKeeper 를 대신하여 사용) 2. 왜 사용해야 할까?KRaft는 2021년 아파치 Kafka 2.8 버전과 같이 공개되었으며, Apache Kafka 3.7 버전이 Zookeeper 모드를 지원하는 마지막 버전이고, 이후 Kafka 4.0 버전의 경우는 KRaft 모드로만 사용 가능 3. 사용방법 : KRaft 모드를 사용하려면 주키퍼가 필요 없으며, 대신 Kafka의 자체 메타데이터 관리와 컨트롤러가 처리 4. Quorum : 분산 시스템에서 결정을 내리거나 작업을 수행하.. 2025. 3. 7. 카프카는 어떻게 빠른 속도를 보이는 것인가? ( Kafka Buffer Pool ) 카프카는 어떻게 빠른 속도를 보이는 것인가? 디스크 기반의 저장소를 사용하는 카프카는 메모리 기반의 저장소를 사용하는 레디스보다도 더 좋은 성능을 보인다.(memory 처리속도와 SSD 처리속도는 아래의 그림을 참고하면 된다.) 요약하면 "120 나노 세컨드"와 "50~150의 마이크로 세컨드"의 차이다. (어마어마한 차이인 것이다.) 그럼 카프카는 어떻게 memory 기반의 redis를 MQ로써 사용할 때 보다 더 빠른 성능을 보이는 것인가?그건 바로 저장소는 disk 기반으로 작동하지만, disk 에 저장하기전에 memory buffer poold에 batch 형식을 기반으로 동작한다는 것이다. Producer 에서 메시지 이벤트를 발생시켜, 카프카 브로커로 전달될 때 로직레벨에서 이를 바로 디스.. 2025. 2. 21. Kafka 세팅 시 참고할 만한 내용정리 1. 카프카의 기본 구성 - Zookeeper : 카프카의 정상동작을 보장하기 위해 메타데이터를 관리하는 코디네이션(Broker의 Health Check 포함) - Producer : message 생산자 - Kafka Broker : kafka 설치 서버 - Consumer : message 소비자 - Partition : 병렬처리를 위해 하나의 토픽을 분산 처리 - Topic : Data 저장소 - Offset : message 가 저장되는 위치(읽어오는 순서에 영향. FIFO) 1-1. Kafka 내 토픽 생성 - kafka-topics.sh 명령어를 이용하면 됨(Ka.. 2024. 10. 1. Kafka 세팅 docker compose yaml Kafka 를 세팅하는 방법에는 여러가지가 있다. 1. on premise 로 직접 설치 2. docker 로 하나씩 띄우기 3. docker compose 로 한번에 띄우기 4. K8S 내 yaml 로 띄우기 5. K8S 내 kustomise 로 띠우기 6. K8S 내 helm 으로 직접 설치하기 이글에서는 다양한 방법중 docker compose 를 이용하여 local 환경에서 가볍게 세팅하는 방법에 대해 알아보겠다.우선 docker compose 를 사용하기 위한 설치는 필수!!(brew setting 은 필수!!(mac 기준이다.)brew install cask docker 설치한 다음 docker -v 와docker-compose -v 명령어를 실행하여 제대로 설치가 되었는지 확인해보자! 이미.. 2024. 9. 12. 이전 1 다음 728x90
