반응형 카프카6 08 카프카 스토리지 8.1 데이터 저장 기간카프카 토픽 데이터의 기존 보존기간 제한은 7일이며, 이 제한은 시간이나 데이터 크기로 쉽게 구성할 수 있다.브로커에 대한 보존기간의 주요 고려사항은 로그의 크기와 데이터가 존재하는 시간이다. 'log.retention.bytes'(로그 삭제를 위한 최대 크기 임댓값), log.retention.ms(로그 삭제 전 유지 시간) 등의 속성값이 있다.로그 보존기간 제한을 비활성화하고 영원히 유지하려면, log.retention.bytes, log.retention.ms 값 모두 -1로 설정하면 데이터 삭제를 끌 수 있다.8.2 데이터 이동도구나 코드를 사용해 데이터를 원래 형식으로 가져오고 데이터를 변환한 다음 다른 테이블이나 데이터 저장소에 배치할 수 있다. 카프카는 이러한 데이터 .. 2025. 2. 23. 07 토픽과 파티션 7.1 토픽토픽은 물리적 구조가 아닌 추상적인 개념이다.토픽은 일반적으로 하나의 브로커에만 존재하는 것은 아니다.토픽 이름 뒤에는 실제로 데이터를 보유하는 하나 이상의 파티션이 있다.파티션은 각 디스크에 물리적 공간이 존재한다.토픽을 구성하는 역할과 부분은 컨슈머가 데이터에 접근하는 방식에 영향을 미친다.토픽 설계첫 번째 단계는 이벤트를 확인하고 하나의 토픽에 속해 있는지 아니면 둘에 속해있는지 구분한다.두 번째 단계는 각 토픽을 고려하는데, 이 때 파티션의 수를 고려하면 좋다. 중요한 점은 파티션이 토픽별 설계에 대한 질문이지, 클러스터 전체의 제한이나 요구가 아니라는 것이다. 토픽 생성을 위한 기본 파티션 수를 설정할 수 있지만, 대부분의 경우 토픽이 사용되는 방식과 보유할 데이터를 고려해야 한다.특.. 2025. 2. 15. 06 브로커 6.1 브로커 소개브로커는 다른 브로커와 협력하여 시스템의 핵심을 형성한다.6.2 주키퍼의 역할브로커 작동방식에서 핵심 파트이며 카프카를 실행하기 위한 요구사항이다.주키퍼 자체는 클러스터의 토픽과 같은 정보를 보유한다.주키퍼는 할당과 통지를 코디네이트하여 브로커를 돕는다. 브로커와의 이러한 상호 작용 때문에 브로커를 시작하기 전에 주키퍼를 먼저 실행해야 한다. 주키퍼 클러스터 상태는 카프카 브로커의 상태에 영향을 미친다. 예를 들어, 주키퍼 인스턴스가 손상된 경우 토픽 메타데이터와 구성이 손실될 수 있다.카프카 브로커는 다른 브로커와 조율할 수 있을 뿐만 아니라 주키퍼와 대화할 수 있다.6.3 브로커 수준의 옵션구성은 카프카 클라이언트, 토픽, 브로커 작동에 있어 중요한 부분이다.예를 들어 log.dir.. 2025. 2. 15. 05 컨슈머: 데이터 열기 컨슈머는 카프카에서 데이터를 가져와 다른 시스템이나 애플리케이션에 이 데이터를 제공한다. 컨슈머는 브로커 외부에 존재하는 클라이언트 이므로 다양한 프로그래밍 언어로 작성이 가능하다.5.1 예제컨슈머 클라이언트는 관심 있는 토픽을 구독하는 프로그램이다.실제 프로덕션 환경에서 대부분의 컨슈머 클라이언튼느 별도의 호스트에 있다.컨슈머가 토픽을 구독하는 대신 데이터가 푸시되지 않는다. -> 처리 제어의 권한은 컨슈머에게 이전된다.5.1.1 컨슈머 옵션클라이언트 시작 시 연결을 시도할 수 있는 브로커를 항상 알아야 한다.메시지를 생성한 직렬 변환기와 일치하는 키와 값에 대한 역직렬 변환기를 사용해야 한다.5.1.2 코디네이트 이해컨슈머가 브로커에게 보내는 로그의 인덱스 위치로 오프셋을 사용한다. 이를 통해 로그는.. 2025. 1. 19. 04 프로듀서: 데이터 공급 4.1 예제웹사이트가 고객을 위해 어떻게 작동하는지에 대한 사용자 피드백을 받는 애플리케이션이 있다고 해보자.현재 사용자는 지원 계정이나 챗봇에 이메일을 생성하는 양식을 웹사이트에 제출한다.지원 담당자가 받은 편지함을 열어 고객이 어떤 제안이나 문제를 겪었는지 확인한다.이 이메일 전송 대신 카픜카 토픽에 쓰는 것으로 변경하면, 중요한 정보를 필요한 형식으로 추출할 수 있으며 다양한 방식으로 활용할 수 있다.소비하는 애플리케이션은 단일 프로토콜 형식에 묶이지 않고 데이터 작업에 스키마를 사용할 수 있다.4.1.1 프로듀서 설명프로듀서 작업에는 클러스터에 대한 메타데이터 가져오기가 포함된다.프로듀서는 할당된 파티션의 리더 레플리카에만 쓸 수 있다.사용자는 토픽 이름만 알고 있으므로, 이 메타데이터는 프로듀서.. 2025. 1. 12. 02 카프카 알아보기 2.1 메시지 생산과 소비레코드라고도 불리는 메시지는 카프카를 통해 흐르는 데이터의 기본 요소다.메시지는 카프카가 데이터를 표현하는 방식이다.개별 메시지는 타임스탬프, 값 그리고 선택적으로 키를 갖고 있다.2.2 브로커란 무엇인가?브로커는 카프카의 서버 측면으로 생각할 수있다.유의할 점은 카프카는 명령줄을 염두에 두고 개발되었다.사용할 GUI가 없으므로 운영체제의 명렬줄 인터페이스와 상호 작용할 방법이 필요하다.토픽 만들기bin/kafka-topics.sh --create --bootstrap-server localhost:9094 --topic kinaction_helloworld --partitions 3 --replication-factor 3--partitions 옵션은 토픽을 얼마나 분할할 것인.. 2024. 12. 14. 이전 1 다음 반응형
