반응형 파티션2 07 토픽과 파티션 7.1 토픽토픽은 물리적 구조가 아닌 추상적인 개념이다.토픽은 일반적으로 하나의 브로커에만 존재하는 것은 아니다.토픽 이름 뒤에는 실제로 데이터를 보유하는 하나 이상의 파티션이 있다.파티션은 각 디스크에 물리적 공간이 존재한다.토픽을 구성하는 역할과 부분은 컨슈머가 데이터에 접근하는 방식에 영향을 미친다.토픽 설계첫 번째 단계는 이벤트를 확인하고 하나의 토픽에 속해 있는지 아니면 둘에 속해있는지 구분한다.두 번째 단계는 각 토픽을 고려하는데, 이 때 파티션의 수를 고려하면 좋다. 중요한 점은 파티션이 토픽별 설계에 대한 질문이지, 클러스터 전체의 제한이나 요구가 아니라는 것이다. 토픽 생성을 위한 기본 파티션 수를 설정할 수 있지만, 대부분의 경우 토픽이 사용되는 방식과 보유할 데이터를 고려해야 한다.특.. 2025. 2. 15. 04 프로듀서: 데이터 공급 4.1 예제웹사이트가 고객을 위해 어떻게 작동하는지에 대한 사용자 피드백을 받는 애플리케이션이 있다고 해보자.현재 사용자는 지원 계정이나 챗봇에 이메일을 생성하는 양식을 웹사이트에 제출한다.지원 담당자가 받은 편지함을 열어 고객이 어떤 제안이나 문제를 겪었는지 확인한다.이 이메일 전송 대신 카픜카 토픽에 쓰는 것으로 변경하면, 중요한 정보를 필요한 형식으로 추출할 수 있으며 다양한 방식으로 활용할 수 있다.소비하는 애플리케이션은 단일 프로토콜 형식에 묶이지 않고 데이터 작업에 스키마를 사용할 수 있다.4.1.1 프로듀서 설명프로듀서 작업에는 클러스터에 대한 메타데이터 가져오기가 포함된다.프로듀서는 할당된 파티션의 리더 레플리카에만 쓸 수 있다.사용자는 토픽 이름만 알고 있으므로, 이 메타데이터는 프로듀서.. 2025. 1. 12. 이전 1 다음 반응형