반응형 카프카3 05 컨슈머: 데이터 열기 컨슈머는 카프카에서 데이터를 가져와 다른 시스템이나 애플리케이션에 이 데이터를 제공한다. 컨슈머는 브로커 외부에 존재하는 클라이언트 이므로 다양한 프로그래밍 언어로 작성이 가능하다.5.1 예제컨슈머 클라이언트는 관심 있는 토픽을 구독하는 프로그램이다.실제 프로덕션 환경에서 대부분의 컨슈머 클라이언튼느 별도의 호스트에 있다.컨슈머가 토픽을 구독하는 대신 데이터가 푸시되지 않는다. -> 처리 제어의 권한은 컨슈머에게 이전된다.5.1.1 컨슈머 옵션클라이언트 시작 시 연결을 시도할 수 있는 브로커를 항상 알아야 한다.메시지를 생성한 직렬 변환기와 일치하는 키와 값에 대한 역직렬 변환기를 사용해야 한다.5.1.2 코디네이트 이해컨슈머가 브로커에게 보내는 로그의 인덱스 위치로 오프셋을 사용한다. 이를 통해 로그는.. 2025. 1. 19. 04 프로듀서: 데이터 공급 4.1 예제웹사이트가 고객을 위해 어떻게 작동하는지에 대한 사용자 피드백을 받는 애플리케이션이 있다고 해보자.현재 사용자는 지원 계정이나 챗봇에 이메일을 생성하는 양식을 웹사이트에 제출한다.지원 담당자가 받은 편지함을 열어 고객이 어떤 제안이나 문제를 겪었는지 확인한다.이 이메일 전송 대신 카픜카 토픽에 쓰는 것으로 변경하면, 중요한 정보를 필요한 형식으로 추출할 수 있으며 다양한 방식으로 활용할 수 있다.소비하는 애플리케이션은 단일 프로토콜 형식에 묶이지 않고 데이터 작업에 스키마를 사용할 수 있다.4.1.1 프로듀서 설명프로듀서 작업에는 클러스터에 대한 메타데이터 가져오기가 포함된다.프로듀서는 할당된 파티션의 리더 레플리카에만 쓸 수 있다.사용자는 토픽 이름만 알고 있으므로, 이 메타데이터는 프로듀서.. 2025. 1. 12. 02 카프카 알아보기 2.1 메시지 생산과 소비레코드라고도 불리는 메시지는 카프카를 통해 흐르는 데이터의 기본 요소다.메시지는 카프카가 데이터를 표현하는 방식이다.개별 메시지는 타임스탬프, 값 그리고 선택적으로 키를 갖고 있다.2.2 브로커란 무엇인가?브로커는 카프카의 서버 측면으로 생각할 수있다.유의할 점은 카프카는 명령줄을 염두에 두고 개발되었다.사용할 GUI가 없으므로 운영체제의 명렬줄 인터페이스와 상호 작용할 방법이 필요하다.토픽 만들기bin/kafka-topics.sh --create --bootstrap-server localhost:9094 --topic kinaction_helloworld --partitions 3 --replication-factor 3--partitions 옵션은 토픽을 얼마나 분할할 것인.. 2024. 12. 14. 이전 1 다음 반응형