반응형 카프카인액션3 04 프로듀서: 데이터 공급 4.1 예제웹사이트가 고객을 위해 어떻게 작동하는지에 대한 사용자 피드백을 받는 애플리케이션이 있다고 해보자.현재 사용자는 지원 계정이나 챗봇에 이메일을 생성하는 양식을 웹사이트에 제출한다.지원 담당자가 받은 편지함을 열어 고객이 어떤 제안이나 문제를 겪었는지 확인한다.이 이메일 전송 대신 카픜카 토픽에 쓰는 것으로 변경하면, 중요한 정보를 필요한 형식으로 추출할 수 있으며 다양한 방식으로 활용할 수 있다.소비하는 애플리케이션은 단일 프로토콜 형식에 묶이지 않고 데이터 작업에 스키마를 사용할 수 있다.4.1.1 프로듀서 설명프로듀서 작업에는 클러스터에 대한 메타데이터 가져오기가 포함된다.프로듀서는 할당된 파티션의 리더 레플리카에만 쓸 수 있다.사용자는 토픽 이름만 알고 있으므로, 이 메타데이터는 프로듀서.. 2025. 1. 12. 03 카프카 프로젝트 3.1 카프카 프로젝트 설계3.1.1 기존 데이터 아키텍처 인수가상의 컨설팅 회사는 원격으로 전기 자전거를 관리하는 공장을 재설계한다.센서는 모니터링하는 내부 장비 상태와 이 상태 이벤트를 지속적으로 제공하는 자전거 전체에 설치된다.현재 시스템은 대부분의 메시지를 무시해야할 정도로 많은 이벤트가 생성되고 있다.3.1.2 첫 변경모든 데이터를 한 번에 카프카로 옮기는 빅뱅 접근 방식이 아닌, 당분간 기존 애플리케이션을 실행하면서 새로운 아키텍처를 시작한다.3.1.3 내장 기능카프카 커넥트의 용도는 자체 프로듀서와 컨슈머를 작성하지 않고 카프카 안팎으로 데이터 이동을 돕는 것이다.커넥트는 스트리밍 작업을 시작하기 위해 이전에 구축한 부품을 간단하게 사용할 수 있도록 만드는 프레임워크이다.코드 없이 구성만으로.. 2025. 1. 5. 02 카프카 알아보기 2.1 메시지 생산과 소비레코드라고도 불리는 메시지는 카프카를 통해 흐르는 데이터의 기본 요소다.메시지는 카프카가 데이터를 표현하는 방식이다.개별 메시지는 타임스탬프, 값 그리고 선택적으로 키를 갖고 있다.2.2 브로커란 무엇인가?브로커는 카프카의 서버 측면으로 생각할 수있다.유의할 점은 카프카는 명령줄을 염두에 두고 개발되었다.사용할 GUI가 없으므로 운영체제의 명렬줄 인터페이스와 상호 작용할 방법이 필요하다.토픽 만들기bin/kafka-topics.sh --create --bootstrap-server localhost:9094 --topic kinaction_helloworld --partitions 3 --replication-factor 3--partitions 옵션은 토픽을 얼마나 분할할 것인.. 2024. 12. 14. 이전 1 다음 반응형