반응형 전체 글75 08 카프카 스토리지 8.1 데이터 저장 기간카프카 토픽 데이터의 기존 보존기간 제한은 7일이며, 이 제한은 시간이나 데이터 크기로 쉽게 구성할 수 있다.브로커에 대한 보존기간의 주요 고려사항은 로그의 크기와 데이터가 존재하는 시간이다. 'log.retention.bytes'(로그 삭제를 위한 최대 크기 임댓값), log.retention.ms(로그 삭제 전 유지 시간) 등의 속성값이 있다.로그 보존기간 제한을 비활성화하고 영원히 유지하려면, log.retention.bytes, log.retention.ms 값 모두 -1로 설정하면 데이터 삭제를 끌 수 있다.8.2 데이터 이동도구나 코드를 사용해 데이터를 원래 형식으로 가져오고 데이터를 변환한 다음 다른 테이블이나 데이터 저장소에 배치할 수 있다. 카프카는 이러한 데이터 .. 2025. 2. 23. 07 토픽과 파티션 7.1 토픽토픽은 물리적 구조가 아닌 추상적인 개념이다.토픽은 일반적으로 하나의 브로커에만 존재하는 것은 아니다.토픽 이름 뒤에는 실제로 데이터를 보유하는 하나 이상의 파티션이 있다.파티션은 각 디스크에 물리적 공간이 존재한다.토픽을 구성하는 역할과 부분은 컨슈머가 데이터에 접근하는 방식에 영향을 미친다.토픽 설계첫 번째 단계는 이벤트를 확인하고 하나의 토픽에 속해 있는지 아니면 둘에 속해있는지 구분한다.두 번째 단계는 각 토픽을 고려하는데, 이 때 파티션의 수를 고려하면 좋다. 중요한 점은 파티션이 토픽별 설계에 대한 질문이지, 클러스터 전체의 제한이나 요구가 아니라는 것이다. 토픽 생성을 위한 기본 파티션 수를 설정할 수 있지만, 대부분의 경우 토픽이 사용되는 방식과 보유할 데이터를 고려해야 한다.특.. 2025. 2. 15. 06 브로커 6.1 브로커 소개브로커는 다른 브로커와 협력하여 시스템의 핵심을 형성한다.6.2 주키퍼의 역할브로커 작동방식에서 핵심 파트이며 카프카를 실행하기 위한 요구사항이다.주키퍼 자체는 클러스터의 토픽과 같은 정보를 보유한다.주키퍼는 할당과 통지를 코디네이트하여 브로커를 돕는다. 브로커와의 이러한 상호 작용 때문에 브로커를 시작하기 전에 주키퍼를 먼저 실행해야 한다. 주키퍼 클러스터 상태는 카프카 브로커의 상태에 영향을 미친다. 예를 들어, 주키퍼 인스턴스가 손상된 경우 토픽 메타데이터와 구성이 손실될 수 있다.카프카 브로커는 다른 브로커와 조율할 수 있을 뿐만 아니라 주키퍼와 대화할 수 있다.6.3 브로커 수준의 옵션구성은 카프카 클라이언트, 토픽, 브로커 작동에 있어 중요한 부분이다.예를 들어 log.dir.. 2025. 2. 15. 7장 캐시 7.1 불필요한 데이터 전송캐시를 이용하면 서버 응답은 캐시에 보관된다.캐시된 사본이 뒤이은 요청들에 대한 응답으로 사용되어서 트래픽을 주고받는 낭비가 줄어든다.7.2 대역폭 병목클라이언트가 빠른 LAN에 있는 캐시로부터 사본을 가져온다면, 캐싱은 성능을 대폭 개선할 수 있다.7.3 갑작스런 요청 쇄도(Flash Crowds)갑작스런 요청 쇄도에 대처하기 좋다.7.4 거리로 인한 지연네트워크 라우터는 제각각 인터넷 트래픽을 지연시킨다.캐시를 근처에 설치해서 문서가 전송되는 거리를 수천 킬로에서 수십 미터로 줄일 수 있다.7.5 적중과 부적중cache hit: 캐시에 요청이 도착했을 때, 그에 대응하는 사본이 있는 경우cache miss: 대응하는 사본이 없을 경우, 이 떄는 원서버에 요청을 한다.7.5... 2025. 2. 14. 6장 프락시 6.1 웹 중개자웹 프락시 서버는 클라이언트 입장에서 트랜잭션을 수행하는 중개인이다.HTTP 프락시 서버는 웹 서버이기도 하고 웹 클라이언트이기도 하다.6.1.1 개인 프락시와 공유 프락시공유 프락시대부분의 프락시는 공유된 프락시이다.중앙 집중형 프락시를 관리하는 게 더 비용효율이 높고 쉽다개인 프락시흔하진 않지만 꾸준히 사용된다.브라우저 기능을 확장하거나 성능 개선하거나 등 컴퓨터에서 직접 실행한다.6.1.2 프락시 대 게이트웨이프락시는 같은 프로토콜을 사용하는 둘 이상의 애플리케이션을 연결한다.게이트웨이는 서로 다른 프로토콜을 사용하는 둘 이상을 연결한다.6.2 왜 프락시를 사용하는가?프락시는 보안을 개선하고, 성능을 높여주며, 비용을 절약한다.어린이 필터부적절한 사이트의 접근을 강제로 거부할 수 있.. 2025. 1. 24. 05 컨슈머: 데이터 열기 컨슈머는 카프카에서 데이터를 가져와 다른 시스템이나 애플리케이션에 이 데이터를 제공한다. 컨슈머는 브로커 외부에 존재하는 클라이언트 이므로 다양한 프로그래밍 언어로 작성이 가능하다.5.1 예제컨슈머 클라이언트는 관심 있는 토픽을 구독하는 프로그램이다.실제 프로덕션 환경에서 대부분의 컨슈머 클라이언튼느 별도의 호스트에 있다.컨슈머가 토픽을 구독하는 대신 데이터가 푸시되지 않는다. -> 처리 제어의 권한은 컨슈머에게 이전된다.5.1.1 컨슈머 옵션클라이언트 시작 시 연결을 시도할 수 있는 브로커를 항상 알아야 한다.메시지를 생성한 직렬 변환기와 일치하는 키와 값에 대한 역직렬 변환기를 사용해야 한다.5.1.2 코디네이트 이해컨슈머가 브로커에게 보내는 로그의 인덱스 위치로 오프셋을 사용한다. 이를 통해 로그는.. 2025. 1. 19. 이전 1 2 3 4 ··· 13 다음 반응형
