본문 바로가기
728x90

Kafka2

Kafka 설치 목차 실습 환경 kafka 설치 kafka 브로커 힙 메모리 설정 kafka 브로커 실행 옵션 설정 zookeeper, kafka broker 실행 정리 1. 실습 환경 OS: Ubuntu 20.04 CPU: OCPU 4core Memory: 24G 2. kafka 설치 https://archive.apache.org/dist/kafka/ Index of /dist/kafka archive.apache.org kafka 설치는 어렵지 않습니다! 먼저 위 사이트에서 사용하려는 버전의 kafka 바이너리 패키지 경로로 이동 후 wget 명령어를 통해 kafka 바이너리 패키지를 다운로드 받습니다. 다운로드가 완료되면 tar 명령어와 xvf 옵션을 사용해서 압축을 풀어주시면 해당 디렉토리에 kafka_2.13.. 2023. 10. 9.
KafKa란? 목차 kafka란? kafka가 데이터 파이프라인으로 적합한 이유 kafka의 중앙 집중화 정리 1. KafKa란? 카프카 공식 홈페이지에서는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 사용하는 오픈 소스 분산 이벤트 스트리밍 플랫폼이라 소개하고 있습니다. 이벤트 스트리밍은 데이터베이스, 웹, 웹 백엔드 서버와 같은 이벤트 소스에서 거의 실시간으로 발생하는 데이터를 연속적으로 처리 및 수집, 분석 하는 방식입니다. https://kafka.apache.org/ Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org kafka는 링크드인 백엔드 아키텍처에서 파편화된 데이터 .. 2023. 10. 8.
728x90