kafka Quick Start

참조사이트

kafka.apache.org/quickstart

Apache Kafka

기반 환경

네이버클라우드플랫폼 VPC 환경 Server

CentOS 7.3centos-7.3-64

 centos-7.3-64

다운로드

아래 링크 파일을 다운로드, 압축을 해제하였다.

https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz

wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz
tar -xzf kafka_2.13-2.7.0.tgz

 

kafka 초기 설정

bin/zookeeper-server-start.sh config/zookeeper.properties

java: not found 에러가 발생하였다!

네이버 클라우드 플랫폼에 VM을 생성하여 진행을 하고 있었는데,

Java 기반이라 java가 필요한듯 했다.

 

아래 문구를 읽었어야 했다.

NOTE: Your local environment must have Java 8+ installed.

 

openjdk 11을 설치하기로 했다. (연동 스프링을 openjdk11로 할계획이기 때문에..)

yum install java-11-openjdk-devel.x86_64

 

그 후 계속 아까 막혔던 곳을 다시 실행하였으나..

에러가 발생했던 구간은 pass 했으나, 위 구간에서 hang이 걸리고 있었다.. 대기해야하는 걸까? 😂😂

 

 

그게 아니었다.

 

Hang이 아니라 zookeeper가 Foreground에서 실행되고 있었던 것

즉, 아래처럼 -daemon 옵션을 주어 background에 daemon을 띄우는 식으로 진행을 해야했던 것이었다!

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
bin/kafka-server-start.sh -daemon config/server.properties

띄워진 프로세스를 확인해 보면 kafka가 잔뜩 떠 있었다.

 

 

그 다음 스텝, CREATE A TOPIC TO STORE YOUR EVENTS

메세지 큐에 담기는 것이 'Event',

각각의 메세지 큐가 'Topic' 이라고 하는 것 같다.

 

가장 먼저, 'TOPIC'을 생성해 본다.

bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Created topic quickstart-events.

 

'quickstart-events' 라는 'Topic'을 생성했고, 그것은 9092 포트로 띄워진 것 같았다.

몇 가지 옵션이 들어있는데, 각 옵션에 대한 설명은 옵션 없이 스크립트를 실행하면 알 수 있었다.

kafka-topics.sh

 

환경 설정

vi config/zookeeper.properties   // Zookeeper 환경 설정
vi config/server.properties    //  Kafka 환경 설정