[Data Engineering] UI for Kafka 사용

UI for Kafka 사용해보기

게시 2025/02/13

By 황병현

2 분읽는 시간

UI for Kafka

UI for Kafka 의 주소에 들어가면 자세한 정보를 확인할 수 있다.

Docker Compose 설정 파일로 zookeeper와 kafka 구동시키기

  
services:
  zookeeper-1:
    image: confluentinc/cp-zookeeper:latest
    ports:
      - '2181:2181'
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  kafka-1:
    image: confluentinc/cp-kafka:latest
    ports:
      - '9091:9091'
    depends_on:
      - zookeeper-1
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-1:29091,EXTERNAL://localhost:9091
      KAFKA_DEFAULT_REPLICATION_FACTOR: 3
      KAFKA_NUM_PARTITIONS: 3

  kafka-2:
    image: confluentinc/cp-kafka:latest
    ports:
      - '9092:9092'
    depends_on:
      - zookeeper-1
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-2:29092,EXTERNAL://localhost:9092
      KAFKA_DEFAULT_REPLICATION_FACTOR: 3
      KAFKA_NUM_PARTITIONS: 3

  kafka-3:
    image: confluentinc/cp-kafka:latest
    ports:
      - '9093:9093'
    depends_on:
      - zookeeper-1
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-3:29093,EXTERNAL://localhost:9093
      KAFKA_DEFAULT_REPLICATION_FACTOR: 3
      KAFKA_NUM_PARTITIONS: 3

zookeeper, kafka 실행

docker-compose -f doker-compose.yaml up -d

실행하면 아래와 같이 docker에 띄어진 것을 확인할 수 있다.

UI for Kafka 실행

  
services:
  kafka-ui:
    image: provectuslabs/kafka-ui
    container_name: kafka-ui
    ports:
      - "8989:8080"
    restart: always
    environment:
      - KAFKA_CLUSTERS_0_NAME=local
      - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka-1:29091,kafka-2:29092,kafka-3:29093
      - KAFKA_CLUSTERS_0_ZOOKEEPER=zookeeper-1:2181

ui for kafka 실행

docker-compose -f doker-compose-kafka.yaml up -d

http://localhost:8989/에 접근하면 ui for kafka에 들어갈 수 있다.

Kafka 내부 접속

  
docker exec -it [CONTAINER ID] bash

Topic 생성

  
kafka-topics --create --bootstrap-server kafka-1:29091 --replication-factor 3 --partitions 3 --topic topic1

생성된 Topic 확인

kafka-topics --list --bootstrap-server kafka-1:29091

Topic 상세 정보

  
kafka-topics --describe --bootstrap-server kafka-1:29091 --topic topic1

토픽 삭제

  
kafka-topics --delete --bootstrap-server kafka-1:29091 --topic topic1

Producer 실행

kafka-console-producer --broker-list kafka-1:29091 --topic topic1

실행 후 직접 메시지를 입력하면 Kafka에 전송됨

Consumer 실행

  
kafka-console-consumer --bootstrap-server kafka-1:29091 --topic topic1 --from-beginning

–from-beginning: 처음부터 모든 메시지 조회

Consumer 그룹 ID 지정

  
kafka-console-consumer --bootstrap-server kafka-1:29091 --topic topic1 --group my-group --from-beginning

특정 컨슈머 그룹(my-group)으로 메시지를 읽음

Consumer 그룹 목록 확인

kafka-consumer-groups --bootstrap-server kafka-1:29091 --list

특정 Consumer 그룹의 상태 확인

  
kafka-consumer-groups --bootstrap-server kafka-1:29091 --group my-group --describe

해당 그룹의 Offset, Lag(지연 메시지 개수), 파티션 정보 확인 가능

Consumer Offset 리셋

  
kafka-consumer-groups --bootstrap-server kafka-1:29091 --group my-group --reset-offsets --to-earliest --execute --topic topic1

–to-earliest: 가장 오래된 메시지부터 다시 읽도록 설정

참고자료

Data Engineering, Kafka