2020年12月12日土曜日

MacOS 上で kafka をインストールして使ってみる

概要

kafka はストリームでメッセージのやり取りをするための基盤です
今回は MacOS 上で簡単に動かす方法を紹介します

環境

  • macOS 10.15.7
  • kafka 2.6.0
  • zookeeper 3.6.2

kafka/zookeeper インストール

  • brew install kafka

一緒に zookeeper もインストールされます

kafka/zookeeper 起動

  • brew services start zookeeper
  • brew services start kafka

zookeeper は localhost:2181, kafka は localhost:9092 で起動します

トピックの作成

  • kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    すべて必須のパラメータになります

  • --create でトピックの作成

  • --zookeeper localhost:2181 で zookeeper の LISTEN アドレスの指定
  • --replication-factor 1 でレプリカを 1 つのみ生成
  • --partitions 1 でパーティションを 1 つのみ生成
  • --topic でトピック名を指定

replication-factor と partitions についてはこのあたりがイメージしやすいかなと思います

トピック確認

  • kafka-topics --list --zookeeper localhost:2181

    => test

  • kafka-topics --describe --zookeeper localhost:2181 --topic test

Topic: test PartitionCount: 1 ReplicationFactor: 1 Configs: Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0

メッセージの受信準備

  • kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning

    メッセージ待受状態になります

メッセージの送信

  • kafka-console-producer --broker-list localhost:9092 --topic test

    インタラクティブモードになった適当に文字列を入力しエンターします
    そして受信状態のコンソールにメッセージが表示されれば OK です

最後に

次回は fluentd から kafka にメッセージを送信してみたいと思います

参考サイト

0 件のコメント:

コメントを投稿