kafka系列：windows安装kafka

文章目录

- - 一、jdk安装
  - 二、安装zookeeper
  - - 1、下载并解压zookeeper
    - 2、修改zoo.cfg配置文件
    - 3、添加zookeeper环境变量
    - 4、启动zookeeper
  - 三、kafka安装
  - - 1、下载并解压
    - 2、进行conf目录下打开server.properties进行配置修改
    - 3、执行命令
    - 4、测试
    - 问题
    - - ERROR Shutdown broker because all log dirs in D:\env\kafka\kafka\logs have failed (kafka.log.LogManager)
      - 启动时提示，输入行太长。命令语法不正确
  - 四、kafka可视化工具offset Explorer
  - - 1、下载
    - 2、安装、启动、连接
    - 3、连接之后就可以查看相关的信息了

一、jdk安装

我这里安装的是jdk1.8

需要进行安装配置,具体的安装教程可以参考

二、安装zookeeper

1、下载并解压zookeeper

方式一：公众号获取

关注 I am Walker回复zookeeper

方式二：官网下载：

https://zookeeper.apache.org/releases.html

这里下载编译好的

下载后进行解压

2、修改zoo.cfg配置文件

将conf/zoo_sample.cfg修改为zoo.cfg
查询dataDir 然后创建一个新的data文件夹，并将路径修改为它

记得以\\进行分割

3、添加zookeeper环境变量

添加系统变量 ZOOKEEPER_HOME，值为自己下载的zookeeper的路径，如我的 D:\env\apache-zookeeper-3.7.1-bin\apache-zookeeper-3.7.1-bin\conf
编辑path变量，添加%ZOOKEEPER_HOME%\bin

4、启动zookeeper

打开命令行，执行zkServer

该窗口不要关闭

三、kafka安装

1、下载并解压

方式一：关注I am Walker 回复 kafka

方式二：官网下载

https://kafka.apache.org/downloads

解压后将文件夹名称改为kafka，名称不能太长，否则后面启动的时候会出现错误

2、进行conf目录下打开server.properties进行配置修改

log.dirs修改

查询log.dirs，修改日志路径，可以自己创建一个logs文件夹

log.dirs=D:\env\kafka\kafka\logs

zookeeper.connect

如果zookeeper的ip和端口没做改变，则不需要修改

3、执行命令

进行\kafka目录下，在目录中输入cmd进行命令行

执行.\bin\windows\kafka-server-start.bat .\config\server.properties

启动前确认zookeeper是开启的

之后该命令行不要关闭

4、测试

创建主题

# 
.\bin\windows\kafka-topics.bat 
--create 
--zookeeper localhost:2181 
--replication-factor 1 
--partitions 1 
--topic test

查询topic

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

创建生产者

.\bin\windows\kafka-console-producer.bat 
--broker-list localhost:9092 
--topic test

创建消费者

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

生产者发送信息，消费者接受

在生产者中输入“hello”，可以发现在消费者中能接受到”hello”

删除topic

  .\bin\windows\kafka-topics.bat  --delete --zookeeper localhost:2181  --topic test

可以发现是逻辑删除，并不是先直接物理删除的

删除后重新查询列表

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

问题

ERROR Shutdown broker because all log dirs in D:\env\kafka\kafka\logs have failed (kafka.log.LogManager)

解决办法：

1.去kafka日志目录下删除log里topic日志（重启kafka还是报错）。

2. 还需要删除zookeeper里zoo.cfg里配置的dataDir目录下的日志。

启动时提示，输入行太长。命令语法不正确

方式一：

文件名称太长，将其直接改为kafka

方式二：

https://blog.csdn.net/FunnyWhiteCat/article/details/126241088

四、kafka可视化工具offset Explorer

1、下载