博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
kafka集群搭建
阅读量:2160 次
发布时间:2019-05-01

本文共 1824 字,大约阅读时间需要 6 分钟。

由于kafka是强依赖zookeeper的,需要先安装zookeeper,我们在之前的介绍中已经搭建好了zookeeper集群:

 

1、下载安装包

wget

解压  tar -zxvf  kafka_2.11-2.2.2.tgz

2、然后创建相对应的实例路径:

[ local]$ mkdir -m 777 kafka-cluster

[ local]$ cd kafka-cluster/
[ kafka-cluster]$ ls
[ kafka-cluster]$ mkdir -m 777 kafka01
[ kafka-cluster]$ mkdir -m 777 kafka02
[ kafka-cluster]$ mkdir -m 777 kafka03

[kafka_2.11-2.2.2]$ cp -rf * /usr/local/kafka-cluster/kafka01/

[kafka_2.11-2.2.2]$ cp -rf * /usr/local/kafka-cluster/kafka02/
[kafka_2.11-2.2.2]$ cp -rf * /usr/local/kafka-cluster/kafka03/
[kafka_2.11-2.2.2]$ cd /usr/local/kafka-cluster/kafka01/
[kafka01]$ ls
bin  config  libs  LICENSE  NOTICE  site-docs
[kafka01]$ 

3、依次修改各个实例config路径下server.properties配置,先改kafka01

broker.id=1,这个配置 类似于id标识,不能重复便于区分,和zookeeper的myid类似

log.dirs=/tmp/kafka-logs,路径需要有

zookeeper.connect=172.16.22.97:2183

这里需要修改成zookeeper实例leader角色的ip地址和端口

4、按照第3步骤,修改 kafka02的配置文件server.properties、kafka03实例的配置文件server.properties,

kafka02的server.properties改为:

broker.id=2

log.dirs=/tmp/kafka-logs2(需要创建)

zookeeper.connect=172.16.22.97:2183

 

kafka03的server.properties改为:

broker.id=3

log.dirs=/tmp/kafka-logs3 (需要创建)

zookeeper.connect=172.16.22.97:2183

 

5、尝试启动

[root@ bin]# ./kafka-server-start.sh

USAGE: ./kafka-server-start.sh [-daemon] server.properties [--override property=value]*

百度了一下,修改 ./kafka-server-start.sh里面的启动配置,之前申请了1G空间,占用内存过大

改小一点:

再次启动:

./kafka-server-start.sh  -daemon /usr/local/kafka-cluster/kafka01/config/server.properties

 

 

6、继续启动kafka02和kafka03,遇到的一些问题:

然后我们再去启动另外一台kafka02实例:

./kafka-server-start.sh -daemon /usr/local/kafka-cluster/kafka02/config/server.properties,报错如下:

然后换了一种启动方式,回到kafka02路径下,

./bin/kafka-server-start.sh config/server.properties &

然后报错信息如下,端口被占用,犯了跟zookeeper搭建时候一样错。[汗]

那么去修改 kafka02和kafka03的端口:

我们可以看到,之前的配置文件里面说道,如果不配置端口,默认就是9092:

把注释放开,改一下kafka02配置:

kafka03配置:

这次可以看到,启动成功了,如下:

然后再启动kafak03;

 

转载地址:http://scwzb.baihongyu.com/

你可能感兴趣的文章
用验证曲线 validation curve 选择超参数
查看>>
用 Grid Search 对 SVM 进行调参
查看>>
用 Pipeline 将训练集参数重复应用到测试集
查看>>
PCA 的数学原理和可视化效果
查看>>
机器学习中常用评估指标汇总
查看>>
什么是 ROC AUC
查看>>
Bagging 简述
查看>>
详解 Stacking 的 python 实现
查看>>
简述极大似然估计
查看>>
用线性判别分析 LDA 降维
查看>>
用 Doc2Vec 得到文档/段落/句子的向量表达
查看>>
使聊天机器人具有个性
查看>>
使聊天机器人的对话更有营养
查看>>
一个 tflearn 情感分析小例子
查看>>
attention 机制入门
查看>>
手把手用 IntelliJ IDEA 和 SBT 创建 scala 项目
查看>>
双向 LSTM
查看>>
GAN 的 keras 实现
查看>>
AI 在 marketing 上的应用
查看>>
Logistic regression 为什么用 sigmoid ?
查看>>