本文使用工具或者服务 Java 8 https://archive.apache.org/dist/kafka/3.0.0/kafka_2.13-3.0.0.tgz https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz Centos8.2 Zookeeper 簡介 ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。Kafka的运行依赖ZooKeeper。 Broker注册 Topic注册 生产者负载均衡 消费者负载均衡 消费者注册 Kafka 簡介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量 即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。 支持通过Kafka服务器和消费机集群来分区消息。 zookeeper 與kafka之間的關係 ZooKeeper用于分布式系统的协调，Kafka使用ZooKeeper也是基于相同的原因。ZooKeeper主要用来协调Kafka的各个broker，不仅可以实现broker的负载均衡，而且当增加了broker或者某个broker故障了，ZooKeeper将会通知生产者和消费者，这样可以保证整个系统正常运转。 安裝zooker和kafka 之前首先要做系統的優化和配置 文件句柄數的調整 oracle Jre8 安裝 磁盤的分區和挂載點必須滿足kafka大數量的存儲xfs分區 關閉selinux 防火墻暫時關閉(後面看可以統一規劃端口) 創建非root的kafka管理用戶並添加sudoer權限 注意事項 kafka是一個分佈式的消息系統，我們會臨時存儲消息，如果存儲消息的時間長，那麽需要大空間，所以分區的時候已經要注意，就是安裝kafka的時候存儲一定要挂載到大的硬盤空間上 Zookeeper 配置 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored.……

阅读全文