2.8　Kafka

Kafka是一种高吞吐量的分布式中间件，它是在日志采集处理上比较通用的大数据组件工具。其核心架构如图2-10所示。

在图2-10中，其核心架构由Producer层、Broker层、Consumer层和ZooKeeper状态协同层4部分组成。在此要厘清以下几个概念。

•　Broker：Kafka服务器，负责消息的存储和转发。

•　Topic：消息类别，Kafka按照Topic来分类消息。

•　Partition：Topic的分区。一个Topic可以包含多个Partition。Topic消息保存在各个Partition中。

•　Producer：消息生产者。

•　Consumer：消息消费者。

•　Consumer Group：消费者分组，每个Consumer必须属于一个Group。

•　ZooKeeper：保存着集群Broker、Topic、Partition等元数据；另外，它还具有Broker故障发现、Partition Leader选举、负载均衡等功能。

企业一般选择Kafka作为日志处理工具的原因如下：

•　可与Flume工具进行很好的互补组合。Flume工具虽然有多种数据源类型采集设置并能稳定、可靠地把数据发送到HDFS或HBase中；但是，如果数据输出要求不仅仅要传给HDFS，还要传给多个数据消费者，就需要结合Kafka来对应组合，以达到更好的性能效果。

•　Kafka作为轻量级的工具，更加灵活，并可自定义开发配置。这对于业务数据的多场景数据消费更方便。

•　Kafka的源码是由Java和Scala编写的，所以如果企业使用了Spark架构，则选用Kafka组件与Spark对接的稳定性更好。

其对应的安装与配置步骤如下。

1）进入CentOS 7所对应的Kafka安装文件夹，在Apache Kafka网站下载软件包kafka_2.11-2.1.0.tgz。

2）下载完成后，解压缩并重命名所解压缩的文件夹名称：

3）进入kafka文件夹，进行配置文件的设置：

4）更改所对应的配置信息。为了使得前后环境及配置信息保持一致，具体配置信息会在第9章中详细介绍。