KAFKA 五月 25, 2023

kafka安装

文章字数 87 阅读约需 1 mins.

文章 五月 25, 2023

kafka(一) 概述

文章字数 3.4k 阅读约需 3 mins.

​ Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采样信息。

broker

集群的基本单位,一台kafka服务器即为一个broker.多个broker组成一个kafka集群,broker之间没有主从之分,地位都是平等的.

topic 主题

主题,每条消息发布到kafka的一个类别,用于区分消费.物理上不同的topic的消息分开存储,逻辑...

查看全文

文章 五月 25, 2023

kafka(二) 生产者

文章字数 1.1k 阅读约需 1 mins.

  1. 序列化ProducerRecord.

  2. 如果ProducerRecord中指定了Partition.则分区器(Partitioner)不做任何事情.否则分区器根据消息的key得到一个Partition。

  3. 消息被添加到相应的batch中,独立的线程将这些batch发送到broker上.

  4. broker收到消息会返回一个响应.

    成功写入返回RecordMetaData对象,包含了Topic信息、Patition信息、消息在Partition中的Offset信息.

    失败会返回错误. 生产者收...

查看全文
0%