Kafka概念理解

kafka是分布式消息队列,主要的概念有producer,consumer和topic,producer产生消息,并将消息放入特定的topic中,topic的工作方式类似一个channel,维护topic中消息以FIFO的方式生产和消费;consumer负责将消息从特定topic中取出来消费

不同的topic用以区别不同的消息类型,每一个consumer只能消费一个topic中的信息

terminology

  • topic
    A topic is a category or feed name to which messages are published. 一个topic在逻辑上是一个有序的队列.

  • partition
    每个topic包含一个或者多个partition,partition的目的是提高单个topic的并行度

  • producer
    负责写入消息到topic

  • consumer
    负责从topic中取出数据

  • broker
    kafka集群中包含一台或者多台服务器,这种服务器称为broker

  • consumer group
    consumer group中包含一个或者多个consumer实例