RabbitMQ系列
RabbitMQ系列-概念及安装 提到AMQP 0-9-1协议默认支持四种exchange,分别是Direct Exchange,Fanout Exchange,Topic Exchange,Headers Exchange
除了交换类型之外,交换还声明了许多属性
Direct Exchange根据路由信息将消息送到指定队列
工作流程如下
Direct Exchange模型如下图所示
队列queue1和direct exchange的绑定路由有info和warn,类似的queue2和direct exchange的绑定路由有debug,queue3和direct exchange的绑定路由有error
当消息生产者producer发布路由值为info或者warn的消息时,根据绑定关系,该消息将被送到queue1,并被consumer1接收处理
同理,当消息生产者producer发布路由值为debug的消息时,根据绑定关系,该消息将被送到queue2,并被consumer2接收处理
当消息生产者producer发布路由值为error消息时,根据绑定关系,该消息将被送到queue3,并被consumer3接收处理
Fanout Exchange忽略路由且将消息副本推送到所有绑定到该交换机的队列,假设有N个队列绑定到Fanout Exchange,生产者发送到消息经过该交换机处理,将消息副本发送到这个N个队列。
因此Fanout Exchange适用于广播的场景,Fanout Exchange模型如下图所示
队列queue1、queue2、queue3均绑定到了fanout类型的交换机,消息生产者producer发布的消息将被fanout exchange分发到queue1、queue2、queue3,最后被各自的消费者消费。
topic exchange对消息"分发范围"介于direct exchange和fanout exchange之间,direct exchage要求消息的路由键和队列的绑定路由键完全一致才分发,fanout exchange将消息分发到所有具有绑定关系的队列上
一般情况下,topic exchange的路由键由用英文逗号隔开的多个单词构成。其中,有两个单词比较特殊,*
可以代表任意的一个单词,#
可以代表0个或多个单词
假设,有路由键<地区.新闻种类.子种类>的新闻分发系统,系统模型如下图所示
其中,队列queue1和topic交换机的绑定关系有两个,<us.sport.*>表示关注美国地区所有体育主题相关的消息,<*.food.apple>表示关注所有地区关于苹果这种水果主题的消息
队列queue1与topic交换机绑定路由键<cn.car.byd>表示关注中国地区下汽车类主题下关于比亚迪的消息。
队列queue3与topic交换机的绑定关系为<#.huawei>表示关注所有地区关于华为的所有主题的消息。
headers交换机忽略路由键,利用x-match
参数和多个可选的headers键值对参数来路由消息。x-match
有两种类型值all
和any
当x-math=all
时,所有的headers键值对参数需要全部匹配,当x-math=any
时,只需要headers键值对参数中的一个匹配即可
假设,有学生信息订阅系统使用的时headers类型的交换机,模型如下图所示
其中,队列queue1和headers交换机的绑定关系的x-math=any
,键值对参数为age=18
和height=170
,因此当生产者发布的消息包含age=18
或height=170
时,消息将被路由到queue1
队列queue2和headers交换机的绑定关系的x-math=all
,键值对参数为age=22
和height=180
,因此当生产者发布的消息包含age=22
和height=180
时,消息将被路由到queue2
队列queue3和headers交换机的绑定关系的x-math=all
,键值对参数为gender=male
和score=60
,因此当生产者发布的消息包含gender=male
和score=60
时,消息将被路由到queue3
以amqp091-go为例,使用Direct Exchange说明Direct Exchange的基本使用方法。
以amqp091-go为例,使用Direct Exchange说明消息者端的基本流程。
conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/") failOnError(err, "Failed to connect to RabbitMQ") defer conn.Close()
Dial接收AMQP URI格式的字符串,建立和RabbitMQ Server的TCP连接,并返回连接Connection
。TCP握手的超时时间默认为30s
ch, err := conn.Channel() failOnError(err, "Failed to open a channel") defer ch.Close()
通过和RabbitMQ Server一次网络往返交互,建立一个唯一的轻量级连接Connection
当Channel
不在需要时,需要手动调用Channel.Close
关闭Channel
,以释放Channel
占用的资源,避免内存泄漏
当Channel
所属的Connection
关闭时,Channel
也会被关闭。
err = ch.ExchangeDeclare( "log_direct", // name amqp.ExchangeDirect, // type true, // durable false, // auto-deleted false, // internal false, // no-wait nil, // arguments ) failOnError(err, "Failed to declare an exchange")
生产者发布的消息会先到达Exchange,在根据Exchange类型和绑定关系将消息路由到特定队列。
ExchangeDeclare共有6个参数,这里重点看下其中几个参数
func (ch *Channel) ExchangeDeclare(name, kind string, durable, autoDelete, internal, noWait bool, args Table) error
第二个参数type/kind
类型,AMQP 0-9-1 broker提供了四种类型,分别是direct
,fanout
,topic
和headers
,这里使用的是direct
第三个参数durable
是否持久化,第四个参数autoDelete
是否自动删除
第六个参数noWait
是否等待服务器的确认应答,当该参数no-wait为true是,应当给通过Channel.NotifyClose
异步处理异常。
q, err := ch.QueueDeclare( "", // name false, // durable false, // delete when unused true, // exclusive false, // no-wait nil, // arguments ) failOnError(err, "Failed to declare a queue")
队列Queue充当了Exchange和消费者之间缓冲区的角色
func (ch *Channel) QueueDeclare(name string, durable, autoDelete, exclusive, noWait bool, args Table) (Queue, error)
如果队列不存在则创建,如果存在时需要确保参数和已经存在的Queue一致,否则会返回错误
当name
为空时,RabbitMQ Server会生成唯一的名称,并返回给q
第二个参数durable
是否持久化,第三个参数autoDelete
是否自动删除
第四个参数exclusive
是否独占,当该参数为true时,该队列只能被声明这个Queue的Connection访问,并且在Connection关闭时,队列会被删除
第五个参数noWait
是否等待服务器的确认应答,当该参数no-wait为true是,应当给通过Channel.NotifyClose
异步处理异常。
当QueueDeclare
返回错误时,说明Queue创建失败,同时Channel也会被关闭
err = ch.QueueBind( q.Name, // queue name s, // routing key "log_direct", // exchange false, // noWait nil // args ) failOnError(err, "Failed to bind a queue")
使用路由建立交换机和队列的绑定关系,可以使用多个路由建立交换机和队列的绑定关系,交换机根据路由判断是否将消息推送到队列
func (ch *Channel) QueueBind(name, key, exchange string, noWait bool, args Table) error
第一个参数是队列名称name
,第三个参数是交换机名称exchange
,第二个参数时队列和交换机绑定关系的表示
第三个参数noWait
是否等待服务器的确认应答,当该参数no-wait为true是,应当给通过Channel.NotifyClose
异步处理异常。
当建立绑定关系QueueBind
失败时,会返回错误并且Channel会被关闭。
msgs, err := ch.Consume( q.Name, // queue "", // consumer tag true, // auto-ack false, // exclusive false, // no-local false, // no-wait nil, // args ) failOnError(err, "Failed to register a consumer")
开始接受来自队列的消息
func (ch *Channel) Consume(queue, consumer string, autoAck, exclusive, noLocal, noWait bool, args Table) (<-chan Delivery, error)
Channel.Consume
返回<-chan Delivery
,消费者不断从需要该Channel
上接受消息,需要注意的是,消费者需要及时处理消息,否则将阻塞Channel
所属Connection
上的任何操作
第三个参数 autoAck
是否自动向确认RabbitMQ确认成功投递 当该参数为true时,写入TCP套接字即向abbitMQ确认成功投递。当该参数为false,则需要消费者手动发出确认信息,即调用Delivery.Ack
第四个参数exclusive
是否独占,当该参数为true时,消费者独占该队列,当该参数为false是,RabbitMQ Server将在多个消费者之间公平地分配交付
第五个参数noWait
是否等待服务器的确认应答,当该参数no-wait为true是,应当给通过Channel.NotifyClose
异步处理异常。
func failOnError(err error, msg string) { if err != nil { log.Panicf("%s: %s", msg, err) } } // routingKeys 绑定的路由: debug info warning error func RecvMsg(routingKeys []string) { conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/") failOnError(err, "Failed to connect to RabbitMQ") defer conn.Close() ch, err := conn.Channel() failOnError(err, "Failed to open a channel") defer ch.Close() err = ch.ExchangeDeclare( "log_direct", // name amqp.ExchangeDirect, // type true, // durable false, // auto-deleted false, // internal false, // no-wait nil, // arguments ) failOnError(err, "Failed to declare an exchange") q, err := ch.QueueDeclare( "", // name false, // durable false, // delete when unused true, // exclusive false, // no-wait nil, // arguments ) failOnError(err, "Failed to declare a queue") if len(routingKeys) < 1 { log.Printf("Usage: %s [info] [warning] [error]", routingKeys) os.Exit(0) } for _, s := range routingKeys { log.Printf("Binding queue %s to exchange %s with routing key %s", q.Name, "fruit_direct", s) err = ch.QueueBind( q.Name, // queue name s, // routing key "log_direct", // exchange false, nil) failOnError(err, "Failed to bind a queue") } msgs, err := ch.Consume( q.Name, // queue "", // consumer true, // auto-ack false, // exclusive false, // no-local false, // no-wait nil, // args ) failOnError(err, "Failed to register a consumer") var forever chan struct{} go func() { for d := range msgs { log.Printf(" [x] %s", d.Body) } }() log.Printf(" [*] Waiting for logs. To exit press CTRL+C") <-forever }
同样以amqp091-go为例,说明消息生产者端的基本流程
和消费端一样,需要通过amqp.Dial
建立TCP连接,通过Connection.Channel
建立一个轻量级连接
conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/") failOnError(err, "Failed to connect to RabbitMQ") defer conn.Close() ch, err := conn.Channel() failOnError(err, "Failed to open a channel") defer ch.Close()
和消费端一样需要声明交换机Exchange,需要注意的是,生产者和消费者都声明了相同名称的Exchange,需要保持两者的参数是一致的,否则会报错
err = ch.ExchangeDeclare( "log_direct", // name amqp091.ExchangeDirect, // type true, // durable false, // auto-deleted false, // internal false, // no-wait nil, // arguments ) failOnError(err, "Failed to declare an exchange")
err = ch.PublishWithContext(ctx, "log_direct", // exchange severityFrom(msg), // routing key false, // mandatory false, // immediate amqp.Publishing{ ContentType: "text/plain", Body: []byte(msg), }) failOnError(err, "Failed to publish a message")
采用异步的方式将消息发送到RabbitMQ server到交换机
第三个参数 mandatory
是否强制送达 当该参数为true时,且消费端队列和交换机没有对应的绑定路由时,消息就无法发出,可通过Channel.NotifyReturn
处理这种被退回的消息
第三个参数 immediate
是否理解接收 当该参数为true时,且匹配的消费端队列没有准备好接受此消息时,消息就无法发出,可通过Channel.NotifyReturn
处理这种被退回的消息
import ( "context" "log" "strings" "time" amqp "github.com/rabbitmq/amqp091-go" ) func failOnError(err error, msg string) { if err != nil { log.Panicf("%s: %s", msg, err) } } func SendMsg(msg string) { conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/") failOnError(err, "Failed to connect to RabbitMQ") defer conn.Close() ch, err := conn.Channel() failOnError(err, "Failed to open a channel") defer ch.Close() err = ch.ExchangeDeclare( "log_direct", // name amqp.ExchangeDirect, // type true, // durable false, // auto-deleted false, // internal false, // no-wait nil, // arguments ) failOnError(err, "Failed to declare an exchange") ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) defer cancel() err = ch.PublishWithContext(ctx, "log_direct", // exchange severityFrom(msg), // routing key false, // mandatory false, // immediate amqp.Publishing{ ContentType: "text/plain", Body: []byte(msg), }) failOnError(err, "Failed to publish a message") log.Printf(" [x] Sent %s", msg) } func severityFrom(msg string) string { var s string if strings.Contains(msg, "debug") { s = "debug" } else if strings.Contains(msg, "error") { s = "error" } else if strings.Contains(msg, "warn") { s = "warn" } else { s = "info" } return s }