优化一个简单的生产消费队列

背景:队列的生产者有N台机器,产生N个重复的多个消息ids到队列。有ids,则对应的用户这个条件置为1;
开始简单的producter(*N)->queue->workers(*3) 赶不上生产速度,堆积百万个msg
优化点
1 读队列消息,因为有大量重复消息,收集到1K个unique消息进行处理
2 处理过的key放在redis里,过期时间10分钟。10分钟之内的出现的消息不再处理
Producter(*N)->queue->unique->get_no_redis->workers(*1)
妥妥的

u=51521456,1161130478&fm=21&gp=0

发表评论

电子邮件地址不会被公开。 必填项已用*标注


*