01 redis發布訂閱和mq(redis也可以實現隊列，為什么還要用rabitmq或者kafka)

RabbitMQ與redis的區別是什么呢？

首先說RabbitMQ，RabbitMQ是使用Erlang編寫的一個開源的消息隊列，本身支持很多的協議：AMQP，XMPP, SMTP, STOMP，也正因如此，它非常重量級，更適合于企業級的開發。同時實現了Broker構架，這意味著消息在發送給客戶端時先在中心隊列排隊。對路由，負載均衡或者數據持久化都有很好的支持。

其次是Redis，Redis是一個基于Key-Value對的NoSQL數據庫，開發維護很活躍。雖然它是一個Key-Value數據庫存儲系統，但它本身支持MQ功能，所以完全可以當做一個輕量級的隊列服務來使用。對于RabbitMQ和Redis的入隊和出隊操作，各執行100萬次，每10萬次記錄一次執行時間。測試數據分為128Bytes、512Bytes、1K和10K四個不同大小的數據。實驗表明：入隊時，當數據比較小時Redis的性能要高于RabbitMQ，而如果數據大小超過了10K，Redis則慢的無法忍受；出隊時，無論數據大小，Redis都表現出非常好的性能，而RabbitMQ的出隊性能則遠低于Redis。

3.3ZeroMQ

ZeroMQ號稱最快的消息隊列系統，尤其針對大吞吐量的需求場景。ZeroMQ能夠實現RabbitMQ不擅長的高級/復雜的隊列，但是開發人員需要自己組合多種技術框架，技術上的復雜度是對這MQ能夠應用成功的挑戰。ZeroMQ具有一個獨特的非中間件的模式，你不需要安裝和運行一個消息服務器或中間件，因為你的應用程序將扮演這個服務器角色。你只需要簡單的引用ZeroMQ程序庫，可以使用NuGet安裝，然后你就可以愉快的在應用程序之間發送消息了。但是ZeroMQ僅提供非持久性的隊列，也就是說如果宕機，數據將會丟失。其中，Twitter的Storm 0.9.0以前的版本中默認使用ZeroMQ作為數據流的傳輸（Storm從0.9版本開始同時支持ZeroMQ和Netty作為傳輸模塊）。

3.4ActiveMQ

ActiveMQ是Apache下的一個子項目。 類似于ZeroMQ，它能夠以代理人和點對點的技術實現隊列。同時類似于RabbitMQ，它少量代碼就可以高效地實現高級應用場景。

3.5Kafka/Jafka

Kafka是Apache下的一個子項目，是一個高性能跨語言分布式發布/訂閱消息隊列系統，而Jafka是在Kafka之上孵化而來的，即Kafka的一個升級版。具有以下特性：快速持久化，可以在O(1)的系統開銷下進行消息持久化；高吞吐，在一臺普通的服務器上既可以達到10W/s的吞吐速率；完全的分布式系統，Broker、Procer、Consumer都原生自動支持分布式，自動實現負載均衡；支持Hadoop數據并行加載，對于像Hadoop的一樣的日志數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka通過Hadoop的并行加載機制統一了在線和離線的消息處理。Apache Kafka相對于ActiveMQ是一個非常輕量級的消息系統，除了性能非常好之外，還是一個工作良好的分布式系統。

上圖中一個topic配置了3個partition。Partition1有兩個offset：0和1。Partition2有4個offset。Partition3有1個offset。副本的id和副本所在的機器的id恰好相同。

如果一個topic的副本數為3，那么Kafka將在集群中為每個partition創建3個相同的副本。集群中的每個broker存儲一個或多個partition。多個procer和買粉絲nsumer可同時生產和消費數據。

redis與rabbitmq做消息隊列的區別

消息隊列（Message Queue）是一種應用間的通信方式，消息發送后可以立即返回，由消息系統來確保消息的可靠傳遞。消息發布者只管把消息發布到 MQ 中而不用管誰來取，消息使用者只管從 MQ 中取消息而不管是誰發布的。這樣發布者和使用者都不用知道對方的存在。

redis

RabbitMQ

可靠性

rabbitmq：具有消息消費確認機制，如果發布一條消息，還沒有消費者消費該隊列，那么這條消息將一直存放在隊列中，直到有消費者消費了該條消息，以此可以保證消息的可靠消費，那么rabbitmq的消息是如何存儲的呢？（后續更新）；

實時性

redis:實時性高，redis作為高效的緩存服務器，所有數據都存在內存中，所以它具有更高的實時性

消費者負載均衡：

rabbitmq隊列可以被多個消費者同時監控消費，但是每一條消息只能被消費一次，由于rabbitmq的消費確認機制，因此它能夠根據消費者的消費能力而調整它的負載；

持久性

redis：redis的持久化是針對于整個redis緩存的內容，它有RDB和AOF兩種持久化方式（redis持久化方式，后續更新），可以將整個redis實例持久化到磁盤，以此來做數據備份，防止異常情況下導致數據丟失。

rabbitmq：隊列，每條消息都可以選擇性持久化，持久化粒度更小，更靈活；

隊列監控

rabbitmq實現了后臺監控平臺，可以在該平臺上看到所有創建的隊列的詳細情況，良好的后臺管理平臺可以方面我們更好的使用；

redis沒有所謂的監控平臺。

總結

redis：輕量級，低延遲，高并發，低可靠性；

rabbitmq：重量級，高可靠，異步，不保證實時；

redis也可以實現隊列，為什么還要用rabitmq或者kafka

拋開業務場景談這些組件的選擇就是耍流氓。 負載不大，可靠性要求不高，沒有擴容需求的情況下自然都一樣，甚至就像之前說的，不用redis，就寫文件都行，往某個文件夾里寫個文件=>入隊，拿出來刪掉=>出隊

至于ack啊，分布式啊，抗壓啊等等各種問題，redis基本沒有現成解決方案，有的可以自己變通解決，有的就是解決不了，所以才會有各種各樣的專業隊列組件，有的注重速度，有的注重分布式，有的注重可靠性，他們都會試圖解決redis解決不了的一些問題。就好像你磁盤寫文件當key-value用，IO的速度自然成為瓶頸，負載能力上不去，所以才會有專業的redis來做內存的kv

Redis和ActiveMQ之間是怎么交互的

為什么會需要用這兩組件交互呢？

Redis，是一個緩存組件，可以提供key/value方式存儲（一般是內存，也可以刷到磁盤上，看需求與調整配置），數據存儲結構基于hash。redis還有另外一種通訊模型，pulish/subscibe(發布/訂閱模型)。連接/操作方式提供了多種編程語言的連接客戶端或者叫驅動。

ActiveMQ，是消息中間件，存儲模型隊列（有序、優先級）等，數據可以刷到磁盤（一般都需要刷到磁盤）。同時也有pulish/subscibe(發布/訂閱模型)，主要通信模式，最新的ActiveMQ可能還提供stream（流式處理）處理模式（可能基于發布/訂閱模式，做數據處理，記不太清楚，單中間件比如spring的stream是有這種實現的）。連接/操作方式也提供了多種語言編寫的客戶端/驅動程序。

兩個組件沒有直接交互方式。需要做交互，用兩組件支持的任何語言寫橋接組件。如把redis的數據讀出放到ActiveMQ中。也可以反過來操作。

結論，選擇一種會用的編程語言寫橋接組件操作。

redis消息隊列還有其他嗎

基于Redis消息隊列-實現短信服務化

1.Redis實現消息隊列原理

常用的消息隊列有RabbitMQ,ActiveMQ，個人覺得這種消息隊列太大太重，本文介紹下基于Redis的輕量級消息隊列服務。 

一般來說，消息隊列有兩種模式，一種是發布者訂閱模式，另外一種是生產者和消費者模式。Redis的消息隊列，也是基于這2種原理的實現。 

發布者和訂閱者模式：發布者發送消息到隊列，每個訂閱者都能收到一樣的消息。 

生產者和消費者模式：生產者將消息放入隊列，多個消費者共同監聽，誰先搶到資源，誰就從隊列中取走消息去處理。注意，每個消息只能最多被一個消費者接收。

2.Redis消息隊列使用場景

在我們的項目中，使用消息隊列來實現短信的服務化，任何需要發送短信的模塊，都可以直接調用短信服務來完成短信的發送。比如用戶系統登錄注冊短信，訂單系統的下單成功的短信等。

3.SpringMVC中實現Redis消息隊列

因為我們短信只需要發送一次，所以我們使用的是消息隊列的生產者和消費者模式。

3.1引入Maven依賴

引入Redis相應的maven依賴，這里需要spring-data-redis和jedis

//pom.xml    <dependency>

<groupId>org.springframework.data</groupId>

<artifactId>spring-data-redis</artifactId>

<version>1.6.0.RELEASE</version>

</dependency>

<!-- jedis -->

<dependency>

<groupId>redis.clients</groupId>

<artifactId>jedis</artifactId>

<version>2.5.1</version>

</dependency>12345678910111213

3.2配置redis生成者消費者模式

//applicationContext-redis.xml    <?xml version="1.0" en買粉絲ding="UTF-8"?><beans xmlns="買粉絲://買粉絲.springframework.org/schema/beans"

xmlns:xsi="買粉絲://買粉絲.w3.org/2001/XMLSchema-instance" xmlns:mvc="買粉絲://買粉絲.springframework.org/schema/mvc"

xmlns:tx="買粉絲://買粉絲.springframework.org/schema/tx" xmlns:買粉絲ntext="買粉絲://買粉絲.springframework.org/schema/買粉絲ntext"

x

很赞哦!（7）