02 消息訂閱機制(怎樣徹底清除買粉絲訂閱號聊天信息記錄？)

onScript、XMPP、STOMP 等，支持 AJAX。用于在分布式系統中存儲轉發消息，在易用性、擴展性、高可用性等方面表現不俗。

Channel（通道）

道是兩個管理器之間的一種單向點對點的的通信連接，如果需要雙向交流，可以建立一對通道。

Exchange（消息交換機）

Exchange類似于數據通信網絡中的交換機，提供消息路由策略。

RabbitMq中，procer不是通過信道直接將消息發送給queue，而是先發送給Exchange。一個Exchange可以和多個Queue進行綁定，procer在傳遞消息的時候，會傳遞一個ROUTING_KEY，Exchange會根據這個ROUTING_KEY按照特定的路由算法，將消息路由給指定的queue。和Queue一樣，Exchange也可設置為持久化，臨時或者自動刪除。

Exchange有4種類型：direct(默認)，fanout， topic， 和headers。

不同類型的Exchange轉發消息的策略有所區別：

Binding（綁定）

所謂綁定就是將一個特定的 Exchange 和一個特定的 Queue 綁定起來。Exchange 和Queue的綁定可以是多對多的關系。

Routing Key（路由關鍵字）

exchange根據這個關鍵字進行消息投遞。

vhost（虛擬主機）

在RabbitMq server上可以創建多個虛擬的message broker，又叫做virtual hosts (vhosts)。每一個vhost本質上是一個mini-rabbitmq server，分別管理各自的exchange，和bindings。vhost相當于物理的server，可以為不同app提供邊界隔離，使得應用安全的運行在不同的vhost實例上，相互之間不會干擾。procer和買粉絲nsumer連接rabbit server需要指定一個vhost。

假設P1和C1注冊了相同的Broker，Exchange和Queue。P1發送的消息最終會被C1消費。

基本的通信流程大概如下所示：

Consumer收到消息時需要顯式的向rabbit broker發送basic。ack消息或者買粉絲nsumer訂閱消息時設置買粉絲_ack參數為true。

在通信過程中，隊列對ACK的處理有以下幾種情況：

即消息的Ackownledge確認機制，為了保證消息不丟失，消息隊列提供了消息Acknowledge機制，即ACK機制，當Consumer確認消息已經被消費處理，發送一個ACK給消息隊列，此時消息隊列便可以刪除這個消息了。如果Consumer宕機/關閉，沒有發送ACK，消息隊列將認為這個消息沒有被處理，會將這個消息重新發送給其他的Consumer重新消費處理。

消息的收發處理支持事務，例如：在任務中心場景中，一次處理可能涉及多個消息的接收、處理，這應該處于同一個事務范圍內，如果一個消息處理失敗，事務回滾，消息重新回到隊列中。

消息的持久化，對于一些關鍵的核心業務來說是非常重要的，啟用消息持久化后，消息隊列宕機重啟后，消息可以從持久化存儲恢復，消息不丟失，可以繼續消費處理。

fanout 模式

模式特點：

direct 模式

任何發送到Direct Exchange的消息都會被轉發到routing_key中指定的Queue。

如果一個exchange 聲明為direct，并且bind中指定了routing_key，那么發送消息時需要同時指明該exchange和routing_key。

簡而言之就是：生產者生成消息發送給Exchange， Exchange根據Exchange類型和basic_publish中的routing_key進行消息發送 消費者：訂閱Exchange并根據Exchange類型和binding key(bindings 中的routing key) ，如果生產者和訂閱者的routing_key相同，Exchange就會路由到那個隊列。

topic 模式

前面講到direct類型的Exchange路由規則是完全匹配binding key與routing key，但這種嚴格的匹配方式在很多情況下不能滿足實際業務需求。

topic類型的Exchange在匹配規則上進行了擴展，它與direct類型的Exchage相似，也是將消息路由到binding key與routing key相匹配的Queue中，但這里的匹配規則有些不同。

它約定：

以上圖中的配置為例，routingKey=”quick.orange.rabbit”的消息會同時路由到Q1與Q2，routingKey=”lazy.orange.fox”的消息會路由到Q1，routingKey=”lazy.brown.fox”的消息會路由到Q2，routingKey=”lazy.pink.rabbit”的消息會路由到Q2（只會投遞給Q2一次，雖然這個routingKey與Q2的兩個bindingKey都匹配）；routingKey=”quick.brown.fox”、routingKey=”orange”、routingKey=”quick.orange.male.rabbit”的消息將會被丟棄，因為它們沒有匹配任何bindingKey。

RabbitMQ，部署分三種模式：單機模式，普通集群模式，鏡像集群模式。

普通集群模式

多臺機器部署，每個機器放一個rabbitmq實例，但是創建的queue只會放在一個rabbitmq實例上，每個實例同步queue的元數據。

如果消費時連的是其他實例，那個實例會從queue所在實例拉取數據。這就會導致拉取數據的開銷，如果那個放queue的實例宕機了，那么其他實例就無法從那個實例拉取，即便開啟了消息持久化，讓rabbitmq落地存儲消息的話，消息不一定會丟，但得等這個實例恢復了，然后才可以繼續從這個queue拉取數據， 這就沒什么高可用可言，主要是提供吞吐量 ，讓集群中多個節點來服務某個queue的讀寫操作。

鏡像集群模式

queue的元數據和消息都會存放在多個實例，每次寫消息就自動同步到多個queue實例里。這樣任何一個機器宕機，其他機器都可以頂上，但是性能開銷太大，消息同步導致網絡帶寬壓力和消耗很重，另外，沒有擴展性可言，如果queue負載很重，加機器，新增的機器也包含了這個queue的所有數據，并沒有辦法線性擴展你的queue。此時，需要開啟鏡像集群模式，在rabbitmq管理控制臺新增一個策略，將數據同步到指定數量的節點，然后你再次創建queue的時候，應用這個策略，就會自動將數據同步到其他的節點上去了。

Kafka 是 Apache 的子項目，是一個高性能跨語言的分布式發布/訂閱消息隊列系統（沒有嚴格實現 JMS 規范的點對點模型，但可以實現其效果），在企業開發中有廣泛的應用。高性能是其最大優勢，劣勢是消息的可靠性（丟失或重復），這個劣勢是為了換取高性能，開發者可以以稍降低性能，來換取消息的可靠性。

一個Topic可以認為是一類消息，每個topic將被分成多個partition(區)，每個partition在存儲層面是append log文件。任何發布到此partition的消息都會被直接追加到log文件的尾部，每條消息在文件中的位置稱為offset（偏移量），offset為一個long型數字，它是唯一標記一條消息。它唯一的標記一條消息。kafka并沒有提供其他額外的索引機制來存儲offset，因為在kafka中幾乎不允許對消息進行“隨機讀寫”。

Kafka和JMS（Java Message Service）實現(activeMQ)不同的是:即使消息被消費，消息仍然不會被立即刪除。日志文件將會根據broker中的配置要求，保留一定的時間之后刪除；比如log文件保留2天，那么兩天后，文件會被清除，無論其中的消息是否被消費。kafka通過這種簡單的手段，來釋放磁盤空間，以及減少消息消費之后對文件內容改動的磁盤IO開支。

對于買粉絲nsumer而言，它需要保存消費消息的offset，對于offset的保存和使用，有買粉絲nsumer來控制；當買粉絲nsumer正常消費消息時，offset將會"線性"的向前驅動，即消息將依次順序被消費。事實上買粉絲nsumer可以使用任意順序消費消息，它只需要將offset重置為任意值。(offset將會保存在zookeeper中，參見下文)

kafka集群幾乎不需要維護任何買粉絲nsumer和procer狀態信息，這些信息有zookeeper保存；因此procer和買粉絲nsumer的客戶端實現非常輕量級，它們可以隨意離開，而不會對集群造成額外的影響。

partitions的設計目的有多個。最根本原因是kafka基于文件存儲。通過分區，可以將日志內容分散到多個server上，來避免文件尺寸達到單機磁盤的上限，每個partiton都會被當前server(kafka實例)保存；可以將一個topic切分多任意多個partitions，來消息保存/消費的效率。此外越多的partitions意味著可以容納更多的買粉絲nsumer，有效提升并發消費的能力。(具體原理參見下文)。

一個Topic的多個partitions，被分布在kafka集群中的多個server上；每個server(kafka實例)負責partitions中消息的讀寫操作；此外kafka還可以配置partitions需要備份的個數(replicas)，每個partition將會被備份到多臺機器上，以提高可用性。

基于replicated方案，那么就意味著需要對多個備份進行調度；每個partition都有一個server為"leader"；leader負責所有的讀寫操作，如果leader失效，那么將會有其他follower來接管(成為新的leader)；follower只是單調的和leader跟進，同步消息即可。由此可見作為leader的server承載了全部的請求壓

很赞哦!（1）