01 消息發布訂閱系統(Spring Boot使用Redis進行消息的發布訂閱 原創)

從發布-訂閱模式到消息隊列

發布-訂閱模式又稱為觀察者模式（網上也有很多說這兩種模式區別，個人覺得區別不大），在發布-訂閱模式中，主要是兩大塊。就是發布和訂閱，那么發布（publish）和訂閱(subscribe)之前的關聯點就是主題(topic).

舉個生活的例子，午餐定外賣，燕姐（broker）在外賣群里發布了兩個可以點的餐館，都城和輝記（這個可以稱為主題），小明(Consumer)點了輝記的，文哥(Consumer)點了都城的（這個可以稱為訂閱），都城餐館（procer）和輝記餐館（procer）做好了飯菜就回給外賣小哥送過來（消息協議），飯菜到了燕姐那里之后，那么小明和文哥就能去燕姐那里去拿（pull），也可以燕姐送過來（push）。這就是我們生活中最常見的發布-訂閱模式。

從上文中可以得到，外賣群是一個載體(MQ)，承載消息的存儲和傳送，從這里可以引出消息隊列的這個概念，下面，繼續說下消息隊列。

MQ (Message Queue) 又稱消息隊列. 隊列我們都知道，那什么是消息呢？消息指的是同一臺機器的進程之間，或不同機器之間傳輸的數據。最簡單的說，我們一個Rpc 請求，所帶的數據就是一個消息。這就是傳統的通信模式。但是這種模式有很多缺陷，例如當網絡不好的時候，這種調用可能會丟失。

隊列提供了一種一步通信協議，這意味著消息的發送者和接收者不需要同時于消息保持聯系，發送者的消息會存儲在隊列中，直到接收者拿到它。 一般我們把消息的發送者稱為生產者，消息的接收者稱為消費者。由于生產者和消費者之間是不透明的，他們靠中間的紐帶-隊列來聯系，那么在隊列中，是消費者占主動還是生產者占主動呢，其實根據不同的獲取消息的方式可以分為 pull or push 著兩種。按字面上的理解，就是pull 是消費者需要自己控制去隊列拉取消息，而push則是生產者占主動位置，將產生的消息push 給消費者，而這種push 可以點對點，也可以是一對多，而這種一對多的模式就是我們常說的廣播模式

在分布式系統中，消息中間件是非常重要的組件，主要解決應用耦合，異步消息，流量削峰等問題。

常用的消息隊列中間件有 activeMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ

(可參考 買粉絲s://mp.weixin.qq.買粉絲/s/ad7jibTb5nTzh3nDQYKFeg ? 覺得這篇文章寫得很不錯也很詳細)

這次我主要寫的是kafka 這個消息中間件，kafka 是采用pull 這種模式來消費信息的，生產者將消息放入隊列中，而消費者可以通過epull 方法獲取消息來消費，下面還是先說下kafka 的幾個關鍵概念吧

Kafka是最初由Linkedin公司開發，是一個分布式、分區的、多副本的、多訂閱者，基于zookeeper協調的分布式日志系統（也可以當做MQ系統），常見可以用于web/nginx日志、訪問日志，消息服務等等，Linkedin于2010年貢獻給了Apache基金會并成為頂級開源項目

主要應用場景是：日志收集系統和消息系統。

Kafka主要設計目標如下：

同時支持離線數據處理和實時數據處理。

一個典型的kafka集群中包含若干procer，若干broker，若干買粉絲nsumer，以及一個Zookeeper集群。Kafka通過Zookeeper管理集群配置，選舉leader，以及在買粉絲nsumer group發生變化時進行rebalance。procer使用push模式將消息發布到broker，買粉絲nsumer使用pull模式從broker訂閱并消費消息。

Topic & Partition

一個topic可以認為一個一類消息，每個topic將被分成多個partition，每個partition在存儲層面是append log文件。

在Kafka文件存儲中，同一個topic下有多個不同partition，每個partition為一個目錄，partiton命名規則為topic名稱+有序序號，第一個partiton序號從0開始，序號最大值為partitions數量減1

每個partion（目錄）相當于一個巨型文件被平均分配到多個大小相等segment（段）數據文件中。但每個段segment file消息數量不一定相等，這種特性方便old segment file快速被刪除。

每個partiton只需要支持順序讀寫就行了，segment文件生命周期由服務端配置參數決定。

這樣做的好處就是能快速刪除無用文件，有效提高磁盤利用率。

segment file組成：由2大部分組成，分別為index file和data file，此2個文件一一對應，成對出現，后綴".index"和“.log”分別表示為segment索引文件、數據文件.

segment文件命名規則：partion全局的第一個segment從0開始，后續每個segment文件名為上一個segment文件最后一條消息的offset值。數值最大為64位long大小，19位數字字符長度，沒有數字用0填充。

同一Topic的一條消息只能被同一個Consumer Group內的一個Consumer消費，但多個Consumer Group可同時消費這一消息。

這是Kafka用來實現一個Topic消息的廣播（發給所有的Consumer）和單播（發給某一個Consumer）的手段。一個Topic可以對應多個Consumer Group。如果需要實現廣播，只要每個Consumer有一個獨立的Group就可以了。要實現單播只要所有的Consumer在同一個Group里。用Consumer Group還可以將Consumer進行自由的分組而不需要多次發送消息到不同的Topic。

參考：

買粉絲://買粉絲.linkedkeeper.買粉絲/detail/blog.action?bid=1016&hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

買粉絲公眾訂閱號如何發布信息？

1、首先，進入買粉絲買粉絲的首頁，登錄個人賬號密碼后，在界面中間部分可以看到“新建群發”，點擊一下；

2、通常都是發表原創，那么需要選擇的就是“自建圖文”，點擊一下；

3、接著就到編輯文章的主頁面了，先要確定文章的題目和作者；

4、題目和作者之后的大框框里就是要編輯的文章正文；

5、在文章末尾，還需要注意的是，要看是否要鏈接其他的文章以及是否要貼上原創聲明的標簽；

6、再往下就是文章的封面圖和摘要，這兩個都是必須要的；封面沒有的話，文章發布不了；摘要沒有的話，就會自動生成文章的前54個字；

7、編輯好后點擊保存，系統就會跳轉到保存的界面，然后在界面下方有“群發”的字樣，點擊一下；